Bilanz der Quelle: Das Paper untersucht die Harness-Schicht bei KI-Modellen anhand von 95 mechanismusorientierten Aufgaben und 3.420 Läufen über vier Harnesses und neun Modelle. Dabei erreichen 31,1 Prozent der Läufe das Aufgabenziel, obwohl mindestens ein Harness-Kriterium verletzt wird. Dies stellt die Messmethodik selbst in Frage und zeigt ein grundlegendes Problem der aktuellen Evaluierung.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
