Bilanz der Quelle: Eine neue Studie offenbart einen fundamentalen Fehler in Agenten-Benchmarks, der nicht durch bessere Modelle, sondern nur durch eine Umbau der Auswertung beheben kann. Der sogenannte double measurement confound zeigt, dass die ausfuehrungskritischen Entscheidungen wie Wiederholung, Paginierung und Dublettenbereinigung nicht vom Modell selbst, sondern von einem fest verdrahteten Gerüst bestimmt werden.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
