Forschung & Machine Learning

Versteckter Messfehler verzerrt KI-Benchmarks: klassische Konfidenzintervalle sind 40 bis 60 Prozent zu klein

1 Min. Lesezeit Kalina

Bilanz der Quelle: Eine Arbeit vom 13. April 2026 zerlegt die Unsicherheit in LLM-Auswertungspipelines in ihre Quellen und trennt Varianz, die mit mehr Daten schrumpft, von Empfindlichkeit gegenüber Forscher-Entscheidungen wie Judge-Modell, Temperatur und Prompt-Formulierung. Klassische Standardfehler liegen in den Demonstrationen 40 bis 60 Prozent unter den korrigierten Werten. Mit Chatbot-Arena-Daten zeigt die Arbeit, dass die naive 95-Prozent-Abdeckung mit wachsender Stichprobe sinkt.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)

ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.