KI-News & Trends

Die Automatisierungs-Erzaehlung hat Risse: Codex 5.2 scheitert an einer Doktoranden-Aufgabe mit extremer Streuung

1 Min. Lesezeit Kalina

Bilanz der Quelle: Ein Studium der University of New York zeigt, dass die verbreitete Behauptung, dass Frontier-Modelle Experten ersetzten, empirisch infrage gestellt wird. Codex 5.2, ein ChatGPT-Modell, scheitert bei einer Kausalanalyse-Aufgabe, die ursprünglich für Doktoranden der Statistik entwickelt wurde. Die Autoren messen nicht nur die richtige oder falsche Antwort, sondern auch die Streuung und Fehlermagnitude über mehrere Laufe. Menschenliche Experten zeigen besser und geringere Variabilität.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)

ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.