89 Aufgaben, drei menschliche Prüfer, unter 65 Prozent: Das Papier hinter Terminal-Bench 2.0
KI-Agenten & Automation

89 Aufgaben, drei menschliche Prüfer, unter 65 Prozent: Das Papier hinter Terminal-Bench 2.0

1 Min. Lesezeit Kalina

Bilanz der Quelle: Das neue Terminal-Bench-2.0-Papier definiert 89 containerisierte Aufgaben mit handgeschriebenen Referenzlösungen und menschlicher Prüfung. Frontier-Modelle und Agenten erreichen dabei eine Erfolgsquote von unter 65 Prozent, während kleinere Modelle bei etwa 15 Prozent bleiben.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)

ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.

Kalina Digest unterstützen

Lesen bleibt frei. Wer mag, gibt etwas zurück — ab 1 € einmalig, oder als Stufe für einen Monat, ein Quartal oder ein Jahr. Bisher: 5.00 € aus 1 Beiträgen.

Zum Shop →