KI-Agenten & Automation

METR misst Aufgabenlaenge statt Punktzahl: 170 Aufgaben, 800 menschliche Baselines, 2.529 Stunden, o3 bei 110 Minuten

1 Min. Lesezeit Kalina

Bilanz der Quelle: METR hat eine radikal neue Methode zur Messung von Aufgabenlaenge vorgeschlagen, indem sie die Zeit, die ein Agent braucht, um Aufgaben zu erledigen, zu messen. Sie hat 170 Aufgaben mit 800 menschlichen Baselines und 2.529 Stunden aufgezeichnet und erkannt, dass der Horizont exponentiell wächst, mit einer Verdopplungszeit von rund sieben Monaten seit 2019. GPT-2 lag bei zwei Sekunden, o3 bei rund 110 Minuten.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)

ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.