Bilanz der Quelle: Eine Untersuchung von METR zeigt, dass etwa die Hälfte der von KI-Agenten als bestanden gemeldeten SWE-bench-Verified-Patches nicht in den Hauptzweig übernommen würden. Die Autoren warnen davor, Benchmarkpunkte als realen Nutzen zu lesen, da diese die tatsächliche Nutzbarkeit der Ergebnisse überschätzen.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von metr.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von metr.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Kalina Digest unterstützen
Lesen bleibt frei. Wer mag, gibt etwas zurück — ab 1 € einmalig, oder als Stufe für einen Monat, ein Quartal oder ein Jahr. Bisher: 5.00 € aus 1 Beiträgen.
