Workflows & Tools

Benchmark-Fehler entdeckt: Zwei 600M- und 1,1B-Modelle gleichauf bei 0,660 zu 0,650, aber 6 von 6 zu 0 von 6 gültigen Tool-Calls

1 Min. Lesezeit Kalina

Bilanz der Quelle: Ein Paper auf arXiv zeigt, dass gnädige Keyword-Benchmarks kleine Sprachmodelle für Tool-Nutzung belohnen, die sie nie ausführen. Zwei spanische Sicherheitsmodelle mit identischem Decoder und Tokenizer erreichen auf der laxen B4-Metrik 0,660 gegen 0,650. Eine Wörtlich-Reproduktionsprüfung trennt sie völlig: Das 661,6M-Modell emittiert in 6 von 6 Fällen gültige Tool-Calls, das 1,109B-Modell in 0 von 6 über alle Checkpoints.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)

ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.

Kalina Digest unterstützen

Lesen bleibt frei. Wer mag, gibt etwas zurück — ab 1 € einmalig, oder als Stufe für einen Monat, ein Quartal oder ein Jahr. Bisher: 5.00 € aus 1 Beiträgen.

Zum Shop →