Workflows & Tools

Benchmark-Fehler entdeckt: Zwei 600M- und 1,1B-Modelle gleichauf bei 0,660 zu 0,650, aber 6 von 6 zu 0 von 6 gültigen Tool-Calls

1 Min. Lesezeit Kalina

Bilanz der Quelle: Ein Paper auf arXiv zeigt, dass gnaedige Keyword-Benchmarks kleine Sprachmodelle für Tool-Nutzung belohnen, die sie nie ausfuehren. Zwei spanische Sicherheitsmodelle mit identischem Decoder und Tokenizer erreichen auf der laxen B4-Metrik 0,660 gegen 0,650. Eine Woertlich-Reproduktionspruefung trennt sie voellig: Das 661,6M-Modell emittiert in 6 von 6 Faellen gueltige Tool-Calls, das 1,109B-Modell in 0 von 6 ueber alle Checkpoints.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)

ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.

Mehr aus Workflows & Tools