Bilanz der Quelle: InfraDev hat sechs Frontier-Modelle an 36 realen Aufgaben aus echten Pull Requests von Megatron-LM, vLLM und verl. getestet. Das beste Modell löste nur 38,9 Prozent der Aufgaben, und 32 Prozent der Einsendungen, die alle offiziellen Tests bestehen, fallen durch zusätzliche versteckte Prüfungen. Kein Modell löst eine Aufgabe mit dem Originaltext.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
