Bilanz der Quelle: InfraDev stellt 36 realistische Aufgaben aus echten Pull Requests an Megatron-LM, vLLM und verl bereit und ergänzt die Originaltests durch versteckte Prüfungen. Das beste von sechs Frontier-Modellen löst nur 38,9 Prozent der Aufgaben, und 32 Prozent der Einsendungen fallen trotz bestandener offizieller Tests durch die versteckten Prüfungen durch.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
