Bilanz der Quelle: Aleithan et al. report significant improvements in the SWE-Bench code benchmark for large language models. They found that 32.67% of successful patches involve solution leakage, and 31.08% pass only due to weak test cases. The new SWE-Bench+ version uses post-cutoff issues without leaked solutions, resulting in resolution rates dropping from 12.47% to 3.97%.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
