Bilanz der Quelle: Scale AI introduces SWE-Bench Pro, a benchmark for agentic coding that measures generalization over memorization. The benchmark includes 1,865 tasks across 41 repositories, including held-out and private commercial codebases. Models that score above 70% on SWE-bench Verified fall to 23.3% for GPT-5 and 23.1% for Claude Opus 4.1.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von scale.com. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von scale.com. Es erfolgte keine manuelle redaktionelle Bearbeitung.
