225 Exercism-Aufgaben in sechs Sprachen: Aidlers Polyglot-Benchmark misst ab Dezember 2024 auch, ob ein Modell das Änderungsformat überhaupt trifft

Bilanz der Quelle: Der am 21. Dezember 2024 veröffentlichte Benchmark umfasst die 225 schwierigsten Übungen aus C++, Go, Java, JavaScript, Python und Rust. Die Auswertung führt neben der Trefferquote eine Spalte für das korrekt eingehaltene Änderungsformat und zählt fehlerhafte Antworten getrennt, da ein Modell an der Syntax seiner eigenen Ausgabe scheitern kann, bevor es an der Aufgabe scheitert.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)