Tag: benchmark

Deep-Research-Agenten: Bis zu 4 % Leistungsplus durch Netz-Abfrage bei MedMCQA

3. Juni 2026

Quantisierung spart unter 3,2 bis 5,2 Mrd. Parametern keine Energie, sondern kostet 25 bis 56 Prozent – FP8 auf RTX 5090 sogar 701 Prozent

7. März 2026

OpenAI zieht SWE-Bench-Standard zurück: 59,4 % fehlerhafte Tests

23. Februar 2026

EuroHPC: Dauerhaft offener Benchmark-Aufruf bis 2033 mit zwölf Stichtagen pro Jahr

1. Dezember 2025

Cerebras übernimmt NVIDIA Blackwell auf Llama 4 Maverick: 2,522 Tokens pro Sekunde sind mehr als das Doppelte der NVIDIA-GPUSpitze

28. Mai 2025

Humanity’s Last Exam: 70.000 Rohfragen werden zu 3.000 – fast 1.000 Fachleute aus 500 Instituten in 50 Ländern

23. Januar 2025

Kimi k1.5: Skalierendes Reinforcement Learning mit LLMs

22. Januar 2025

225 Exercism-Aufgaben in sechs Sprachen: Aidlers Polyglot-Benchmark misst ab Dezember 2024 auch, ob ein Modell das Änderungsformat überhaupt trifft

21. Dezember 2024

Microsoft veröffentlicht Phi-4: 14B-Modell unter MIT-Lizenz übertrifft Llama 3.3 70B

12. Dezember 2024

PADBench: 13.300 Adapter, ein Teil davon vergiftet – Sicherheit wird zur Messaufgabe

26. November 2024

LiveBench: Neue Mathematikwettbewerben, ohne LLM-Judges

27. Juni 2024

Sierra’s tau-bench: State-of-the-art agents pass under 60% of real-world retail and telecom tasks

20. Juni 2024