Ein Bias je Experte statt eines Strafverlusts: Loss-Free Balancing kommt ohne Interferenzgradienten aus 28. August 2024
Zwei Achsen statt einer: Routing-Modelle skalieren nach Parameterzahl und Rechenaufwand, gemessen über fünf Größenordnungen 2. Februar 2022
DeepSpeed-MoE: Fünfmal günstiger als dichte Modelle, 3,7-fach kleiner und 7,3-fach schneller 14. Januar 2022
Gating ist nicht besser als Zufall: THOR aktiviert Experten zufällig und stellt das gesamte Routing-Feld in Frage 8. Oktober 2021
KI-Digest
DO · 5. November 2026
KI-Digest
DO · 5. November 2026
