454 Prozent mehr Ausgabe-Tokens und 87 Prozent kürzere Wartezeit: vLLM 0.15 bringt Multi-LoRA in Mixture-of-Experts-Schichten 25. Februar 2026
17 Milliarden Parameter in 22 Sprachen: Indiens staatliches Grundmodell ist ein MoE, das auf der Nvidia-Werkzeugkette trainiert wurde 18. Februar 2026
DeepSeek V3 veröffentlicht: 671B-Parameter-Modell mit 5,6 Mio. US-Dollar Trainingskosten 1. Dezember 2024
Tencent öffnet die Gewichte von Hunyuan-Large: 389 Milliarden Parameter-MoE mit 52 Milliarden Aktiven und 256k Kontext 5. November 2024
AI2 und Contextual AI veröffentlichen OLMoE: Mixture-of-Experts-Modell mit 1B Aktiven von 7B Parametern 4. September 2024