DeepSeek V3 veröffentlicht: 671B-Parameter-Modell mit 5,6 Mio. US-Dollar Trainingskosten 1. Dezember 2024
Tencent öffnet die Gewichte von Hunyuan-Large: 389 Milliarden Parameter-MoE mit 52 Milliarden Aktiven und 256k Kontext 5. November 2024
AI2 und Contextual AI veröffentlichen OLMoE: Mixture-of-Experts-Modell mit 1B Aktiven von 7B Parametern 4. September 2024