Tag: MoE

LoRA über GGUF trainiert 125B MoE-Modell in 40 GiB VRAM

10. Oktober 2026

Thinking Machines Lab release Inkling: 975B open-weights MoE trained from scratch

1. Juli 2026

GLM-5.2: Z.ai release 753B-parameter MoE with 1M context under MIT license

1. Juni 2026

DeepSeek-V3: 671-Parameter-MoE-Modell trainiert mit nur 2,788 Mio. H800-GPU-Stunden

27. Dezember 2024

DeepSeek-V3: 671B MoE-Parameter, SOTA unter Open-Source-Modellen

26. Dezember 2024

Yi-Lightning: 100 Milliarden Parameter MoE von 01.AI landen auf Platz 6 der Arena – China bricht seinen Open-Source-Bestwert

2. Dezember 2024

Tencent öffnet die Gewichte von Hunyuan-Large: 389 Milliarden Parameter-MoE mit 52 Milliarden Aktiven und 256k Kontext

5. November 2024

BAAI zeigt Wu Dao 2.0, ein 1.75-trillion-Parameter-Modell, das GPT-3 10-fach größer ist

1. Juni 2021

GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding

30. Juni 2020

Adaptive Mixtures of Local Experts: Ein Ur-MoE-Konzept

1. März 1991