Tag: sparse MoE

Beiträge mit dem Schlagwort „sparse MoE“

Step 5 Preview: 600B Sparse MoE Only Activates 27B

20. September 2026

Step 5 Preview: 600B Sparse MoE Only Activates 27B

20. September 2026

StepFun offiziell offizierte Step 5 Preview am 20. September, ein 600B-Parameter-SPARSE-MoE mit 27B aktiv per Token und 1M-Token-Context und öffnet API-Access am selben Tag.

20. September 2026

StepFun startet Step 5 Preview: 600B-MoE mit 1M Kontext zum Discount-Preis

20. September 2026

Mistral AI release Mixtral 8x22B: 141B-parameter sparse MoE with 39B active, 64k context and strong math/coding

17. April 2024