DeepSeek öffnet die Serving-Schicht: Inferenz-Framework DeepInfer als Open Source — laut eigenen Angaben 155 Billionen Tokens pro Tag auf einem Cluster, 38 US-Dollar Umsatz je GPU-Stunde

DeepSeek öffnet die Serving-Schicht: Inferenz-Framework DeepInfer als Open Source — laut eigenen Angaben 155 Billionen Tokens pro Tag auf einem Cluster, 38 US-Dollar Umsatz je GPU-Stunde — DeepSeek gab sein Produktions-Inferenz-Framework am 20. Oktober unter Apache-2.0 frei (15.340 GitHub-Sterne einen Tag später); unterstützt wird bislang DeepSeek-V4.1-Flash auf NVIDIA-SM100-GPUs und Huawei-Ascend-950-NPUs, mit MoE-EP-EPLB-Parallelismus, DSpark, SWA-bounded-replay, batch-invarianter Inferenz, deterministischem Sampling und strukturierten Outputs; dazu kommt der Protokoll-Konverter deepseek-recipe. Das README nennt die Grenze: KV-Cache-Management und Load-Balancing hängen an der eigenen Infrastruktur und die öffentliche Version liefert erst Offline-Inferenz — die Serving-Schicht hinter dem Modell war bislang das, was niemand nach außen teilte. GitHub · Digg · 🗃 Wayback Machine (Archiv)