5,2 gegen 1,1 Gigabyte pro Schritt: DeepSeeks Indexer spart Lesebandbreite, nicht Speicher
China & chinesische Tech-Industrie

5,2 gegen 1,1 Gigabyte pro Schritt: DeepSeeks Indexer spart Lesebandbreite, nicht Speicher

1 Min. Lesezeit Kalina

Bilanz der Quelle: DeepSeeks Indexer bewertet bei jedem Dekodierschritt alle vergangenen Token mit 132 Byte je Token und reicht die besten 2.048 an die volle MLA-Attention weiter, die 656 Byte je Token liest. Bei 131.000 Token sinkt die aus dem Speicher gelesene Datenmenge von 5,2 auf 1,1 Gigabyte, wobei gesparte Lesebandbreite, nicht Speicher, im Vordergrund steht, da der Cache vollständig erhalten bleibt.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)

ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von tensoreconomics.com. Es erfolgte keine manuelle redaktionelle Bearbeitung.

Kalina Digest unterstützen

Lesen bleibt frei. Wer mag, gibt etwas zurück — ab 1 € einmalig, oder als Stufe für einen Monat, ein Quartal oder ein Jahr. Bisher: 5.00 € aus 1 Beiträgen.

Zum Shop →