Nvidia destilliert Nemotron 3.5 Super und Lightning je eine Billion Tokens aus dem nächstgrößeren Lehrer
Hardware, Chips & Cloud

Nvidia destilliert Nemotron 3.5 Super und Lightning je eine Billion Tokens aus dem nächstgrößeren Lehrer

1 Min. Lesezeit Kalina

Bilanz der Quelle: Nvidia veröffentlicht einen Report über zwei offene MoE-Hybride aus Mamba und Transformer, die je eine Billion Tokens aus dem nächstgrößeren Nemotron-Modell destillieren. Super wird als VLM trainiert und erreicht am Ende 1M Kontext, Lightning bleibt textbasiert.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)

ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.

Kalina Digest unterstützen

Lesen bleibt frei. Wer mag, gibt etwas zurück — ab 1 € einmalig, oder als Stufe für einen Monat, ein Quartal oder ein Jahr. Bisher: 5.00 € aus 1 Beiträgen.

Zum Shop →