Bilanz der Quelle: Ein neues Rezept für FP4-Prätraining verzichtet auf die Hadamard-Transformation und erreicht bei 190 Milliarden Token 21,2 Prozent mehr Durchsatz im Modellkörper. Die Methode kombiniert E2M1 mit UE5M3-Skalen und stochastischem Runden der Gradienten.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Kalina Digest unterstützen
Lesen bleibt frei. Wer mag, gibt etwas zurück — ab 1 € einmalig, oder als Stufe für einen Monat, ein Quartal oder ein Jahr. Bisher: 5.00 € aus 1 Beiträgen.
