Bilanz der Quelle: Ein offenes Rezept trainiert GPT-OSS-20B im MLPerf-Small-MoE-Maßstab in MXFP4 und reduziert den Konvergenznachteil gegenüber Bfloat16 von 20 auf 5 Prozent. Auf der C4-Validierung liegt der Validierungsverlust bei 3,3350 gegenüber 3,3283 im Bfloat16-Sockel, also nur noch 0,007 Unterschied.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
