Bilanz der Quelle: Ein Team um Ai2 wandelt bestehende Subword-Modelle in zwei Schritten in Byte-Modelle um und benötigt dafür nur 49,1 Milliarden Tokens, also weniger als ein Prozent eines üblichen Pretraining-Budgets. Bolmo 7B schlägt das von Grund auf trainierte BLT 7B bei STEM-Aufgaben um 16,5 Prozentpunkte.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von allenai.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von allenai.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Kalina Digest unterstützen
Lesen bleibt frei. Wer mag, gibt etwas zurück — ab 1 € einmalig, oder als Stufe für einen Monat, ein Quartal oder ein Jahr. Bisher: 5.00 € aus 1 Beiträgen.
