Bilanz der Quelle: Ein Team hat 800 Sprachmodelle mit unterschiedlichen Verhältnissen von KI- und Menschentoken vortrainiert und ein neues Skalierungsgesetz für KI-Tokens entwickelt. Ergebnis: KI-Tokens schaden dem Training sofort, wenn der Textbudget ausreichend ist, während frische menschliche Tokens den Verlust weiter senken. Bei knappen Datenbudgets gibt es einen kurzen Vorteil, der ins Gegenteil kippt.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
