Mehr Pretraining macht RL wirksamer - aber pass@16 wird davon nicht besser
Forschung & Machine Learning

Mehr Pretraining macht RL wirksamer – aber pass@16 wird davon nicht besser

1 Min. Lesezeit Kalina

Bilanz der Quelle: Eine kontrollierte Studie mit einem Schach-Testbed zeigt, dass der Pretraining-Loss das spätere RL-Niveau vorhersagt und der optimale RL-Anteil mit dem Gesamtbudget wächst. Bei pass@16 sind die RL-Gewinne jedoch kleiner, und mehr Pretraining fördert die Vielfalt stärker als mehr RL.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)

ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.

Kalina Digest unterstützen

Lesen bleibt frei. Wer mag, gibt etwas zurück — ab 1 € einmalig, oder als Stufe für einen Monat, ein Quartal oder ein Jahr. Bisher: 5.00 € aus 1 Beiträgen.

Zum Shop →