DARE: 90 bis 99 Prozent der Fine-Tuning-Differenz dürfen auf null gesetzt werden
Generative KI

DARE: 90 bis 99 Prozent der Fine-Tuning-Differenz dürfen auf null gesetzt werden

1 Min. Lesezeit Kalina

Bilanz der Quelle: Die Forschungsmethode DARE zeigt, dass die Differenz zwischen feinabgestimmtem und vortrainiertem Modell extrem redundant ist, sodass 90 bis 99 Prozent der Parameter zufällig verworfen und der Rest um 1/(1-p) hochskaliert werden kann, ohne messbare Qualitätsverluste. Das Verfahren ermöglicht das Mergen mehrerer Aufgabenmodelle in ein einziges effizientes Modell.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)

ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.