Die 0,8-Punkte-Lücke war ein Entwicklungsdatensatz-Artefakt: über 12 Aufgaben gewinnt sparsames Tuning nur unter 1.000 B
Forschung & Machine Learning

Die 0,8-Punkte-Lücke war ein Entwicklungsdatensatz-Artefakt: über 12 Aufgaben gewinnt sparsames Tuning nur unter 1.000 Beispielen

1 Min. Lesezeit Kalina

Bilanz der Quelle: Chen und Kollegen deckten im Dezember 2022 zwei Fehler in der Vergleichsbasis sparsamer Verfahren auf: Der Entwicklungsdatensatz wurde gleichzeitig zum frühen Abbrechen und zur Ergebnisangabe genutzt, was zu Datenleckage führte, und statistische Signifikanz wurde selten berichtet. Über 12 Aufgaben aus GLUE und SuperGLUE zeigen, dass Adapter, Prefix-Tuning, LoRA und BitFit nur bei höchstens 1.000 Trainingsbeispielen überlegen sind.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)

ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von aclanthology.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.

Kalina Digest unterstützen

Lesen bleibt frei. Wer mag, gibt etwas zurück — ab 1 € einmalig, oder als Stufe für einen Monat, ein Quartal oder ein Jahr. Bisher: 5.00 € aus 1 Beiträgen.

Zum Shop →