Bilanz der Quelle: DoRA trennt das vortrainierte Gewicht in einen Betragsvektor und eine Richtungsmatrix und trainiert nur die Richtung per LoRA. Auf Llama 7B und 13B bringt das 3,7 und 1,0 Punkte, auf Llama 3 8B 4,4 Punkte; das Verfahren war Oral auf der ICML 2024 bei 1,5 Prozent Annahmequote.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
