LoRA teilt durch den Rang statt durch dessen Wurzel - deshalb lernt kein Adapter über Rang 64 richtig, bis rsLoRA den Te
Generative KI

LoRA teilt durch den Rang statt durch dessen Wurzel – deshalb lernt kein Adapter über Rang 64 richtig, bis rsLoRA den Teiler korrigiert

1 Min. Lesezeit Kalina

Bilanz der Quelle: Der übliche Skalierungsfaktor alpha/r bremst hohe Ränge aus, weshalb LoRA in der Praxis auf kleine Ränge beschränkt blieb. Kalajdzievski beweist, dass durch die Wurzel des Rangs geteilt werden muss, und macht damit hohe Ränge als Bezahlung für bessere Qualität nutzbar.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)

ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.