Bilanz der Quelle: Forscher haben die Instabilität von LoRA+ auf einen Rauschterm bei der Initialisierung zurückgeführt. Dieser Term hängt von der Lernrate der Aufwärtsmatrix, der Startskala und dem Rang ab und verengt den stabilen Lernratenbereich. Eine neue Initialisierungsmethode kann diesen Bereich wieder erweitern.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
