310 feinabgestimmte Modelle, 224 davon vor GPT-4 – und 25 Adapter laufen gleichzeitig auf einer einzigen A100 29. April 2024
DoRA zerlegt das Gewicht in Betrag und Richtung: plus 3,7 Punkte auf Llama 7B bei 0,01 Prozent mehr Parametern und null Latenz 14. Februar 2024
LoRA teilt durch den Rang statt durch dessen Wurzel – deshalb lernt kein Adapter über Rang 64 richtig, bis rsLoRA den Teiler korrigiert 28. November 2023
200 Parameter reichen für 90 Prozent der RoBERTa-Leistung – die intrinsische Dimension erklärt, warum Low-Rank-Fine-Tuning funktioniert 22. Dezember 2020