Tag: LoRA

LoRA teilt durch den Rang statt durch dessen Wurzel – deshalb lernt kein Adapter über Rang 64 richtig, bis rsLoRA den Teiler korrigiert

28. November 2023

S-LoRA: 2.000 Adapter auf einer GPU bei stabilen 7,6 Anfragen je Sekunde

6. November 2023

Punica bündelt Anfragen verschiedener Adapter in einem CUDA-Kernel: 12-facher Durchsatz bei 2 Millisekunden Aufschlag je Token

28. Oktober 2023

Die 0,8-Punkte-Lücke war ein Entwicklungsdatensatz-Artefakt: über 12 Aufgaben gewinnt sparsames Tuning nur unter 1.000 Beispielen

7. Dezember 2022

Adapter, Prefix und LoRA sind derselbe Eingriff: ein Rahmen, fünf Entwurfsdimensionen, drei Familien

8. Oktober 2021

LoRA: 10.000x weniger Parameter, 3x weniger GPU-Speicher, keine Latenz

17. Juni 2021

Prefix-Tuning: 0,1 Prozent der Parameter als virtuelle Token für bessere Ergebnisse

1. Januar 2021