Bilanz der Quelle: LeapQuant ist eine neue Methode zur Quantisierung der rekurrenten Zustände in Hybrid Linear-Attention-LM wie Gated DeltaNet und Kimi Delta Attention. Der Ansatz funktioniert ohne Trainingszeit und ermöglicht eine nahezu verlustfreie Quantisierung. Durch Per-Window-Quantisierung und Compensator-Tokens werden die Inferenzkosten bei wiederholtem Lesen und Aktualisieren des Zustands deutlich reduziert.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
