Bilanz der Quelle: KV-Kaizen adressiert das Problem, dass kontextangereicherte Texte die Größe der KV-Caches in LLMs übersteigen können. Dies führt zu negativen Auswirkungen auf den Durchsatz, da die Dekodierung auf demselben Speicher basiert und die Kosten mit der Cachegröße steigen. Die Methode lernt daher kontextadaptive Entscheidungen für die Cache-Kompression.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
