Bilanz der Quelle: Moonshot AI und die Tsinghua-Universität präsentieren Mooncake, eine Produktionsplattform für LLM-Serving, die Prefill- und Decoding-Cluster trennt. Die Architektur verwaltet den KV-Cache als verteilte Ressource über CPU, DRAM und SSD. Dadurch kann das Modell Kimi 75 % mehr Anfragen verarbeiten.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
