Bilanz der Quelle: Ant Group und die vLLM-Gemeinschaft haben eine MIT-lizenzierte Kernelsammlung veröffentlicht, die Gewichte und Aktivierungen in verschiedenen Kombinationen verdichtet rechnet. Der W4A8-Pfad von Humming erreicht auf H200-GPUs eine bis zu 4,5-fache Beschleunigung, indem MXFP4-Gewichte direkt im Kernel entpackt werden.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von vllm.ai. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von vllm.ai. Es erfolgte keine manuelle redaktionelle Bearbeitung.
