Tag: LLM-Serving

Beiträge mit dem Schlagwort „LLM-Serving“

LLM-Serving unter Stromvertrag: ePACT senkt Abweichungskosten um 73,8 Prozent gegenüber vLLM

1. Oktober 2026

Mooncake: KV-Cache-zentrierte Architektur für LLM-Serving

24. Juni 2024

DistServe: Trennung von Prefill und Decoding für optimiertes LLM-Serving

18. Januar 2024

Punica bündelt Anfragen verschiedener Adapter in einem CUDA-Kernel: 12-facher Durchsatz bei 2 Millisekunden Aufschlag je Token

28. Oktober 2023