Tag: Inference Throughput

Beiträge mit dem Schlagwort „Inference Throughput“

NVIDIA veröffentlicht die Nemotron-H Reasoning-Modellfamilie am 6. Juni 2025: Nemotron-H-47B-Reasoning-128K und Nemotron-H-8B-Reasoning-128K, in BF16 und FP8 quantisiert Form. Diese Hybrid-Mamba-Transformer-Modellarchitekturen ersetzen die meisten selbst-attention-Lagern mit Mamba-Lagern, die sich auf konstantes Rechenvermögen und konstantes Speichervermögen per generierter Sätze konstanterweise konstantenkenken. NVIDIA berichtet, dass die Inference-Throughput von bis zu drei Mal höher als vergleichbare offene pure-Transformer-Modelle wie Qwen2.5-7B/72B und Llama3.1-8B ist

6. Juni 2025