Tag: Inferenz

Beiträge mit dem Schlagwort „Inferenz“

NVIDIA TensorRT-LLM: Optimierte LLM-Inferenz jetzt öffentlich verfügbar

19. Oktober 2023

SparseGPT: Große Sprachmodelle in einem Durchgang auf 50 % Sparsity reduzieren

2. Januar 2023

Schnelle Inferenz von Transformatoren durch spekulatives Decoding

30. November 2022

SmoothQuant: Präzise und effiziente Post-Training-Quantisierung für große Sprachmodelle

18. November 2022

8-Bit-Quantisierung halbiert Speicherbedarf bei 175 Milliarden Parametern ohne Genauigkeitsverlust

15. August 2022

NVIDIA Triton Inference Server beschleunigt Deep-Learning-Inferenz

26. März 2020