Bilanz der Quelle: Liquid AI hat mit LFM2.5-VL-3B-DSpark ein offenes Draft-Modell veröffentlicht, das spekulatives Decoding auf Bild-Sprachmodelle überträgt und das bestehende LFM2.5-VL-3B ohne Änderung der Ausgabe deutlich beschleunigt. Der Drafter hat 279,5 Millionen Parameter in BF16, basiert auf vier Full-Attention-Schichten mit einer Markov- und einer Confidence-Head und nutzt Blockgrößen von 8 oder 9. Laut Model-Card läuft das Decoding in SGLang auf einer einzelnen H100 bis zu 2,66-fach schneller, auf Apple-Silicon mit MLX-VLM auf einem M5 Max bis zu 3,13-fach und mit llama.cpp auf einem M3 Ultra bis zu 2,14-fach. Spekulatives Decoding ist beim Greedy-Decoding exakt, weil das Zielmodell jeden vorgeschlagenen Token verifiziert; Inferenz ist über llama.cpp, MLX-VLM und SGLang möglich.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von huggingface.co. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Kalina Digest unterstützen
Lesen bleibt frei. Wer mag, gibt etwas zurück — ab 1 € einmalig, oder als Stufe für einen Monat, ein Quartal oder ein Jahr. Bisher: 5.00 € aus 1 Beiträgen.
