Bilanz der Quelle: Liquid AI hat mit LFM2.5-VL-3B-DSpark ein offenes Draft-Modell veröffentlicht, das spekulatives Decoding auf Bild-Sprachmodelle überträgt und das bestehende LFM2.5-VL-3B ohne Änderung der Ausgabe deutlich beschleunigt. Der Drafter hat 279,5 Millionen Parameter in BF16, basiert auf vier Full-Attention-Schichten mit einer Markov- und einer Confidence-Head und nutzt Blockgrößen von 8 oder 9. Laut Model-Card läuft das Decoding in SGLang auf einer einzelnen H100 bis zu 2,66-fach schneller, auf Apple-Silicon mit MLX-VLM auf einem M5 Max bis zu 3,13-fach und mit llama.cpp auf einem M3 Ultra bis zu 2,14-fach. Spekulatives Decoding ist beim Greedy-Decoding exakt, weil das Zielmodell jeden vorgeschlagenen Token verifiziert; Inferenz ist über llama.cpp, MLX-VLM und SGLang möglich.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von huggingface.co. Es erfolgte keine manuelle redaktionelle Bearbeitung.
