Bilanz der Quelle: Liquid AI hat mit LFM2.5-VL-3B-DSpark ein offenes Draft-Modell veroeffentlicht, das spekulatives Decoding auf Bild-Sprachmodelle uebertraegt und das bestehende LFM2.5-VL-3B ohne Aenderung der Ausgabe deutlich beschleunigt. Der Drafter hat 279,5 Millionen Parameter in BF16, basiert auf vier Full-Attention-Schichten mit einer Markov- und einer Confidence-Head und nutzt Blockgroessen von 8 oder 9. Laut Model-Card laeuft das Decoding in SGLang auf einer einzelnen H100 bis zu 2,66-fach schneller, auf Apple-Silicon mit MLX-VLM auf einem M5 Max bis zu 3,13-fach und mit llama.cpp auf einem M3 Ultra bis zu 2,14-fach. Spekulatives Decoding ist beim Greedy-Decoding exakt, weil das Zielmodell jeden vorgeschlagenen Token verifiziert; Inferenz ist ueber llama.cpp, MLX-VLM und SGLang moeglich.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von huggingface.co. Es erfolgte keine manuelle redaktionelle Bearbeitung.
