Bilanz der Quelle: Das llama.cpp-Team hat mit PR #29818 die Unterstützung für Decision-Modelle in llama-server angekündigt. Der neue Endpunkt POST /v1/systemone nimmt einen Zustand (Text, JSON oder Screenshot) plus typisierte Fragen entgegen und liefert in einem einzigen Forward-Pass eine Wahrscheinlichkeit je Option – ohne Token-Generierung, der usage-Block meldet output_tokens: 0. Drei Fragetypen stehen bereit: ‘choice’ (Routing mit Kriterien), ‘score’ (Skala 2 bis 10) und ‘noul’ (Ja/Nein). Das Format folgt dem Decision-Modelle von Anthropic.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von huggingface.co. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von huggingface.co. Es erfolgte keine manuelle redaktionelle Bearbeitung.
