Bilanz der Quelle: Shanghai AI Lab und SJTU haben NCP-ArchPreview, ein 8.9B-Base-Modell, pre-Trainiert auf 5.73T Tokens mit Next Concept Prediction. Es erreicht den Lohn von OLMo-3-7B mit nur 51.3% der Tokenbudget (1.95x Konvergenz, 1.74x Compute-Effizienz), verbessert sich mit 6 Punkten auf GSM8K und wird mit nur 17M Parameter mit LoRA ohne Verlängerung der spekulativen Dekodierungskennzeiten bis zu 7.59% auf Code.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von xix.ai. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von xix.ai. Es erfolgte keine manuelle redaktionelle Bearbeitung.
