Bilanz der Quelle: Das chinesische Start-up 01.AI um Kai-Fu Lee veröffentlicht Yi-Lightning, ein Mixture-of-Experts-Modell mit rund 100 Milliarden Parametern, und erreicht damit auf der LMSYS-Chatbot-Arena Platz sechs weltweit sowie den ersten Platz unter chinesischen Modellen. Technisch setzt das Modell auf feinsegmentierte Experten, Hybrid-Attention aus drei Sliding-Window- und einer Full-Attention-Lage sowie mehrstufiges Load-Balancing, was den KV-Cache bei langen Sequenzen um bis zu 82,8 Prozent schrumpft.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
