Bilanz der Quelle: AI2 und Contextual AI haben am 4. September 2024 die erste Mixture-of-Experts-Modellserie OLMoE veröffentlicht. Das Modell hat 64 Experten mit einem Top-8 Routing und etwa 1 Billion Aktiven Parameter pro Zeichen von 7 Billion Totalen, und wurde von Null aus 5.1 Trillionen Zeichen trainiert. OLMoE ist der erste Modelleinheit der vollständig offenen Pees.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von allenai.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von allenai.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
