Bilanz der Quelle: SMELT, eine Looped Mixture-of-Experts Transformer, wurde studiert unter der Übertragung von FLOPs, Parameteren und KV-Cachen. Die Analyse zeigt, dass der zweite Pass die Aufmerksamkeitssinkel reduziert und die TrainingsFLOPs um 6.8-18.0% auf der compute-optimalen Frontiere von Größe bis 54B non-embedding Parameters reduziert.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
