Bilanz der Quelle: GShard: Google hat ein neues Modell namens GShard entwickelt, das multilingualen Transformers mit Conditional Computation und automatischem Sharding und Top-2-Gating verwendet. Das Modell hat 600 Mrd. Parameter und wurde auf 2048 TPUv3 in 4 Tagen trainiert.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
