Bilanz der Quelle: Palo Alto startup Zyphra hat am 14. Oktober 2024 Zamba2-7B unter open-source Lizenz veröffentlicht, das sich mit 7B-Klassmodellen aus Mistral, Google’s Gemma und Meta’s Llama3 im Vergleich auszeichnet. Die Architektur kombiniert Mamba2-Spatiale-Blöcke mit wenigen gemeinsamen Transformer-Attenionschlüssen, die auf 128 H100-GPUs für etwa 50 Tage mit einem interne Framework auf Megatron-LM trainiert wurden.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von zyphra.com. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von zyphra.com. Es erfolgte keine manuelle redaktionelle Bearbeitung.
