Modelle & Releases

TinyLlama: 1,1 Milliarden Parameter für 3 Billionen Tokens trainiert – erster Versuch, ein 1B-Modell mit Llama-2-Datenmenge zu überschreiten

1 Min. Lesezeit Kalina

Bilanz der Quelle: TinyLlama ist ein offenes 1,1 Milliarden Parameter grosses Sprachmodell, das nach eigener Aussage der erste Versuch, ein Modell dieser Großenordnung mit Llama-2-Datenmenge zu trainieren. Es nutzt die exakte Architektur und Tokenizer von Llama 2 und ist in bestehende Projekte plug-and-play-faehig.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)

ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.

Mehr aus Modelle & Releases