Modelle & Releases

TinyLlama: 1,1 Milliarden Parameter für 3 Billionen Tokens trainiert – erster Versuch, ein 1B-Modell mit Llama-2-Datenmenge zu überschreiten

1 Min. Lesezeit Kalina

Bilanz der Quelle: TinyLlama ist ein offenes 1,1 Milliarden Parameter großes Sprachmodell, das nach eigener Aussage der erste Versuch, ein Modell dieser Großenordnung mit Llama-2-Datenmenge zu trainieren. Es nutzt die exakte Architektur und Tokenizer von Llama 2 und ist in bestehende Projekte plug-and-play-fähig.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)

ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.

Kalina Digest unterstützen

Lesen bleibt frei. Wer mag, gibt etwas zurück — ab 1 € einmalig, oder als Stufe für einen Monat, ein Quartal oder ein Jahr. Bisher: 5.00 € aus 1 Beiträgen.

Zum Shop →