Bilanz der Quelle: Together AI veröffentlichte RedPajama-V2, die größte öffentliche Datensatz für LLM-Training, mit über 100 Billionen Textdokumenten und mehr als 100 Trillionen Raw-Token aus 84 CommonCrawl-Dumps, reduziert auf 30 Trillionen Tokens nach Filterung und Deduplication. Es spannt fünf Sprachen – Englisch, Französisch, Spanisch, Deutsch und Italienisch – und enthält mehr als 40 oder mehr precomputed data quality annotations, die für Forschende zur Schnitt- und Gewichtung der korrekten Annotationen dienen.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von together.ai. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von together.ai. Es erfolgte keine manuelle redaktionelle Bearbeitung.
