Modelle & Releases

The Pile: 800GB-Datensatz mit vielfältigem Text für Sprachmodellierung

1 Min. Lesezeit Kalina

Bilanz der Quelle: EleutherAI hat ‘The Pile’ veröffentlicht, einen 825 GiB großen englischen Korpus aus 22 hochwertigen Teilquellen, der als Referenz für offene Pretraining-Datensätze diente. Das Projekt stellte frühe Standards für die Dokumentation von Datenherkunft und Inhaltsrisiken in der KI-Entwicklung auf.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)

ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.

Mehr aus Modelle & Releases