Bilanz der Quelle: Dan Hendrycks und seine Kollegen haben MMLU, ein multiple-choice-Test zur Massivemultiplikativen Sprachverstehen, eingeführt. Es umfasst 57 Fachgebiete, darunter Mathematik, Geschichte, Computerwissenschaften und Recht. Die meisten aktuellen Modelle schauen fast wie zufällig vor, und der Benchmark wird schnell zum standardisierten LLM-Kenntniskalier für allgemeine Kenntnisse.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)
ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.
