Transformer

Eine Architektur, die alles trägt, was danach kommt.

Was in dieser Epoche geschah

2017 veröffentlichten Forscher von Google den Aufsatz „Attention Is All You Need“. Darin ersetzt ein Mechanismus namens Selbstaufmerksamkeit die bis dahin üblichen schrittweisen Verfahren: Jedes Wort einer Sequenz kann auf jedes andere schauen und daraus seine Bedeutung bestimmen. Der entscheidende Nebeneffekt war praktisch: Solche Netze lassen sich parallel trainieren, also auf sehr vielen Rechenkernen gleichzeitig. Erst dadurch wurden Modelle mit Milliarden Parametern bezahlbar.

2018 folgten BERT für das Verstehen von Text und GPT für das Erzeugen. 2019 erschien GPT-2, 2020 GPT-3 mit 175 Milliarden Parametern. Im selben Jahr beschrieben Forscher „Skalierungsgesetze“: Qualität wächst gesetzmäßig mit Modellgröße, Datenmenge und Rechenleistung. 2020 löste AlphaFold 2 ein jahrzehntealtes Problem der Biologie — die Vorhersage der Proteinfaltung. 2021 verband CLIP Text und Bild, sodass sich Bilder über Beschreibungen finden ließen.

Der Meilenstein

2017 — Der Transformer macht Sprachmodelle beliebig parallel trainierbar. Eine Architektur, ein Rezept, das sich vergrößern lässt.

Warum diese Epoche zählt

Weil dieselbe Architektur Text, Bild und Code verarbeitet. Ohne den Transformer gäbe es die generative Gegenwart nicht — und keine der Debatten, die heute darüber geführt werden.

Belege

Jahreszahlen, Namen und Zitate dieser Seite wurden am 27. Oktober 2026 gegen die folgenden Arbeiten geprüft; die Wikipedia-Artikel dienen als Übersicht und Einstieg, nicht als Originalbeleg. Die Belege zu den Meilenstein-Sätzen aller Bänder stehen gesammelt unter Belege zum Zeitstrahl.

1. Ashish Vaswani u. a., Attention Is All You Need, NeurIPS 2017 — en
2. Jacob Devlin u. a., BERT, 2018/2019; Alec Radford u. a., GPT, 2018 — en
3. Tom Brown u. a., Language Models are Few-Shot Learners (GPT-3, 175 Milliarden Parameter), 2020 — en
4. Jared Kaplan u. a., Scaling Laws for Neural Language Models, 2020 — en
5. John Jumper u. a., Highly Accurate Protein Structure Prediction with AlphaFold, Nature 596, 2021 (CASP14: 2020) — en
6. Alec Radford u. a., CLIP, 2021 — en