Transformer erklärt: Die Technik hinter fast aller modernen KI
Inhalt
Dieser Golem-Plus-Text ist 24 Stunden frei verfügbar.
"Attention is all you need": Die Geschichte hinter diesem Satz hat die Gesellschaft in den vergangenen Jahren so sehr verändert wie vielleicht in diesem Jahrhundert nur die Erfindung des Smartphones. Der Satz ist der Titel eines Google-Forschungspapiers, in dem der Konzern seine Erfindung vorstellt: den Transformer. Diese Architekturblaupause für neuronale Netzwerke aus dem Jahr 2017 ist bis heute die Basis für die allermeisten Sprachmodelle, von ChatGPT über Kimi bis Deepseek, und ist mittlerweile auch in der Bildverarbeitung sowie in ziemlich allen anderen Domänen angekommen.
Wir erklären, wie die Transformer und im Speziellen deren Attention-Mechanismus eigentlich funktionieren, und was wir daraus lernen können.
Übersetzungen als ChatGPTs Urahne
Eigentlich war der Transformer insbesondere für das Übersetzen von Texten gemacht. Der erste Teil des Netzwerks, der sogenannte Encoder, erfasst einen eingegebenen Text und produziert eine Beschreibung dessen, was darin steht. Diese Beschreibung ist also die Kerninformation des Textes in der Darstellung des neuronalen Netzes.
Der zweite Teil des Netzwerks lernt dann, entsprechend dieser Beschreibung, den übersetzten Text Stück für Stück zu produzieren. Der Encoder lernt also das Zusammenfassen und "Verstehen" von Informationen, während der Decoder generativ funktioniert, also wiederum Text produziert.
Zwar könnte man diesen Ansatz auch für einzelne Buchstaben anwenden, in der Praxis werden aber in der Regel sogenannte Tokens, also größere Textfetzen wie einzelne Wörter oder Silben, verwendet und vorhergesagt.
Im Kern dieser beiden Encoder- und Decoder-Module steht dabei die sogenannte Attention, also Aufmerksamkeit. Mit ihr werden die einzelnen Tokens in Verbindung gebracht und damit Beziehungen zwischen den Textstücken hergestellt.
In dem Satzteil "die schwarze Katze" würde das Netzwerk vermutlich lernen, dass zwischen dem Token für die Beschreibung "schwarze" und dem Token des Objekts "Katze" eine starke Beziehung besteht. Grundsätzlich lernt das neuronale Netzwerk wie in allen anderen Architekturen dabei selbst, welche Textstücke wichtig füreinander sind.
Attention in Reinform
Diese Attention wird dafür genutzt, die Tokens entsprechend zu vermischen: Aus der starken Beziehung zwischen "schwarze" und "Katze" folgt dann, dass das Token "Katze" aus allen Tokens in der Sequenz neu zusammengemischt wird, abhängig vom Attention-Wert. In diesem Fall fließt also durch die Attention viel Information über die Farbe in das Token für "Katze". Das geschieht parallel für alle Tokens in der Sequenz. Jedes wird durch eine gewichtete Kombination aller Tokens neu dargestellt.
Ursprünglich kommt die Idee der Attention aus einer anderen Veröffentlichung(öffnet im neuen Fenster), wurde aber von den Google-Forscherinnen und -Forschern an zwei entscheidenden Punkten verbessert: Erstens setzen Transformer diese Attention in Reinform ein, nur über diesen Mechanismus werden die Tokens miteinander in Verbindung gebracht. Zweitens wurde die Attention auf mehrere Heads erweitert: Mathematisch ist es lohnenswert, Attention sehr eindeutig auf einige wenige, dafür aber starke Beziehungen zu Tokens zu reduzieren. Das begrenzt aber naturgemäß die Anzahl der Verbindungen zu anderen Tokens.
Deshalb setzten die Google-Forscher mehrere dieser Verbindungen parallel auf die gleichen Tokens, eben die verschiedenen Heads. Jeder davon kann dann seinen Fokus auf andere Aspekte legen und mehrere unterschiedliche Beziehungen zwischen Tokens ermöglichen. Unterschiedliche Heads dienen also verschiedenen semantischen Zwecken.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.