Transformer: Wie macht er das nur?

Wenn es um KI geht, ist viel vom Transformer die Rede. Er kann viel und hat vor allem eine faszinierende Eigenschaft.

12. April 2026 um 10:00 Uhr / Von Bastian Grossenbacher-Rieck

Aufgepasst! Denn der Attention-Mechanismus ist eine zentrale Grundlage für Transformer. Bild: pfreedom/Pixabay

An KI-Modellen führt aktuell kaum ein Weg vorbei. Vermutlich hat jeder mittlerweile schon mal mit ChatGPT und Co. gespielt oder sie vielleicht schon produktiv eingesetzt. Was aber möglicherweise von außen gar nicht so klar ist: Alle diese Modelle basieren vermutlich (genau wissen wir Forscherinnen und Forscher es tatsächlich nicht, denn die großen Konzerne lassen sich ungern in die Karten blicken) auf den gleichen Bausteinen. Eine besondere Rolle spielt der sogenannte Transformer.

In ihrer Publikation mit dem augenzwinkernden Namen Attention Is All You Need (PDF) hat ein Forschungsteam von Google Brain und Google Research Maßstäbe gesetzt. Der Titel führte nicht nur zu unzähligen Memes auf KI-Konferenzen, sondern sollte sich als geradezu prophetisch erweisen. Denn in der Tat sind der Attention-Mechanismus (etwas holprig übersetzt: Aufmerksamkeitsmechanismus) und die zugehörige Transformer-Architektur inzwischen der zentrale Bestandteil von modernen KI-Modellen. Und ganz wie das Schweizer Taschenmesser ist der Transformer auch extrem vielseitig anwendbar.