Neuronale Aschenputtel: LLM verwandelt Hämoglobin in Text
"Die größte Herausforderung", sagt Horikawa, sei es gewesen "zu entscheiden, wie man Hirnströme in Text übersetzt". Er ließ das Sprachmodell Roberta(öffnet im neuen Fenster) über 100 Iterationen hinweg den Inhalt der Gehirndaten beschreiben. Von einem Platzhalter startend, testete das Model nach und nach verschiedene Bedeutungen und näherte sich langsam einer Beschreibung davon an, was Probanden gesehen hatten.
Am Ende konnte das Programm in etwa 50 Prozent aller Tests mit neuen MRT-Daten aus 100 möglichen Videos das richtige wählen. Das klappte ebenso gut, wenn Probanden sich Szenen aus den Videos nur vorstellten – ein Beweis, dass Sehen und Vorstellen auf überlappende Gehirnnetzwerke zurückgreifen. Das sei zwar keine fundamental neue Erkenntnis, sagt Horikawa, aber ein ungewöhnlicher Erfolg für eine Decoding-Studie sei es dennoch.
Schwer zu sagen, was genau dekodiert wird
Auch frühere Decoding-Forscher waren anfangs überrascht, wie erfolgreich sie mentale Inhalte aus fMRT-Daten entschlüsseln konnten. Sie blendeten Probanden zum Beispiel unterschiedliche ausgerichtete Linien ein – ein berühmter Versuchsaufbau, um zu untersuchen, welche Inhalte bestimmte Hirnregionen verarbeiten. Dann entzifferten sie mittels maschinellem Lernen recht erfolgreich, welche Hirnaktivität auf welche Orientierung hindeutet(öffnet im neuen Fenster).
Mit der Zeit zogen sie aber, trotz vieler Erfolge, immer nüchternere Bilanzen. Bahnbrechende Ergebnisse belegten zwar, dass etwas sehen und sich etwas vorstellen auf sehr ähnlicher Hirnaktivität beruht – das belegt auch Horikawas Studie. Aber es gab keine eindeutigen Antworten, etwa auf die Frage, warum das Gehirn den Inhalt visueller Erfahrungen so verarbeitet.
Stattdessen häuften sich komplizierte Details. Eine Studie prangerte zum Beispiel die statistischen Methoden der kognitiven Neurowissenschaft an. Sie zeigte signifikante Unterschiede in der Hirnaktivität eines toten Lachses in Reaktion auf unterschiedliche Reize. Anderen Berichte belegten, dass mehr Aktivität in einem Hirnareal zu einem schwächeren Bold-Signal führen könne. Die Rückschlüsse von MRT-Daten auf das, was unser Gehirn macht, wurden dadurch immer umstrittener(öffnet im neuen Fenster).