Hirnforschung: KI rekonstruiert Sprache aus Hirnströmen

Ein System, das Sprachlosen die Möglichkeit zu kommunizieren gibt, indem es Gedanken erfasst und als Sprache ausgibt - so weit ist die Forschung noch nicht. Aber Ansätze dafür gibt es: Drei Forschergruppen ist es gelungen, mit Hilfe von KI Hirnströme zu analysieren und daraus zuvor geäußerte oder gehörte Sprache zu rekonstruieren.

Artikel veröffentlicht am ,
Menschliches Gehirn (Symbolbild): gedachte Wörter im Sprache wandeln
Menschliches Gehirn (Symbolbild): gedachte Wörter im Sprache wandeln (Bild: Matt Cardy/Getty Images)

Denken geht nicht ohne Sprache. Aber lässt sich Sprache auch aus dem Denken extrahieren? Drei Forscherteams in Europa und den USA ist es unabhängig voneinander gelungen, Gehirnwellen zu erfassen und in Sprache zu verwandeln. Gedanken lesen können sie damit aber noch lange nicht.

Stellenmarkt
  1. Team Lead Cloud Power Solutions (w/m/d)
    SMF GmbH, Dortmund
  2. IT-Spezialist*in VMware vSphere / ESXi
    Hamburger Hochbahn AG, Hamburg
Detailsuche

Die Wissenschaftler setzten Elektroden ein, die Gehirnsignale erfassen. Sie ließen ihre Probanden sprechen oder spielten ihnen Sprachaufzeichnungen vor. Währenddessen zeichneten die Elektroden die Hirnströmen auf. Anschließend fütterten die Wissenschaftler neuronale Netze mit den Sprachaufzeichnungen und den korrelierenden Daten über die Gehirnaktivitäten. Die neuronalen Netze konnten dann einzelne Wörter oder sogar Sätze erkennen.

Die Forscher wandten dabei verschiedene Verfahren an. Das Team um Nima Mesgarani von der Coumbia University in New York City etwa nutzte Elektroden, die Signale aus dem auditiven Cortex erfassen. Das ist die Gehirnregion, die für die Verarbeitung akustischer Reize zuständig ist. Sie ist aber auch beim Sprechen aktiv.

Computer rekonstruiert Zahlen

Die Forscher spielten ihren Probanden, fünf Patienten mit Epilepsie, Aufzeichnungen von Geschichten vor und ließen sie dabei zuhören, wie Personen die Ziffern von Null bis Neun nannten. Der Computer konnte die Zahlen aus den Daten extrahieren.

Golem Akademie
  1. Kotlin für Java-Entwickler: virtueller Zwei-Tage-Workshop
    14.–15. Oktober 2021, Virtuell
  2. C++ Programmierung Basics: virtueller Fünf-Tage-Workshop
    15.–19. November 2021, virtuell
Weitere IT-Trainings

Eine Gruppe von Wissenschaftlern der Universitäten in Bremen und Maastricht in den Niederlanden konnten mit Hilfe eines neuronalen Netzes einsilbige Wörter rekonstruieren. Sie hatten als Probanden sechs Patienten, die wegen eines Hirntumors operiert wurden. Die Forscher um Miguel Angrick aus Bremen und Christian Herff aus Maastricht ließen die Versuchspersonen die Wörter laut vorlesen.

Dabei nahmen sie die gesprochenen Wörter auf und zeichneten gleichzeitig die Daten aus den Regionen des Hirns auf, die für die Sprachplanung sowie für die Motorik zuständig sind - letztere steuern den Vokaltrakt, der die Wörter dann formt. Hirnstromaufzeichnungen und Sprachaufzeichnungen wurden dann von dem neuronalen Netz analysiert, das daraus die Wörter rekonstruieren konnte.

Das System vom Team um Edward Chang konnte sogar ganze Sätze erkennen. Die Wissenschaftler von der University of California in San Francisco ließen ihre Probanden, drei Epilepsiepatienten, die Sätze vorlesen und zeichneten dabei Daten aus dem Sprach- und dem Bewegungszentrum auf. Sie schafften es sogar, Sätze vom Computer rekonstruieren zu lassen, die die Probanden nur schweigend formten, ohne sie laut auszusprechen.

Wenige Gelegenheiten, Elektroden im Gehirn zu nutzen

Für ihre Experimente implantierten die Forscher den Probanden jeweils Elektroden, mit denen sie Signale erfassen konnten. Da dies ein gefährlicher Eingriff ist, gibt es dazu nur wenig Gelegenheit, etwa bei einer Tumoroperation, wenn die Ärzte mit den Elektroden Sprach- und Bewegungsregionen lokalisieren, um diese bei dem Eingriff nicht zu schädigen, oder bei Epilepsiepatienten, die solche Elektroden für einige Tage eingesetzt bekommen. Für die Datenerfassung bleiben ihnen dann höchstens 20 bis 30 Minuten.

Ein System, das Sprache aus Hirnströmen synthetisieren kann, könnte beispielsweise nützlich sein für Menschen, die nach einem einen Schlaganfall oder durch eine Krankheit wie Amyotrophe Lateralsklerose (ALS) nicht mehr sprechen können. Davon sind diese Systeme allerdings noch weit entfernt: Sie müssten Wörter und Sätze, die der Proband denkt, erfassen und in Sprache umwandeln.

Dem kommt das System von Chang am nächsten, das es schaffte, gedachte Sätze zu rekonstruieren - allerdings waren die Sätze bereits vorgegeben. Die Trefferquote der Systeme war unterschiedlich: Zwischen 40 Prozent und 80 Prozent der vom Computer geäußerten Sprache war für Menschen verständlich.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Pixel 6 und 6 Pro im Test
Google hat es endlich geschafft

Das Pixel 6 und Pixel 6 Pro werden endlich Googles Rang als Android-Macher gerecht: Die Smartphones bieten starke Hardware und sinnvolle Software.
Ein Test von Tobias Költzsch

Pixel 6 und 6 Pro im Test: Google hat es endlich geschafft
Artikel
  1. Apple-Software-Updates: iOS 15.1, iPadOS 15.1, WatchOS 8.1 und TVOS 15.1 verfügbar
    Apple-Software-Updates
    iOS 15.1, iPadOS 15.1, WatchOS 8.1 und TVOS 15.1 verfügbar

    Die ersten größeren Aktualisierungen für iPhone, iPad, Apple Watch und Apple TV sind da. Wer das iPhone 13 verwendet, profitiert besonders.

  2. Desktop-Betriebssystem: Apple MacOS Monterey mit neuem Safari und Fokus-Funktion
    Desktop-Betriebssystem
    Apple MacOS Monterey mit neuem Safari und Fokus-Funktion

    Apple hat die finale Version seines Mac-Betriebssystems MacOS Monterey veröffentlicht. Dabei sind ein neuer Safari-Browser und eine Konzentrationsfunktion.

  3. 20 Jahre Windows XP: Der letzte XP-Fan
    20 Jahre Windows XP
    Der letzte XP-Fan

    Windows XP wird 20 Jahre alt - und nur wenige nutzen es noch täglich. Golem.de hat einen dieser Anwender besucht.
    Ein Interview von Martin Wolf

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Bosch Professional günstiger • Punkte sammeln bei MM für Club-Mitglieder: 1.000 Punkte geschenkt • Alternate (u. a. Apacer 1TB SATA 86,90€ & Team Group 1TB PCIe 4.0 159,90€) • Echo Show 8 (1. Gen.) 64,99€ • Halloween Sale bei Gamesplanet • Smart Home von Eufy günstiger [Werbung]
    •  /