Abo
  • IT-Karriere:

Sprachsynthese: Forscher erzeugen Sprache aus Hirnströmen

US-Forscher haben ein System entwickelt, das Signale aus dem Gehirn in gesprochene Sprache übersetzt. Dabei bildet es die Stimme und Sprachmelodie des Probanden nach. Das System soll es in Zukunft Menschen, die ihre Sprechfähigkeit verloren haben, ermöglichen zu sprechen.

Artikel veröffentlicht am ,
Sprachsynthese: ein erster Schritt zur Nachbildung des natürlichen Sprechens
Sprachsynthese: ein erster Schritt zur Nachbildung des natürlichen Sprechens (Bild: UCSF/Screenshot: Golem.de)

Sprache für die Sprachlosen: Forscher der Universität von Kalifornien in San Francisco haben eine Gehirn-Maschine-Schnittstelle (Brain-Computer-Interface, BCI) entwickelt, die Gehirnaktivität in natürlich klingende, synthetische Sprache übersetzt. Das System soll es Menschen, die durch eine Lähmung oder eine andere neurologische Schädigung die Sprachfähigkeit verloren haben, ermöglichen zu kommunizieren.

Stellenmarkt
  1. BWI GmbH, Meckenheim, München
  2. RFT kabel Brandenburg GmbH, Brandenburg an der Havel

Das System besteht aus einer Anordnung von Elektroden, die auf dem Gehirn des Probanden platziert werden. Die Signale werden in einen virtuellen Stimmapparat gespeist. Er bildet die Bewegungen der Lippen, des Kiefers, der Zunge und des Kehlkopfes nach und wandelt so die Hirnsignale in Worte um.

"Diese Studie zeigt erstmals, dass wir aus der Gehirnaktivität einer Person ganze gesprochene Sätze erzeugen können", sagt Edward Chang, Neurochirurg und Leiter der Studie. "Das ist ein erhebender Beweis des Prinzips, dass wir in der Lage sind, mit verfügbarer Technik ein Gerät zu bauen, das für Patienten mit Sprachverlust klinisch praktikabel ist."

Die Studie, die in der Fachzeitschrift Nature erschienen ist, basiert auf einer früheren Arbeit, bei der die Forscher beschrieben, wie das Sprachzentrum im Gehirn die Bewegungen des menschlichen Stimmapparats für flüssiges Sprechen steuert. Dabei fanden sie heraus, dass die Sprachzentren des Gehirns weniger Geräusche als vielmehr Anweisungen für die Koordinierung der Mund- und Rachenbewegungen kodieren. Das könnte der Grund sein, weshalb frühere Versuche, Sprache direkt aus der Hirnaktivität zu extrahieren, nur bedingt erfolgreich waren.

Um das System zu trainieren, ließen die Forscher Epilepsie-Patienten, denen vorübergehend eine Elektrode ins Gehirns implantiert worden war, mehrere Hundert Sätze laut vorlesen. Dabei wurde die Aktivität in den Regionen des Gehirns, die für die Spracherzeugung zuständig sind, aufgezeichnet. Aus diesen Daten rekonstruierten die Forscher die Bewegungen des Stimmapparats, der diese Laute erzeugte: das Zusammenpressen und Öffnen der Lippen, die Bewegungen der Zunge im Mund, das Straffen der Stimmbänder. Insgesamt sind rund 100 Muskeln am Sprechen beteiligt.

Ein individueller virtueller Stimmapparat für jeden Probanden

Die detaillierte Korrelation von Klang und Anatomie ermöglichte es, für jeden Probanden einen virtuellen Stimmapparat zu erzeugen, der durch dessen Gehirnaktivität gesteuert werden konnte. Zu dem System gehören Algorithmen mit maschinellem Lernen: Ein Decoder übersetzt die Hirnaktivitätsmuster, die beim Sprechen entstehen, in Bewegungen des virtuellen Stimmapparats. Ein Synthesizer erzeugt aus Bewegungen des Stimmapparats eine synthetische Stimme, die der des Probanden ähnelt.

Durch einen Schlaganfall oder neurodegenerative Erkrankungen wie Parkinson, Multiple Sklerose und amyotrophe Lateralsklerose (ALS) kann die Sprechfähigkeit eines Menschen beeinträchtigt werden oder verloren gehen. Der im vergangenen Jahr verstorbene Physiker Stephen Hawking war an ALS erkrankt und konnte nur einen Wangenmuskel und seine Augen bewegen.

Stephen Hawking kommunizierte mit Hilfe seines Wangenmuskels

Hawking kommunizierte, indem er seinen Wangenmuskel bewegte. Eine Infrarot-Kamera an seiner Brille erfasste die Bewegungen des Wangenmuskels. So steuerte Hawking einen Cursor auf einem Bildschirm und eine Sprachsynthese-Software. Solche Systeme ermöglichen etwa zehn Worte pro Minute. Gesprochen kann der Mensch etwa 100 bis 150 Worte in der Minute äußern.

Das System soll den Patienten aber nicht nur die Sprache wiedergeben. Es werde zudem in der Lage sein, einen Teil der Sprachmelodie zurückzugeben, die die Emotionen und Persönlichkeit des Sprechers ausdrücke, sagen die Wissenschaftler.

Das System könne schon sehr gut Töne wie "sch" und "z" erzeugen. Auch Sprachrhythmus, Sprachmelodie und das Geschlecht des Sprechenden ließen sich gut nachbilden, sagt Projektmitarbeiter Josh Chartier. Verschlusslaute wie "b" und "p" hingegen funktionierten noch nicht so gut. Es sei zwar schon besser als die bisher verfügbaren Systeme seiner Art. Aber, schränkt Josh Chartier ein: "Es ist noch ein weiter Weg, bis wir die gesprochene Sprache perfekt nachahmen können."



Anzeige
Top-Angebote
  1. 119,99€ (Release am 5. Dezember)
  2. 279,00€ (zus. Rabatt von 10 Prozent über Code PINATA3)
  3. (aktuell u. a. Chieftec PC-Gehäuse für 29,99€, Goliath Games Mission Escape für 16,99€)
  4. 243,36€ (zzgl. 4,50€ Versand - Bestpreis!)

spitfire_ch 30. Apr 2019 / Themenstart

... ... Das würde aber voraussetzen, dass bei allen Menschen das Gehirn gleich oder...

Kommentieren


Folgen Sie uns
       


Mordhau Gameplay

Klirrende Klingen und packende Kämpfe mit bis zu 64 Spielern bietet das in einem mittelalterlichen Szenario angesiedelte Actionspiel Mordhau.

Mordhau Gameplay Video aufrufen
Timex Data Link im Retro-Test: Bill Gates' Astronauten-Smartwatch
Timex Data Link im Retro-Test
Bill Gates' Astronauten-Smartwatch

Mit der Data Link haben Timex und Microsoft bereits vor 25 Jahren die erste richtige Smartwatch vorgestellt. Sie hat es sogar bis in den Weltraum geschafft. Das Highlight ist die drahtlose Datenübertragung per flackerndem Röhrenmonitor - was wir natürlich ausprobieren mussten.
Ein Test von Tobias Költzsch

  1. Smart Watch Swatch fordert wegen kopierter Zifferblätter von Samsung Geld
  2. Wearable EU warnt vor deutscher Kinder-Smartwatch
  3. Sportuhr Fossil stellt Smartwatch mit Snapdragon 3100 vor

Ada und Spark: Mehr Sicherheit durch bessere Programmiersprachen
Ada und Spark
Mehr Sicherheit durch bessere Programmiersprachen

Viele Sicherheitslücken in Software sind auf Programmierfehler zurückzuführen. Diese Fehler lassen sich aber vermeiden - und zwar unter anderem durch die Wahl einer guten Programmiersprache. Ada und Spark gehören dazu, leider sind sie immer noch wenig bekannt.
Von Johannes Kanig

  1. Das andere How-to Deutsch lernen für Programmierer
  2. Programmiersprachen, Pakete, IDEs So steigen Entwickler in Machine Learning ein

WD Blue SN500 ausprobiert: Die flotte günstige Blaue
WD Blue SN500 ausprobiert
Die flotte günstige Blaue

Mit der WD Blue SN500 bietet Western Digital eine spannende NVMe-SSD an: Das M.2-Kärtchen basiert auf einem selbst entwickelten Controller und eigenem Flash-Speicher. Das Resultat ist ein schnelles, vor allem aber günstiges Modell als bessere Alternative zu Sata-SSDs.
Von Marc Sauter

  1. WD Black SN750 ausprobiert Direkt hinter Samsungs SSDs
  2. WD Black SN750 Leicht optimierte NVMe-SSD mit 2 TByte
  3. Ultrastar DC ME200 Western Digital baut PCIe-Arbeitsspeicher mit 4 TByte

    •  /