Original-URL des Artikels: https://www.golem.de/news/computerlinguistik-bordstein-sie-ihre-erwartung-2001-145687.html    Veröffentlicht: 23.01.2020 12:04    Kurz-URL: https://glm.io/145687

Computerlinguistik

"Bordstein Sie Ihre Erwartung!"

Ob Google, Microsoft oder Amazon: Unternehmen befinden sich im internationalen Wettlauf um die treffendsten Übersetzungen. Kontext-Integration, Datenmangel in kleinen Sprachen sowie fehlende Experten für Machine Learning und Sprachverarbeitung sind dabei immer noch die größten Hürden.

In einem diskreten Glasgebäude am Berliner Checkpoint Charlie deutet wenig darauf hin, dass es sich um einen Sitz von Amazon handelt. Kein Schild mit gelben Buchstaben, dafür ein Portier, der die Etagennummer per Computer an den Fahrstuhl übermittelt.

Besucher sollen auf keinen Fall in irgendwelche Projekte stolpern, die nicht für ihre Augen bestimmt sind - die Forscher arbeiten unter anderem an Amazon Translate, ihrem Übersetzer für Texte und Amazon-Produktseiten. Auf ihren Schreibtischen im fünften Stock stapeln sich blaue Puzzleteile aus Glas mit Signatur von Jeff Bezos; jedes steht für ein erteiltes Patent. Forschungsleiter Hagen Fürstenau sitzt an einem der Tische und liest das wissenschaftliche Paper eines Kollegen durch. Die Wissenschaftler suchen immer zu Beginn eines Projekts nach aktueller Fachliteratur und evaluieren, was davon auf die eigene Situation übertragen werden kann. Anschließend erarbeiten sie einen Vorgehensplan, um das Problem zu lösen, sowie ein Konzept, um diese Lösung in das Live-System zu übertragen.

Fürstenau, Experte für Machine Learning und Linguistik, hat schon als Schüler Rechnen geliebt und Bücher verschlungen, vor allem Der Herr der Ringe. Mit sieben Jahren bekam er den ersten Computer und brachte sich selbst Programmieren bei. Später studierte er Mathematik, besuchte Sommercamps für Computerlinguistik, machte seinen Doktor in dem Fach und lernte Chinesisch und Koreanisch.

"Ich habe mich schon immer für Sprachen interessiert", sagt er. "Für Übersetzungsmöglichkeiten und subtile Bedeutungsunterschiede wird man erst sensibilisiert, wenn man sich mit Linguistik beschäftigt. Und linguistische Probleme mit abstrakter Mathematik und Informatik zu lösen - das war spannend für mich. Computerlinguistik ist meine ideale Spielwiese."

Anders geht es wohl auch nicht, wenn man automatische Übersetzer verbessern will. Man muss sich mit Sprachen ebenso auskennen wie mit der Technik. Experten zu finden ist dementsprechend schwieriger als in anderen IT-Bereichen.

Spezialisten für Sprachverarbeitung dringend gesucht

Hagen Fürstenau sucht auf Fachkonferenzen oder an Lehrstühlen der Universitäten weltweit nach Kandidaten für sein Team. Sprachverarbeitung ist ein internationales Geschäft; die 15 Computerlinguisten, Softwareentwickler und Informatik-Doktoren im Berliner Team stammen aus elf Nationen. Bewerber müssen mehrstufige Bewerbungstests bei Amazon bestehen, Probe-Code schreiben und die 14 Leadership-Prinzipien wie "Customer Obsession" mit ihrer Vita belegen können.

Einmal angenommen, bekommen die Forscher im Bereich Machine Learning und Sprachverarbeitung Unternehmensanteile in Form von Aktien, die Möglichkeit, von unterschiedlichen Standorten aus zu arbeiten, und ein Jahresgehalt, das die Vergleichsseite Glassdoor mit rund 80.000 Euro beziffert. Dennoch ist auch die Konkurrenz attraktiv, besonders in den USA. Universitäten oder Unternehmen wie Google, Apple oder Microsoft bieten Experten gute Stellen, ebenso wie zahlreiche andere Firmen auf der ganzen Welt, die Übersetzung, Sprachsteuerung, Autokorrektur, Spamfilter, Textzusammenfassungen oder automatisierten Kundenservice anbieten. Der Markt für Deep Learning im Sprachverarbeitungsbereich wächst deutlich schneller, als die Hochschulen Nachwuchs ausbilden.

Die Herausforderung: Kandidaten müssen den aktuellen Stand der Forschung durchdringen, ihm aber auch neue Aspekte hinzufügen können, um die Innovation voranzutreiben. "Man muss Verstärkung schon fast mit der Lupe suchen", sagt Fürstenau. "Es gibt weltweit höchstens ein paar Dutzend Experten für Sprachverarbeitung und maschinelles Lernen, die überhaupt infrage kommen."

Context is key

Nur eine der schallgeschützten Telefonboxen in den Büroräumen ist um 10 Uhr vormittags schon besetzt. Hagen Fürstenaus Team beginnt in der Regel spät und geht spät nach Hause, angepasst an die Zeitzonen der Kollegen in Seattle, Los Angeles, Boston und New York.

Zusammen sitzen sie an den großen Problemen maschineller Übersetzung, etwa an Bedeutungsunterschieden wie beim Wort absetzen, das auf Englisch to deduct, to drop off oder to settle heißen könnte. "Das Spannende dabei ist, dass wir nicht manuell Regeln ins System gefüttert haben, sondern dass es die unterschiedlichen Bedeutungen selbst gelernt hat", erklärt Fürstenau.

Die technische Umsetzung mit Machine Learning funktioniert in diesem Fall mit großen Datenmengen öffentlich zugänglicher deutscher Texte und ihren Übersetzungen, wie etwa Debatten des EU-Parlaments, die in allen europäischen Sprachen publiziert werden. Die Algorithmen zu verändern, sich neue auszudenken und zu überlegen, welche Daten man der KI zum Lernen gibt, gehört zu den Aufgaben der Forscher, wenn sie das System verbessern wollen. Die neuronalen Netze, die hinter den sprachverarbeitenden Systemen stehen, stellen automatisch Millionen von neuen Parametern im System ein und sind damit in der Lage, neue Inhalte zu übersetzen. Anschließend werden Testnutzer zur Qualität der Übersetzungen befragt. Daraus errechnet das Team einen Prozentsatz, um wie viel besser die Ergebnisse sind. Ist dieser signifikant genug, geht die Lösung ins Live-System.

"Umgekehrt heißt das aber auch, dass es schwieriger ist, Fehler zu beheben. Man kann nicht einfach manuell eine Regel hinzufügen oder korrigieren", sagt Fürstenau. Die Forscher können also nicht direkt festschreiben, dass absetzen in Kombination mit dem Wort Paket drop off heißt. Sie müssen die KI stattdessen mit mehr Texten versorgen, die entsprechende Satzbeispiele enthalten.

Verschwendet die Methode Ressourcen?

Viele unterschiedliche Datensätze auszuprobieren, bringt im Machine Learning auch Probleme mit sich. Kritik zieht sich unter Schlagworten wie "Overfitting" seit Jahren durch die Forschung. KI-Anwendungen dieser Art erfordern einerseits eine große Rechenkapazität, weshalb der Trial-and-Error-Methode der Vorwurf der Ressourcenverschwendung entgegengehalten wird. Amazon Web Services bezieht zumindest die Hälfte des benötigten Stroms aus erneuerbaren Energien und soll laut Climate Pledge bis 2040 klimaneutral werden.

Zum anderen besteht die Gefahr, unzulässige wissenschaftliche Schlüsse zu ziehen. Hagen Fürstenau sagt dazu: "Neuronale Netze und Deep-Learning-Modelle, wie sie in den letzten Jahren entwickelt wurden, sind sehr viel komplexer als ältere Verfahren, was zu beeindruckenden Qualitätsverbesserungen geführt hat, aber auch solche Risiken erhöht. Daher ist die Kritik im Prinzip nicht unbegründet und auch regelmäßig Gegenstand von Fachdiskussionen."

Allerdings halte sich die Problematik in seinem Forschungsbereich in Grenzen, da sein Team nicht von neuen technischen Methoden oder zufälligen Variationen davon ausgehe, sondern von einem konkreten Anliegen der Kunden wie einer fehlerhaften Übersetzung. Davon ausgehend versuche er, einen technischen Ansatz zu identifizieren, der dieses Problem löse. "Dadurch können wir das Risiko, zufälligen Verbesserungen aufzusitzen, in der Regel ausschließen, denn am Ende ist für uns ein Forschungsthema nicht erfolgreich bearbeitet, wenn es lediglich abstrakte Zahlen in einer Publikation verbessert, sondern nur, wenn es dem Kunden spürbare Verbesserungen gebracht hat", sagt Fürstenau.

Nicht immer klappt das. Die Grenzen des Systems werden zum Beispiel deutlich, wenn man eine Merchandise-Tasse der eigenen Lieblingsserie auf Amazon aufruft. So wurde die Beschriftung "Curb Your Enthusiasm" auf einer privaten Produktseite zu "Bordstein Sie Ihre Erwartung". Das System erkannte weder, dass es sich um den Titel einer Serie handelt, noch bot es die korrekte Übersetzung an, also "Zügle deine Begeisterung". Mit dem deutschen Titel der Serie konnte es erst recht nicht dienen, der "Lass es, Larry!" lautet. Die Seite ist mittlerweile nicht mehr zu finden, aber solche und ähnliche Fälle machen deutlich: Kontextintegration ist notwendig, um treffende Produktseiten-Übersetzungen anzubieten.

Schwestersprachen als Übersetzungshilfe

Schon vor zehn Jahren wurden wissenschaftliche Abhandlungen zur Kontexterfassung bei Übersetzungen verfasst. Und noch immer ist genau diese Kontexterfassung eine der zentralen Aufgaben von Hagen Fürstenau - und seiner internationalen Konkurrenz. "Die Systeme arbeiten meistens noch auf Satzebene und sehen sich nicht das gesamte Dokument an. Der nächste Schritt in der Forschung ist, vom einzelnen Satz zum Gesamtdokument überzugehen", sagt er.

Die technische Herausforderung liegt darin, Informationen einzubeziehen, mit deren Hilfe das Programm registriert, wenn es sich etwa um Merchandise handelt. "Es gibt schon solche Ansätze", sagt Fürstenau. "Man geht schrittweise vor und bezieht bei Dokumenten die Sätze vorher und nachher mit ein. Oder das Programm versucht, Zusatzinformationen über den Artikel zu finden."

Dies könnten Rubriken oder Seitentitel sein. Ein anderer Ansatz sei, mit den Kollegen der Bildverarbeitung zusammenzuarbeiten. Erkenne das System, dass es sich um eine Tasse mit Aufdruck handelt, könne es dieses Wissen in die Übersetzung miteinbeziehen. Weiter nutze man bekannte Techniken wie das Training eines Named-Entity-Recognition-Systems mit entsprechenden Schriftsätzen, in denen Eigennamen als solche benannt werden.

Wenn wenige Daten in einer Sprache wie Afrikaans vorliegen, hilft es, Daten von einer verwandten Sprache wie Niederländisch hinzuzuziehen. Damit die Übersetzungen nicht die falsche Sprache ausgeben, haben die Forscher dem System beigebracht, die Daten zwar zu nutzen, um Strukturen zu erkennen, aber dabei zu registrieren, dass es sich um eine andere Sprache handelt.

Lösungswege wie diesen teilt Fürstenaus Team meist als Open-Source-Code auf Github. Amazon Translate basiert auf einer internen Version des frei verfügbaren Übersetzungssystems Sockeye.

"Wir sind auf den Austausch mit anderen Forschern und Universitäten angewiesen, teilen viele unserer Ergebnisse und nehmen auch gerne Verbesserungen von anderen auf", sagt Fürstenau. Doch nicht immer ist die Forschung erfolgreich: "Oft kann so ein Prozess Monate dauern. Es gibt Fehlschläge und ab und zu muss man Ansätze nach Monaten der Arbeit wieder verwerfen. Das ist eben das Risiko, wenn man in der Forschung arbeitet." Trotzdem sei seine Arbeit sehr befriedigend - wenn sein Team eine Verbesserung entwickelt habe, die die Nutzer direkt anwendeten.

Darum appelliert Fürstenau, dass sich mehr Experten in dem Bereich ausbilden lassen. Jenen wenigen Menschen, die Sprachen, Mathematik und Machine Learning gleichermaßen lieben, könnte in den nächsten Jahren die Welt zu Füßen liegen.

 (maj)


Verwandte Artikel:
Code-Hoster: Github will Einstieg in Open-Source-Projekt vereinfachen   
(23.01.2020, https://glm.io/146228 )
Mikrocontroller: Sensordaten mit Micro Python und ESP8266 auslesen   
(27.11.2019, https://glm.io/145047 )
Beta Writer: Algorithmus schreibt wissenschaftliches Buch   
(16.04.2019, https://glm.io/140704 )
Coral Accelerator: Google bietet Mini-TPU als ASIC für eigene Boards   
(03.01.2020, https://glm.io/145844 )
Machine Learning: Microsoft trainiert KI durch menschliches Lächeln   
(02.01.2020, https://glm.io/145808 )

© 1997–2020 Golem.de, https://www.golem.de/