CNTK: Microsofts Spracherkennung erreicht menschliches Niveau
Digitale Assistenten, mit denen Nutzer sprechen können, werden immer häufiger in Consumer-Hardware eingesetzt, wenn auch mit teils eher ernüchterndem Erlebnis . Ein Forscherteam von Microsoft berichtet(öffnet im neuen Fenster) allerdings, dass es mit seinem maschinellen System zur Spracherkennung in einem Standard-Test inzwischen eine ähnlich gute Fehlerrate erreiche wie Menschen, die damit beauftragt worden sind, Gespräche zu transkribieren.
Microsoft vergleicht das Ergebnis seines Systems dabei allerdings nicht mit der häufig zitierten Fehlerrate von Menschen beim sogenannten Switchboard-Test, die mit 4 Prozent angegeben wird. Das Team vergleicht dagegen sein Ergebnis(öffnet im neuen Fenster) mit einem eigens für die Transkription beauftragten Team. Je nach Sorgfalt weichen die menschlichen Fehlerraten hierbei teils deutlich voneinander ab und liegen üblicherweise zwischen knapp 4 Prozent und etwa 9 Prozent. Microsoft gibt für seine maschinelle Erkennung eine Fehlerrate von 5,9 Prozent an.
Ergebnis abhängig von Gesprächsart
Bei dem Switchboard-Test werden Gespräche analysiert, bei denen zwei Personen ein vorgegebenes Thema miteinander besprechen. Das vereinfacht die maschinelle Analyse, da in dem zugrundeliegenden Sprachmodell ähnliche Worte verknüpft werden können wie etwa schnell und flott ( fast und quick ). In einer vergleichsweise offenen Diskussion zweier Personen ohne vorgegebenes Thema, dem sogenannten Call-Home-Test, ist die Fehlerrate sowohl von Mensch als auch Maschine bei knapp über 11 Prozent. Auch hier schneide das System von Microsoft genauso gut oder teils etwas besser ab als die Menschen.
Mensch und Maschine machen der Analyse zufolge auch teilweise ähnliche Fehler. So werden zum Beispiel die Verben is und was verwechselt, ebenso wie die Artikel a und the sowie die Worte in und and . Zur Umsetzung des Modells und der Durchführung der eigentlichen Tests verwendet Microsoft sein selbsterstelltes Deep-Learning-Toolkit CNTK (Computational Network Toolkit), das seit Anfang des Jahres als Open Source auf Github bereitsteht.