Sprachassistent: Amazon legt riesigen Datensatz für 51 Sprachen offen

Sprachassistenten wie Amazons Alexa gibt es nur in wenigen Sprachen. Ein mehrsprachiger Datensatz soll das nun ändern.

Artikel veröffentlicht am ,
Amazon versucht sich an einer weitgehenden Mehrsprachigkeit von Alexa.
Amazon versucht sich an einer weitgehenden Mehrsprachigkeit von Alexa. (Bild: Amazon)

Amazon hat einen sehr großen Datensatz zur Sprachverarbeitung in mehreren Sprachen als Open Source veröffentlicht. Ziel der Veröffentlichung ist es, Entwickler dazu zu ermutigen, Amazons Alexa für viele Sprachen zu erweitern. Bisher steht Alexa in Deutsch, Englisch, Portugiesisch, Französisch, Hindi, Italienisch, Japanisch, Spanisch, und Arabisch bereit. Der neue Datensatz, den das Unternehmen Massive nennt, umfasst 51 Sprachen und steht unter einer freien Creative-Commons-Lizenz.

Stellenmarkt
  1. Team Manager (m/w/d) PAISY
    OEDIV KG, Bielefeld
  2. Projektmanager (w/m/d) für die Medizininformatik
    Universitätsklinikum Hamburg-Eppendorf, Hamburg-Eppendorf
Detailsuche

Dazu schreibt Amazon in der Ankündigung: "Stellen Sie sich vor, alle Menschen auf der ganzen Welt könnten Sprach-KI-Systeme wie Alexa in ihrer Muttersprache verwenden." Davon sind die Systeme bisher weit entfernt und auch Projekte wie etwa Mozillas Common Voice, das Daten für mehrere Sprachen sammelt, umfassen hier nur vergleichsweise wenige Daten. Denn das Schwierigste daran ist, diese Sprachdaten zu sammeln.

Im Gegensatz zu Common Voice, das gesprochene Daten sammelt, setzt Amazon zunächst auf eine Verarbeitung von Text. Die Umwandlung gesprochener Sprache zu Text wird offenbar als separates Problem betrachtet. Der nun bereitgestellte Datensatz basiert deswegen auf Übersetzungen eines bereits auf Englisch verfügbaren Datensatzes (Slurp). Amazon hofft, so etwa ein einziges Machine-Learning-Modell entwickeln zu können, das mit mehreren Sprachen funktioniert und Informationen von einer Sprache in eine andere transferieren kann.

Aufbauend auf dem Massive-Datensatz startet das Unternehmen darüber hinaus einen Wettbewerb für KI-Forscher. Teilnehmer sollen hier ein einziges Modell für alle Sprachen trainieren und entsprechend testen. Als zweiter Schritt soll dann ein auf Englisch abgestimmtes Modell auf die anderen Sprachen angewendet werden. "Dadurch wird die Fähigkeit des Modells zur Verallgemeinerung auf neue Sprachen bewertet, eine wichtige Überlegung angesichts der Anzahl von Sprachen auf der ganzen Welt, für die es wenig bis gar keine gekennzeichneten Daten gibt", schreibt Amazon dazu.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Cryptomator
Endlich ist unsere Cloud Ende-zu-Ende-verschlüsselt

Werkzeugkasten Noch liegen die Daten bei Dropbox, Onedrive oder in der Nextcloud unverschlüsselt - doch mit dem Open-Source-Tool Cryptomator lässt sich das leicht ändern.
Von Moritz Tremmel

Cryptomator: Endlich ist unsere Cloud Ende-zu-Ende-verschlüsselt
Artikel
  1. Jetracer: Liegestuhl fliegt mit 250 km/h
    Jetracer
    Liegestuhl fliegt mit 250 km/h

    Der Jetracer ist eine Art fliegender Stuhl mit mehreren Turbinen, die für den Vortrieb sorgen. Der Einsitzer soll 250 km/h erreichen.

  2. Messenger: Whatsapp bekommt native App für Windows und MacOS
    Messenger
    Whatsapp bekommt native App für Windows und MacOS

    Die Desktop-Apps von Whatsapp funktionieren auch, wenn das Smartphone offline ist. Die Windows-App ist fertig, die Mac-App in der Beta.

  3. Kabelnetz: Vodafone setzt neuartige Antennendosen ein
    Kabelnetz
    Vodafone setzt neuartige Antennendosen ein

    Ohne Radioport kommt die neue Antennendose und ist damit schon für DOCSIS 4.0 vorbereitet. Doch sie soll bereits jetzt Vorteile für Vodafone-Kunden bringen.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • MSI Geburtstags-Rabatte auf Gaming-Monitore & PCs • Neuer Saturn-Flyer • Game of Thrones reduziert • MindStar (MSI RTX 3070 599€) • Günstig wie nie: Zotac RTX 3080 12GB 829€, Samsung SSD 1TB/2TB (PS5) 111€/199,99€ • PS5 bestellbar • Bester 2.000€-Gaming-PC[Werbung]
    •  /