Machine Learning: Facebook übersetzt schneller und besser als Google

Ein neues System zur maschinellen Übersetzung von Facebook liefert leicht bessere Ergebnisse als das bisher beste von Google und ist dabei sogar noch schneller. Anders als Google stellt Facebook den Code und die Trainingsdaten frei zur Verfügung.

Artikel veröffentlicht am ,
Auch Facebook arbeitet an maschineller Übersetzung.
Auch Facebook arbeitet an maschineller Übersetzung. (Bild: Jimmy Baikovicius/Flickr.com/CC-BY-SA 2.0)

Wegen der vielen Kniffe und Eigenheiten natürlicher Sprache sind maschinelle Übersetzungen teilweise sehr schlecht. Im vergangenen Herbst hat Google schließlich ein neues Modell zur Übersetzung vorgestellt, das so gut war, dass Google dieses direkt in seine Webdienste integriert hat. Auch Facebook ist sehr stark an derartigen Systemen interessiert und stellt nun ein Modell vor, das jenes von Google in den zwei entscheidenden Punkten Qualität und Geschwindigkeit schlägt.

Stellenmarkt
  1. Technischer Mitarbeiter für IT, OT & Automatisierungssysteme (m/w/d)
    Merz Pharma GmbH & Co. KGaA, Dessau-Roßlau
  2. Projektmanager_in (w/m/d) Digitale Services
    Stadt Frankfurt am Main, Frankfurt am Main
Detailsuche

Googles Neural Machine Translation (GNMT) nutzt zur Übersetzung ein rekurrentes neuronales Netz (RNN), das sehr häufig für Sprach- und Textaufgaben genutzt wird. Das neue System von Facebook basiert hingegen auf einem sogenannten Convolutional Neural Network (CNN), das besonders oft in der Bilderkennung genutzt wird. Diese Entscheidung hat einen inhärenten technischen Vorteil für Facebook.

Besser und schneller dank Parallelisierung

Denn die Umsetzung eines CNN lässt sich extrem gut parallelisieren und damit sehr schnell auf GPUs ausführen. RNNs hingegen modellieren ein Art Rückkanal, um auf bereits verarbeitete Informationen zurückzugreifen. Letzteres macht diese zwar langsamer, sorgte bisher aber für einen teils sehr deutlichen Qualitätsvorteil bei der Sprachverarbeitung und eben auch der Übersetzung, was Facebook nun aber offenbar durchbrochen hat.

Das ergibt sich zumindest aus Daten, die das Unternehmen als Teil seiner Forschungsarbeit veröffentlicht hat. Demnach schneidet das Modell in standardisierten Übersetzungstests für die Sprachpaare Englisch-Französisch, Englisch-Deutsch und Englisch-Rumänisch nach formalen Bewertungskriterien leicht besser ab als GNMT oder andere RNNs.

Pragmatismus bei Facebook, interessante Tricks bei Google

Golem Akademie
  1. PowerShell Praxisworkshop: virtueller Vier-Tage-Workshop
    20.–23. Dezember 2021, virtuell
  2. Hands-on C# Programmierung: virtueller Zwei-Tage-Workshop
    4.–5. November 2021, virtuell
Weitere IT-Trainings

Aus rein praktischen Erwägungen heraus gibt sich Facebook zudem sehr überzeugt von seinem Modell. Denn bei ungefähr gleicher Qualität, wie sie sehr gute RNNs aufweisen, benötige das CNN von Facebook in der Trainingsphase halb so viel GPU-Rechenzeit wie GNMT. Die Inference-Phase von Facebooks CNN, also hier das Übersetzen eines unbekannten Satzes mit Hilfe des trainierten Modells, sei bei einer Betrachtung der verfügbaren CPU-Kerne sogar 17-mal so schnell wie GNMT.

Facebook folgert daraus, dass sein System wohl viel besser über sehr viele Sprachen skalieren werde als bisherige Ansätze mit RNNs. Das gelte insbesondere deshalb, weil Geschwindigkeitsoptimierungen für CNNs in dem aktuellen System von Facebook kaum vorgenommen worden seien. Zusätzlich dazu sei vor allem das Verständnis der komplexen Abhängigkeiten der Modelldaten in einem CNN wesentlich einfacher nachzuvollziehen als bei einem RNN.

Google löst das Geschwindigkeitsproblem seines GNMT vor allem durch die Anwendung seines selbst entwickelten Chips, dem sogenannten TPU, der allein für die Verwendung mit neuronalen Netzen entwickelt wurde. Darüber hinaus vermeidet Google das Skalierungsproblem für die Übersetzung sehr vieler Sprachpaare durch sogenannte "Zero-Shot"-Übersetzungen. Hierbei wird das GNMT so modifiziert, dass auch Übersetzungen mit Hilfe bereits bestehender anderer Sprachpaare erzeugt werden können.

Facebook stellt den Code seiner Arbeiten sowie bereits trainierte Modelle auf Github unter einer BSD-Lizenz frei zur Verfügung.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
VW-Transporter umgerüstet
Stromern in Deutschland statt stinken im Ausland

Die Firma Naext Automotive baut alte VW-Transporter zu Elektroautos um. Die Macher verstehen ihr Konzept als Gegenentwurf zur Neuwagenindustrie.
Ein Bericht von Haiko Prengel

VW-Transporter umgerüstet: Stromern in Deutschland statt stinken im Ausland
Artikel
  1. S9U fürs Homeoffice: Samsung stellt 49-Zoll-Ultrawide-Monitor mit KVM-Switch vor
    S9U fürs Homeoffice
    Samsung stellt 49-Zoll-Ultrawide-Monitor mit KVM-Switch vor

    Der S9A ist Samsungs neuer 32:9-Bildschirm. Er integriert USB-C mit 90 Watt Power Delivery und einen KVM-Switch. Das Panel schafft 120 Hz.

  2. XTurismo: Fliegendes Jetski aus Japan für knapp 600.000 Euro
    XTurismo
    Fliegendes Jetski aus Japan für knapp 600.000 Euro

    Wo auch immer man sie fliegen dürfen wird, Multikopter für den Personentransport sind im Kommen. Dieses Flugobjekt kommt aus Japan.

  3. Beats-Kopfhörer bei Saturn zum Aktionspreis
     
    Beats-Kopfhörer bei Saturn zum Aktionspreis

    Eine große Auswahl an leistungsstarken Kopfhörern von Beats befindet sich bei Saturn derzeit im Sonderangebot. Die Aktion läuft aber nicht mehr lange.
    Ausgewählte Angebote des E-Commerce-Teams

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • WD Black SN750 1TB 89,90€ • PS5 Digital Edition + 2. Dualsense + 100€-Amazon-Gutschein mit o2-Vertrag sofort lieferbar • Switch OLED + Metroid Dread 399€ • Kingston 1TB PCIe-SSD 69,90€ • GTA Trilogy Definitive 59,99€ • Alternate (u. a. Apacer 960GB SATA-SSD 82,90€) [Werbung]
    •  /