Abo
  • Services:
Anzeige
Auch Facebook arbeitet an maschineller Übersetzung.
Auch Facebook arbeitet an maschineller Übersetzung. (Bild: Jimmy Baikovicius/Flickr.com/CC-BY-SA 2.0)

Machine Learning: Facebook übersetzt schneller und besser als Google

Auch Facebook arbeitet an maschineller Übersetzung.
Auch Facebook arbeitet an maschineller Übersetzung. (Bild: Jimmy Baikovicius/Flickr.com/CC-BY-SA 2.0)

Ein neues System zur maschinellen Übersetzung von Facebook liefert leicht bessere Ergebnisse als das bisher beste von Google und ist dabei sogar noch schneller. Anders als Google stellt Facebook den Code und die Trainingsdaten frei zur Verfügung.

Wegen der vielen Kniffe und Eigenheiten natürlicher Sprache sind maschinelle Übersetzungen teilweise sehr schlecht. Im vergangenen Herbst hat Google schließlich ein neues Modell zur Übersetzung vorgestellt, das so gut war, dass Google dieses direkt in seine Webdienste integriert hat. Auch Facebook ist sehr stark an derartigen Systemen interessiert und stellt nun ein Modell vor, das jenes von Google in den zwei entscheidenden Punkten Qualität und Geschwindigkeit schlägt.

Googles Neural Machine Translation (GNMT) nutzt zur Übersetzung ein rekurrentes neuronales Netz (RNN), das sehr häufig für Sprach- und Textaufgaben genutzt wird. Das neue System von Facebook basiert hingegen auf einem sogenannten Convolutional Neural Network (CNN), das besonders oft in der Bilderkennung genutzt wird. Diese Entscheidung hat einen inhärenten technischen Vorteil für Facebook.

Anzeige

Besser und schneller dank Parallelisierung

Denn die Umsetzung eines CNN lässt sich extrem gut parallelisieren und damit sehr schnell auf GPUs ausführen. RNNs hingegen modellieren ein Art Rückkanal, um auf bereits verarbeitete Informationen zurückzugreifen. Letzteres macht diese zwar langsamer, sorgte bisher aber für einen teils sehr deutlichen Qualitätsvorteil bei der Sprachverarbeitung und eben auch der Übersetzung, was Facebook nun aber offenbar durchbrochen hat.

Das ergibt sich zumindest aus Daten, die das Unternehmen als Teil seiner Forschungsarbeit veröffentlicht hat. Demnach schneidet das Modell in standardisierten Übersetzungstests für die Sprachpaare Englisch-Französisch, Englisch-Deutsch und Englisch-Rumänisch nach formalen Bewertungskriterien leicht besser ab als GNMT oder andere RNNs.

Pragmatismus bei Facebook, interessante Tricks bei Google

Aus rein praktischen Erwägungen heraus gibt sich Facebook zudem sehr überzeugt von seinem Modell. Denn bei ungefähr gleicher Qualität, wie sie sehr gute RNNs aufweisen, benötige das CNN von Facebook in der Trainingsphase halb so viel GPU-Rechenzeit wie GNMT. Die Inference-Phase von Facebooks CNN, also hier das Übersetzen eines unbekannten Satzes mit Hilfe des trainierten Modells, sei bei einer Betrachtung der verfügbaren CPU-Kerne sogar 17-mal so schnell wie GNMT.

Facebook folgert daraus, dass sein System wohl viel besser über sehr viele Sprachen skalieren werde als bisherige Ansätze mit RNNs. Das gelte insbesondere deshalb, weil Geschwindigkeitsoptimierungen für CNNs in dem aktuellen System von Facebook kaum vorgenommen worden seien. Zusätzlich dazu sei vor allem das Verständnis der komplexen Abhängigkeiten der Modelldaten in einem CNN wesentlich einfacher nachzuvollziehen als bei einem RNN.

Google löst das Geschwindigkeitsproblem seines GNMT vor allem durch die Anwendung seines selbst entwickelten Chips, dem sogenannten TPU, der allein für die Verwendung mit neuronalen Netzen entwickelt wurde. Darüber hinaus vermeidet Google das Skalierungsproblem für die Übersetzung sehr vieler Sprachpaare durch sogenannte "Zero-Shot"-Übersetzungen. Hierbei wird das GNMT so modifiziert, dass auch Übersetzungen mit Hilfe bereits bestehender anderer Sprachpaare erzeugt werden können.

Facebook stellt den Code seiner Arbeiten sowie bereits trainierte Modelle auf Github unter einer BSD-Lizenz frei zur Verfügung.


eye home zur Startseite



Anzeige

Stellenmarkt
  1. Robert Bosch Packaging Technology GmbH, Crailsheim
  2. Schaeffler AG, Herzogenaurach
  3. operational services GmbH & Co. KG, Sindelfingen
  4. Drägerwerk AG & Co. KGaA, Lübeck


Anzeige
Blu-ray-Angebote
  1. 299,99€ (Vorbesteller-Preisgarantie)
  2. (u. a. Hobbit Trilogie Blu-ray 43,89€ und Batman Dark Knight Trilogy Blu-ray 17,99€)

Folgen Sie uns
       


  1. UE Blast und Megablast

    Alexa-Lautsprecher sind wasserfest und haben einen Akku

  2. TPCast im Hands on

    Überzeugende drahtlose Virtuelle Realität

  3. Separate Cloud-Version

    Lightroom nur noch als Abo erhältlich

  4. 360 Round

    Samsungs 360-Grad-Kamera hat 17 Objektive

  5. X299E-ITX/ac

    Asrock quetscht Sockel 2066 auf Mini-ITX-Board

  6. Alternativer Antrieb

    Toyota zeigt Brennstoffzellenauto und Bus

  7. U-Bahn

    Telefónica baut BTS-Hotels im Berliner Untergrund

  8. Kabelnetz

    Statt auf Docsis 3.1 lieber gleich auf Glasfaser setzen

  9. Virtuelle Güter

    Activision patentiert Förderung von Mikrotransaktionen

  10. Nervana Neural Network Processor

    Intels KI-Chip erscheint Ende 2017



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Xperia Touch im Test: Sonys coolem Android-Projektor fehlt das Killerfeature
Xperia Touch im Test
Sonys coolem Android-Projektor fehlt das Killerfeature
  1. Roboter Sony lässt Aibo als Alexa-Konkurrenten wieder auferstehen
  2. Sony Xperia XZ1 Compact im Test Alternativlos für Freunde kleiner Smartphones
  3. Sony Xperia XZ1 und XZ1 Compact sind erhältlich

Arktika 1 im Test: Monster-verseuchte Eiszeitschönheit
Arktika 1 im Test
Monster-verseuchte Eiszeitschönheit
  1. TPCast Oculus Rift erhält Funkmodul
  2. Oculus Go Alleine lauffähiges VR-Headset für 200 US-Dollar vorgestellt
  3. Virtual Reality Update bindet Steam-Rift in Oculus Home ein

ZFS ausprobiert: Ein Dateisystem fürs Rechenzentrum im privaten Einsatz
ZFS ausprobiert
Ein Dateisystem fürs Rechenzentrum im privaten Einsatz
  1. Librem 5 Purism zeigt Funktionsprototyp für freies Linux-Smartphone
  2. Pipewire Fedora bekommt neues Multimedia-Framework
  3. Linux-Desktops Gnome 3.26 räumt die Systemeinstellungen auf

  1. Re: Ich als Hobbyfotograf..

    rizzorat | 09:24

  2. Re: OMG war das lahm

    Raistlin | 09:21

  3. Re: Bei "Intel Atom" habe ich aufgehört zu lesen

    superdachs | 09:20

  4. Re: Kommt da evtl noch eine qwertz Version?

    superdachs | 09:19

  5. Re: Warum bitte 600PS

    jo-1 | 09:17


  1. 09:01

  2. 08:00

  3. 07:52

  4. 07:33

  5. 07:23

  6. 07:15

  7. 19:09

  8. 17:40


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel