• IT-Karriere:
  • Services:

Turing-NLG: Microsoft erstellt bisher größtes Sprachmodell

Das Sprachmodell Turing-NLP von Microsoft enthält rund 17 Milliarden Parameter und dient der Spracherzeugung, etwa um auf Fragen zu antworten. Teile der dazu genutzten Technik hat Microsoft als Open Source veröffentlicht.

Artikel veröffentlicht am ,
Microsofts Sprachmodell T-NLG ist das mit Abstand bisher größte seiner Art.
Microsofts Sprachmodell T-NLG ist das mit Abstand bisher größte seiner Art. (Bild: PATRICIA DE MELO MOREIRA/AFP/AFP via Getty Images)

Dem Trend folgend, dass größere Sprachmodelle zu besseren Ergebnissen führen, hat Microsoft als Teil seines Project Turing das riesige Modell T-NLG veröffentlicht, wie der Hersteller schreibt. Die Abkürzung steht dabei für Turing Natural Language Generation und beschreibt ein Modell zur Spracherzeugung. Das Modell selbst habe dabei rund 17 Milliarden Parameter und sei damit das bisher größte jemals erstellte Deep-Learning-Modell.

Stellenmarkt
  1. Der Polizeipräsident in Berlin, Berlin
  2. Hays AG, Nürnberg

Das Modell schneide nicht nur in Benchmarks besser ab als bisher verfügbare Techniken, sondern auch bei vielen wichtigen praktischen Aufgaben, heißt es bei Microsoft. Das gelte insbesondere für das Zusammenfassen von Text sowie das Beantworten von Fragen. Das Team beschreibt seine Arbeiten an dem Modell so: "Unser Ziel ist es, in jeder Situation so direkt, genau und flüssig wie möglich zu reagieren."

Bisherige Systeme hätte dafür auf bereits vorgefertigte Antworten zurückgegriffen oder schlicht Teile aus bestehenden Dokumenten herausgelöst und wiederverwendet. Diese seien jedoch oft als nicht natürlich erkannt worden. Mit T-NLG will das Team dies überwinden und eben natürlich wirkende Antworten oder Zusammenfassungen bereitstellen. Für erste Tests und Feedback will Microsoft das Modell und die dazugehörigen Techniken zunächst Wissenschaftlern zur Verfügung stellen.

Zum Trainieren des riesigen Modells setzt Microsoft zwangsweise auf eine Parallelisierung. Dafür setzt das Team auf Nvidias DGX-2-Komplettsystem, das speziell für die Zwecke von Deep Learning gebaut wurde. Microsoft verteilt das Modell dabei auf vier der darin verbauten Tesla V100 GPUs. Um dies wiederum mit der Software zu erreichen, setzen die Entwickler auf den eigenen Optimierer Zero, der Redundanzen minimieren soll, sowie auf die Deepspeed-Bibliothek. Beide stellt Microsoft in einem gesonderten Blogpost vor, Deepspeed steht als Open Source auf Github bereit.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Spiele-Angebote
  1. 44,99€
  2. 44,49€

Blarks 16. Feb 2020

Hat da einer spontan an Neurolinguistisches Programmieren (NLP) gedacht ?


Folgen Sie uns
       


Macbook Air (2020) - Test

Endlich streicht Apple die fehlerhafte Butterfly auch beim Macbook Air. Im Test sind allerdings einige andere Mängel noch vorhanden.

Macbook Air (2020) - Test Video aufrufen
Sysadmin Day 2020: Du kannst doch Computer ...
Sysadmin Day 2020
Du kannst doch Computer ...

Das mit den Computern könne er vergessen, sagte ihm das Arbeitsamt nach dem Schulabschluss. Am Ende wurde Michael Fischer aber doch noch Sysadmin, zur allerbesten Sysadmin-Zeit.
Ein Porträt von Boris Mayer


    Ryzen 7 Mobile 4700U im Test: Der bessere Ultrabook-i7
    Ryzen 7 Mobile 4700U im Test
    Der bessere Ultrabook-i7

    Wir testen AMDs Ryzen-Renoir mit 10 bis 35 Watt sowie mit DDR4-3200 und LPDDR4X-4266. Die Benchmark-Resultate sind beeindruckend.
    Ein Test von Marc Sauter

    1. Renoir Asrock baut 1,92-Liter-Mini-PC für neue AMD-CPUs
    2. Ryzen 4000G (Renoir) AMD bringt achtkernige Desktop-APUs mit Grafikeinheit
    3. AMD Ryzen Threadripper Pro unterstützen 2 TByte RAM

    Arlt-Komplett-PC ausprobiert: Mit Ryzen Pro wird der Büro-PC sparsam und flott
    Arlt-Komplett-PC ausprobiert
    Mit Ryzen Pro wird der Büro-PC sparsam und flott

    Acht Kerne, schnelle integrierte Grafik, NVMe-SSD direkt an der CPU: Ein mit Ryzen Pro 4000G ausgestatteter Rechner ist vielseitig.
    Ein Hands-on von Marc Sauter

    1. Ryzen HPs Gaming-Notebook lässt die Wahl zwischen AMD und Intel
    2. Udoo Bolt Gear Mini-PC stopft Ryzen-CPU in 13 x 13 Zentimeter
    3. Vermeer AMD soll Ryzen 4000 mit 5 nm statt 7 nm produzieren

      •  /