Turing-NLG: Microsoft erstellt bisher größtes Sprachmodell

Das Sprachmodell Turing-NLP von Microsoft enthält rund 17 Milliarden Parameter und dient der Spracherzeugung, etwa um auf Fragen zu antworten. Teile der dazu genutzten Technik hat Microsoft als Open Source veröffentlicht.

Artikel veröffentlicht am ,
Microsofts Sprachmodell T-NLG ist das mit Abstand bisher größte seiner Art.
Microsofts Sprachmodell T-NLG ist das mit Abstand bisher größte seiner Art. (Bild: PATRICIA DE MELO MOREIRA/AFP/AFP via Getty Images)

Dem Trend folgend, dass größere Sprachmodelle zu besseren Ergebnissen führen, hat Microsoft als Teil seines Project Turing das riesige Modell T-NLG veröffentlicht, wie der Hersteller schreibt. Die Abkürzung steht dabei für Turing Natural Language Generation und beschreibt ein Modell zur Spracherzeugung. Das Modell selbst habe dabei rund 17 Milliarden Parameter und sei damit das bisher größte jemals erstellte Deep-Learning-Modell.

Stellenmarkt
  1. Technical Support Engineer (m/w/d)
    Method Park by UL, Erlangen
  2. Systemadministrator DMZ / Firewalls (m/w/d)
    ivv GmbH, Hannover
Detailsuche

Das Modell schneide nicht nur in Benchmarks besser ab als bisher verfügbare Techniken, sondern auch bei vielen wichtigen praktischen Aufgaben, heißt es bei Microsoft. Das gelte insbesondere für das Zusammenfassen von Text sowie das Beantworten von Fragen. Das Team beschreibt seine Arbeiten an dem Modell so: "Unser Ziel ist es, in jeder Situation so direkt, genau und flüssig wie möglich zu reagieren."

Bisherige Systeme hätte dafür auf bereits vorgefertigte Antworten zurückgegriffen oder schlicht Teile aus bestehenden Dokumenten herausgelöst und wiederverwendet. Diese seien jedoch oft als nicht natürlich erkannt worden. Mit T-NLG will das Team dies überwinden und eben natürlich wirkende Antworten oder Zusammenfassungen bereitstellen. Für erste Tests und Feedback will Microsoft das Modell und die dazugehörigen Techniken zunächst Wissenschaftlern zur Verfügung stellen.

Zum Trainieren des riesigen Modells setzt Microsoft zwangsweise auf eine Parallelisierung. Dafür setzt das Team auf Nvidias DGX-2-Komplettsystem, das speziell für die Zwecke von Deep Learning gebaut wurde. Microsoft verteilt das Modell dabei auf vier der darin verbauten Tesla V100 GPUs. Um dies wiederum mit der Software zu erreichen, setzen die Entwickler auf den eigenen Optimierer Zero, der Redundanzen minimieren soll, sowie auf die Deepspeed-Bibliothek. Beide stellt Microsoft in einem gesonderten Blogpost vor, Deepspeed steht als Open Source auf Github bereit.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Thinkpad X1 Extreme Gen 4 im Test
Das beste Notebook in 16 Zoll kommt von Lenovo

Kaum ein Thinkpad hat ein besseres Panel verbaut als das X1 Extreme. Auch generell ist es ein sehr gutes Gerät - wenn Geld keine Rolle spielt.
Ein Test von Oliver Nickel

Thinkpad X1 Extreme Gen 4 im Test: Das beste Notebook in 16 Zoll kommt von Lenovo
Artikel
  1. Microsoft: Windows 11 läuft auf uraltem Pentium 4
    Microsoft
    Windows 11 läuft auf uraltem Pentium 4

    Zwei logische Kerne und über 1 GHz: Der Pentium 4 hat alles, was Windows 11 benötigt - denn Secure Boot und TPM 2.0 lassen sich umgehen.

  2. Geekbench & GFXBench: Erste Benchmarks zeigen starken Apple M1 Max
    Geekbench & GFXBench
    Erste Benchmarks zeigen starken Apple M1 Max

    Das Apple Silicon schneidet gut ab: Der M1 Max legt sich tatsächlich mit einer Geforce RTX 3080 Mobile und den schnellsten Laptop-CPUs an.

  3. Windows 11: User wollen separate Fenster in der Taskleiste zurück
    Windows 11
    User wollen separate Fenster in der Taskleiste zurück

    Windows 11 gruppiert Instanzen einer App zusammen und streicht die Möglichkeit, sie separat anzuzeigen. Das gefällt der Community gar nicht.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • PS5 & Xbox Series X bestellbar • HP Herbst Sale bei NBB: Bis zu 500€ Rabatt auf Gaming-Notebooks, Monitore uvm. • Kingston RGB 32GB Kit 3200 116,90€ • LG OLED48A19LA 756,29€ • Nur noch heute: GP Anniversary Sale • Amazon Music Unltd. 3 Monate gratis • Gutscheinheft bei Saturn [Werbung]
    •  /