• IT-Karriere:
  • Services:

Turing-NLG: Microsoft erstellt bisher größtes Sprachmodell

Das Sprachmodell Turing-NLP von Microsoft enthält rund 17 Milliarden Parameter und dient der Spracherzeugung, etwa um auf Fragen zu antworten. Teile der dazu genutzten Technik hat Microsoft als Open Source veröffentlicht.

Artikel veröffentlicht am ,
Microsofts Sprachmodell T-NLG ist das mit Abstand bisher größte seiner Art.
Microsofts Sprachmodell T-NLG ist das mit Abstand bisher größte seiner Art. (Bild: PATRICIA DE MELO MOREIRA/AFP/AFP via Getty Images)

Dem Trend folgend, dass größere Sprachmodelle zu besseren Ergebnissen führen, hat Microsoft als Teil seines Project Turing das riesige Modell T-NLG veröffentlicht, wie der Hersteller schreibt. Die Abkürzung steht dabei für Turing Natural Language Generation und beschreibt ein Modell zur Spracherzeugung. Das Modell selbst habe dabei rund 17 Milliarden Parameter und sei damit das bisher größte jemals erstellte Deep-Learning-Modell.

Stellenmarkt
  1. Bezirkskliniken Mittelfranken, Erlangen, Engelthal bei Nürnberg
  2. Schwarz Dienstleistung KG, Raum Neckarsulm

Das Modell schneide nicht nur in Benchmarks besser ab als bisher verfügbare Techniken, sondern auch bei vielen wichtigen praktischen Aufgaben, heißt es bei Microsoft. Das gelte insbesondere für das Zusammenfassen von Text sowie das Beantworten von Fragen. Das Team beschreibt seine Arbeiten an dem Modell so: "Unser Ziel ist es, in jeder Situation so direkt, genau und flüssig wie möglich zu reagieren."

Bisherige Systeme hätte dafür auf bereits vorgefertigte Antworten zurückgegriffen oder schlicht Teile aus bestehenden Dokumenten herausgelöst und wiederverwendet. Diese seien jedoch oft als nicht natürlich erkannt worden. Mit T-NLG will das Team dies überwinden und eben natürlich wirkende Antworten oder Zusammenfassungen bereitstellen. Für erste Tests und Feedback will Microsoft das Modell und die dazugehörigen Techniken zunächst Wissenschaftlern zur Verfügung stellen.

Zum Trainieren des riesigen Modells setzt Microsoft zwangsweise auf eine Parallelisierung. Dafür setzt das Team auf Nvidias DGX-2-Komplettsystem, das speziell für die Zwecke von Deep Learning gebaut wurde. Microsoft verteilt das Modell dabei auf vier der darin verbauten Tesla V100 GPUs. Um dies wiederum mit der Software zu erreichen, setzen die Entwickler auf den eigenen Optimierer Zero, der Redundanzen minimieren soll, sowie auf die Deepspeed-Bibliothek. Beide stellt Microsoft in einem gesonderten Blogpost vor, Deepspeed steht als Open Source auf Github bereit.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Spiele-Angebote
  1. (-43%) 22,99€
  2. (-40%) 5,99€
  3. 23,99€
  4. 3,99€

Blarks 16. Feb 2020 / Themenstart

Hat da einer spontan an Neurolinguistisches Programmieren (NLP) gedacht ?

Kommentieren


Folgen Sie uns
       


Digitale Assistenten singen Weihnachtslieder (ohne Signalworte)

Wir haben Siri, den Google Assistant und Alexa aufgefordert, uns zu Weihnachten etwas vorzusingen.

Digitale Assistenten singen Weihnachtslieder (ohne Signalworte) Video aufrufen
Galaxy Z Flip im Hands-on: Endlich klappt es bei Samsung
Galaxy Z Flip im Hands-on
Endlich klappt es bei Samsung

Beim zweiten Versuch hat Samsung aus seinen Fehlern gelernt: Das Smartphone Galaxy Z Flip mit faltbarem Display ist alltagstauglicher und stabiler als der Vorgänger. Motorolas Razr kann da nicht mithalten.
Ein Hands on von Tobias Költzsch

  1. Faltbares Smartphone Schutzfasern des Galaxy Z Flip möglicherweise wenig wirksam
  2. Isocell Bright HM1 Samsung verwendet neuen 108-MP-Sensor im Galaxy S20 Ultra
  3. Smartphones Samsung schummelt bei Teleobjektiven des Galaxy S20 und S20+

Nasa: Boeing umging Sicherheitsprozeduren bei Starliner
Nasa
Boeing umging Sicherheitsprozeduren bei Starliner

Vergessene Tabelleneinträge, fehlende Zeitabfragen und störende Mobilfunksignale sollen ursächlich für die Probleme beim Testflug des Starliner-Raumschiffs gewesen sein. Das seien aber nur Symptome des Zusammenbruchs der Sicherheitsprozeduren in der Softwareentwicklung von Boeing. Parallelen zur Boeing 737 MAX werden deutlich.
Von Frank Wunderlich-Pfeiffer

  1. Nasa Boeings Starliner hatte noch einen schweren Softwarefehler
  2. Boeing 777x Jungfernflug für das größte zweistrahlige Verkehrsflugzeug
  3. Boeing 2019 wurden mehr Flugzeuge storniert als bestellt

Mythic Quest: Spielentwickler im Schniedelstress
Mythic Quest
Spielentwickler im Schniedelstress

Zweideutige Zweckentfremdung von Ingame-Extras, dazu Ärger mit Hackern und Onlinenazis: Die Apple-TV-Serie Mythic Quest bietet einen interessanten, allerdings nur stellenweise humorvollen Einblick in die Spielebrache.
Eine Rezension von Peter Steinlechner

  1. Apple TV TVOS 13 mit Mehrbenutzer-Option erschienen

    •  /