Deepmind: Riesige Sprachmodelle lösen auch nicht alle Probleme

Die KI-Forscher von Deepmind haben besonders große Sprachmodelle untersucht und sagen, die Skalierung allein helfe nicht, Probleme zu lösen.

Artikel veröffentlicht am ,
Gopher (deutsch Taschenratte) sind Nagetiere
Gopher (deutsch Taschenratte) sind Nagetiere (Bild: siamesepuppy, flickr.com/CC-BY 2.0)

Die derzeit mit Machine-Learning erstellten Modelle zur Sprachverarbeitung werden immer größer. Eine systematische Untersuchung der zu Googles-Mutterkonzern Alphabet gehörenden KI-Spezialisten von Deepmind zeigt nun die Auswirkungen dieses Trends, zusammengefasst in drei unterschiedlichen wissenschaftlichen Veröffentlichungen. Das Team von Deepmind hat dazu auch ein eigenes neues Sprachmodell erstellt: Gopher - mit etwa 280 Milliarden Parametern.

Die Anzahl der Parameter ist eine leicht verfügbare Größe, um die Modelle miteinander zu vergleichen. So hat das von OpenAI erstellte Modell GPT-3, das von Microsoft unterstützt wird und dessen Technik Microsoft ebenfalls nutzt, etwa 175 Milliarden Parameter. Erst vor zwei Monaten hatten darüber hinaus Nvidia und Microsoft ein Sprachmodell mit etwa 530 Milliarden Parametern vorgestellt.

Zu den Untersuchungen sagte Deepmind-Forscher Jack Rae laut The Verge: "Ein zentrales Ergebnis des Papiers ist, dass der Fortschritt und die Fähigkeiten großer Sprachmodelle immer noch zunehmen. Dies ist kein Gebiet, das ein Plateau erreicht hat." Das gelte wohl aber nicht uneingeschränkt für alle möglichen Problemstellungen, die im Zusammenhang mit Sprachverarbeitung und den dafür genutzten Modellen entstehen.

Denn darüber hinaus gibt es laut Rae "andere Kategorien von Problemen wie etwa, dass das Modell stereotype Vorurteile verewigt oder dass das Modell dazu gebracht wird, Unwahrheiten zu sagen, von denen [...] niemand bei Deepmind glaubt, dass Skalierung die Lösung sein wird". Helfen könnten hier nur "zusätzliche Trainingsroutinen" und ein direkter menschlicher Eingriff.

Darauf aufbauend untersucht das Team aber bereits mögliche Lösungsansätze dafür. So heißt es: "Unser Abschlusspapier baut auf den Grundlagen von Gopher und unserer Taxonomie des ethischen und sozialen Risikos auf, indem es eine verbesserte Sprachmodellarchitektur vorschlägt, die die Energiekosten des Trainings senkt und es einfacher macht, Modellausgaben zu Quellen innerhalb des Trainingskorpus zurückzuverfolgen." Diese Zurückverfolgbarkeit ist wohl eine der wichtigsten Funktionen, um überhaupt die Möglichkeit zu haben, eventuell von dem Modell erlernte Vorurteile zu revidieren.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Grüner Wasserstoff
Neues Verfahren erzeugt Wasserstoff aus Salzwasser

Wo es Sonne gibt, um Wasserstoff zu erzeugen, fehlt es oft an Süßwasser. Ein neu entwickelter Elektrolyseur kann das im Überfluss vorhandene Meerwasser verarbeiten.

Grüner Wasserstoff: Neues Verfahren erzeugt Wasserstoff aus Salzwasser
Artikel
  1. Ukrainekrieg: Palantir für die militärische Zielauswahl verantwortlich
    Ukrainekrieg
    Palantir für die militärische Zielauswahl verantwortlich

    Das US-Unternehmen Palantir ist mit Software am Kriegsgeschehen in der Ukraine beteiligt. Auch die hiesige Polizei setzt Software des Unternehmens ein.

  2. Streaming: Netflix streicht Funktion aus drei Abomodellen
    Streaming
    Netflix streicht Funktion aus drei Abomodellen

    Künftig gibt es 3D-Raumklang alias Spatial Audio nur noch im teuersten Netflix-Abo. Wirbel entfacht eine Filmveröffentlichung in Japan.

  3. Software: Wie Entwickler Fehler aufspüren - oder gleich vermeiden
    Software
    Wie Entwickler Fehler aufspüren - oder gleich vermeiden

    Es gibt zahlreiche Arten von Softwarefehlern. Wir erklären, welche Testverfahren sie am zuverlässigsten finden und welche Methoden es gibt, um ihnen vorzubeugen.
    Von Michael Bröde

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Samsung G5 Curved 27" WQHD 260,53€ • Graka-Preisrutsch bei Mindfactory • Samsung Galaxy S23 jetzt vorbestellbar • Philips Hue 3x E27 + Hue Bridge -57% • PCGH Cyber Week • Dead Space PS5 -16% • PNY RTX 4080 1.269€ • Bis 77% Rabatt auf Fernseher • Roccat Kone Pro -56% [Werbung]
    •  /