KI: Meta will GPT-3-Alternative öffentlich bereitstellen

Riesige Sprachmodelle sind meist nicht öffentlich verfügbar oder replizierbar. Meta will das mit OPT ändern und gute Qualität liefern.

Artikel veröffentlicht am ,
Meta stellt mit OPT eine Sammlung von Sprachmodellen bereit, die sich von allen untersuchen lassen sollen.
Meta stellt mit OPT eine Sammlung von Sprachmodellen bereit, die sich von allen untersuchen lassen sollen. (Bild: Eric Dervaux / Hans Lucas via Reuters Connect)

Ein großes Forschungsteam der KI-Abteilung des Facebook-Mutterkonzerns Meta hat die Open-Pre-trained-Transformer-Sprachmodelle (OPT) in einer wissenschaftlichen Abhandlung vorgestellt. Das dabei wohl wichtigste Anliegen der Beteiligten ist es, ein modernes und großes Sprachmodell zu erstellen, das, anders als bisher meist üblich, komplett zur Verfügung gestellt wird, um die die konkreten Einzelheiten untersuchen zu können.

Stellenmarkt
  1. Mitarbeiter (m/w/d) Customer Support für Förderprogramme
    Landwirtschaftliche Rentenbank, Frankfurt am Main
  2. (Medien-)Informatikerin / Kommunikationswissenschaftle- rin als IT-Verantwortliche (m/w/d) ... (m/w/d)
    Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V., München
Detailsuche

Das Team von Meta vergleicht das Sprachmodell selbst in Bezug auf Ziel, Fähigkeiten und Größe mit GPT-3 von OpenAI. Letzteres steht zwar zur Nutzung zur Verfügung, jedoch nur über eine API. Eine Untersuchung der inneren Abläufe und Gewichtungen ist so für Dritte nicht möglich. Im Vergleich zu GPT-3 soll die größte Variante von OPT mit 175 Milliarden Parametern außerdem nur ein Siebentel des CO2-Fußabdrucks aufweisen.

Ziel der Entwicklung sei es, "reproduzierbare und verantwortungsvolle Forschung in großem Maßstab zu ermöglichen". Ebenso sollen die Auswirkungen dieser riesigen Sprachmodelle besser untersucht werden können. Dazu heißt es weiter: "Die Definitionen von Risiko, Schaden, Verzerrung, Toxizität usw. sollten von der gesamten Forschungsgemeinschaft formuliert werden, was nur möglich ist, wenn Modelle zur Untersuchung bereitstehen."

Konkret geplant ist nun von Meta, dass die OPT-Modelle mit einer Parametergröße von 125 Millionen bis 30 Milliarden frei zur Verfügung gestellt werden. Der Zugriff auf das Modell mit 175 Milliarden Parametern soll auf Anfrage für Forschungsteams ermöglicht werden. Das gelte für Regierungen, Zivilgesellschaft, Wissenschaft sowie Industrieteilnehmer. Ebenso frei veröffentlicht werden soll das Team-eigene Logbuch, das beim Erstellen des Modells geführt wurde, sowie der Code, mit dem das Modell erstellt wurde.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Prehistoric Planet
Danke, Apple, für so grandiose Dinosaurier!

Musik von Hans Zimmer, dazu David Attenborough als Sprecher: Apples Prehistoric Planet hat einen Kindheitstraum zum Leben erweckt.
Ein IMHO von Marc Sauter

Prehistoric Planet: Danke, Apple, für so grandiose Dinosaurier!
Artikel
  1. Künstliche Intelligenz: Wie erklären Menschen die Entscheidungen von Computern?
    Künstliche Intelligenz
    Wie erklären Menschen die Entscheidungen von Computern?

    Je komplexer eine KI, desto schwerer können Menschen ihre Entscheidungen nachvollziehen. Das ängstigt viele. Doch künstliche Intelligenz ist keine Blackbox mehr.
    Von Florian Voglauer

  2. Fahrgastverband Pro Bahn: Wo das 9-Euro-Ticket sicher gilt
    Fahrgastverband Pro Bahn
    Wo das 9-Euro-Ticket sicher gilt

    Die Farbe der Züge ist entscheidend, was bei der Reiseplanung in der Deutsche-Bahn-App wenig nützt. Dafür laufen Fahrscheinkontrollen ins Leere.

  3. Retro Gaming: Wie man einen Emulator programmiert
    Retro Gaming
    Wie man einen Emulator programmiert

    Warum nicht mal selbst einen Emulator programmieren? Das ist lehrreich und macht Spaß - wenn er funktioniert. Wie es geht, zeigen wir am Gameboy.
    Von Johannes Hiltscher

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • PS5 evtl. bestellbar • Prime Video: Filme leihen für 0,99€ • Gigabyte RTX 3080 12GB günstig wie nie: 1.024€ • MSI Gaming-Monitor 32" 4K günstig wie nie: 999€ • Mindstar (u. a. AMD Ryzen 5 5600 179€, Palit RTX 3070 GamingPro 669€) • Days of Play (u. a. PS5-Controller 49,99€) [Werbung]
    •  /