GPT-3 arbeitet mit Tokens statt Worten oder Zeichen

Gegen die Annahme, dass GPT-3 kein Schriftsteller sein soll, spricht aber, dass es im Playground ein voreingestelltes Set für "Grammatical Standard English" gibt, also für einen ganz normalen, grammatisch korrekten englischen Text. Auch wenn es sich um die für unser Experiment falsche Sprache handelt: Texte schreiben zu lassen ist also doch zumindest im Prinzip vorgesehen.

Stellenmarkt
  1. Cloud / DevOps Engineer (m/w/d)
    Fresenius SE & Co. KGaA, Bad Homburg vor der Höhe
  2. IT-Administratorin oder IT-Administrator (w/m/d)
    DLR Deutsches Zentrum für Luft- und Raumfahrt e.V., Braunschweig
Detailsuche

Sowohl bei der Analyse der Eingabe als auch beim Generieren der Ausgabe arbeitet GPT-3 nicht mit Worten oder einzelnen Buchstaben, sondern mit Tokens.

Wie groß ein Token ist, ist aber nicht genau definiert. Bei OpenAI heißt es zu dem Thema nur, dass ein Token eine "gängige Zeichenfolge in Texten" sei. Und: "Über den Daumen gepeilt entspricht ein Token circa vier Zeichen in gewöhnlichem englischen Text."

Beobachtungen lassen vermuten, dass es sich bei den Tokens um Silben handelt. Aber vielleicht ist das nicht immer so, was dann zu der offiziellen Formulierung mit den "gängigen Zeichenfolgen" führt.

Mit den Parametern die Ausgabe programmieren

Golem Akademie
  1. CEH Certified Ethical Hacker v11: virtueller Fünf-Tage-Workshop
    10.–14. Januar 2022, Virtuell
  2. Einführung in die Programmierung mit Rust: virtueller Fünf-Halbtage-Workshop
    21.–25. März 2022, Virtuell
Weitere IT-Trainings

Neben der Engine-Auswahl, die das verwendete GPT-3-Modell bestimmt, beeinflusst insbesondere die Auswahl der Parameter "Temperature" und "Top P" den Ergebnistext. OpenAI empfiehlt, nur einen der beiden Parameter von seinem Standardwert abweichen zu lassen.

Mithilfe der Temperatur legt man die Kreativität der Machine-Learning-KI fest: 0 steht für keinerlei Kreativität, bei 1 wird "das Modell mehr Risiken eingehen", wie es in der Anleitung heißt. In der Praxis bedeutet dies, dass bei einer Temperatur von 0 auf die gleiche Eingabe hin deterministisch immer wieder der gleiche Text generiert wird - im Normalfall eine Aufzählung gesicherter Fakten.

Für kreative Texte wird eine Einstellung von 0,9 empfohlen, eine Einstellung von 0 für Anwendungsfelder mit einer gut definierten Antwort. Eine 0 erscheint also für einen mit Fakten glänzenden Q&A-Bot interessant - für einen guten Text sollte es etwas mehr Kreativität sein (wobei unser Experte die von OpenAI vorgeschlagene 0,9 allerdings zu hoch findet).

Handbuch für Softwareentwickler: Das Standardwerk für professionelles Software Engineering

Top P schränkt die Möglichkeiten ein, die GPT-3 für ein Weiterführen des Textes überhaupt in Betracht zieht. Antworten auf eine Eingabe bewertet GPT-3 nach Wahrscheinlichkeiten der Korrektheit, mit Top P wird nur der mit dem Parameter angegebene Teil verwendet: Stellt man Top P beispielsweise auf 0,1, werden für das Ergebnis nur die Tokens berücksichtigt, die in den oberen zehn Prozent der Wahrscheinlichkeit liegen - die Wahrscheinlichkeit für ein Abschweifen vom vorgegebenen Thema kann also mit Top P gesenkt werden. Für einen Text ist das nicht immer erwünscht, trägt doch eine kleine Schleife durch ein nebensächliches Thema mit einer Anekdote oft zu einem guten Lesegefühl bei.

Die anderen Parameter sind für uns bei diesem Experiment nicht so wichtig. Einzig die Länge der Antwort (Response Length) ist noch interessant, denn hinter dieser Einstellung versteckt sich eine Einschränkung in der aktuellen Sprachsynthese-Technologie. Die Länge der generierten Antworten ist nämlich begrenzt, weil die verschiedenen Engines nur mit 2.048 Tokens am Stück umgehen können.

GPT-3 kann etwa zwei DIN-A4-Seiten generieren

Auch wenn es erst mal nicht so klingt, ist das nicht viel Text: Die über den Daumen gepeilten 8.000 Zeichen entsprechen bei einer Schriftgröße von 12 gerade mal zwei DIN-A4-Seiten. Außerdem gilt diese Begrenzung für den eingegebenen und den generierten Text zusammen.

Würde man also versuchen, GPT-3 ein Buch oder wenigstens einen längeren Aufsatz schreiben zu lassen, hätten Leser zu Recht das Gefühl, dass die Autorin oder der Autor offenbar nie weiß, was zwei Seiten vorher passierte. Denn das, was dort steht, wird bei der Generierung weiterer Tokens gar nicht mehr in Betracht gezogen.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed
 Textgenerator GPT-3 auf Deutsch getestet: "Genau. Wahrscheinlich. Sie sind wie die Ameisen."GPT-3 konkret: Für Golem.de generierte Texte 
  1.  
  2. 1
  3. 2
  4. 3
  5. 4
  6. 5
  7. 6
  8. 7
  9.  


Kleba 21. Nov 2021 / Themenstart

Kann mich auch nur anschließen - war unterhaltsam +1 :-)

Kleba 21. Nov 2021 / Themenstart

Es gibt schon entsprechende "Versuche" von Netflix (eher humoristisch zu verstehen...

JE 05. Nov 2021 / Themenstart

Die KI hat hier auffallend häufig etwas von "keine Ahnung" geschrieben und auch häufig...

Komischer_Phreak 04. Nov 2021 / Themenstart

Das wird wie immer in dieser Branche laufen: Dafür wird es das KI-Adblocker geben.

Komischer_Phreak 04. Nov 2021 / Themenstart

Du hast Dich offenbar noch nie mit GPT3 unterhalten. Ich würde schätzen, angesichts der...

Kommentieren



Aktuell auf der Startseite von Golem.de
OneXPlayer 1S im Test
Die Über-Switch

Mit schnellem Prozessor, viel RAM und integrierter Intel-GPU soll der OneXPlayer zum stärksten Spiele-Handheld werden. Das klappt zumindest teilweise.
Ein Test von Martin Wolf

OneXPlayer 1S im Test: Die Über-Switch
Artikel
  1. Edge-Browser: Microsoft will Installation von Chrome verhindern
    Edge-Browser
    Microsoft will Installation von Chrome verhindern

    Microsoft intensiviert sein Vorgehen gegen andere Browser: Vor der Installation von Chrome wird Edge übertrieben gelobt.

  2. Speichertechnik: Microsoft entwickelt Nanochip für DNA-Speicher
    Speichertechnik
    Microsoft entwickelt Nanochip für DNA-Speicher

    Der neue Chip erreicht eine deutlich höhere Speicherdichte als bisher, was auch die Kosten für DNA-Speicher senken soll.

  3. Ikea Åskväder: Modulare Steckdosenleiste startet in Deutschland
    Ikea Åskväder
    Modulare Steckdosenleiste startet in Deutschland

    Die modulare Steckdosenleiste von Ikea ermöglicht viele Anpassungen und wird erstmals auf der Ikea-Webseite gelistet.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Saturn-Advent: Toshiba Canvio 6TB 88€ • KFA2 Geforce RTX 3070 OC 8GB 1.019€ • Netgear günstiger (u. a. 5-Port-Switch 16,89€) • Norton 360 Deluxe 2022 18,99€ • Gaming-Monitore zu Bestpreisen (u. a. Samsung G3 27" FHD 144Hz 219€) • Spiele günstiger (u. a. Hades PS5 15,99€) [Werbung]
    •  /