GPT-3 konkret: Für Golem.de generierte Texte

Mit diesem Wissen geht es nun also an die Generierung von Texten.

Stellenmarkt
  1. Delphi - Entwickler (m/w/d)
    medavis GmbH, Karlsruhe
  2. IT-Security-Spezialist (m/w/d)
    SCHOTTEL GmbH, Spay
Detailsuche

Weil wir wissen möchten, wie die echten Ergebnisse aussehen, geben wir GPT-3 nur eine Chance, also jede konkrete Aufgabe nur einmal pro Engine. Wir wollen nicht das beste oder das schlechteste Ergebnis aus zehn Versuchen herausfischen, sondern sehen, was das System unter echten Bedingungen leistet.

Schüler der vierten Klasse dürfen ihren Aufsatz über die Ferienerlebnisse ja auch nicht in sieben Versionen abgeben, in der Erwartung, dass die Lehrkraft dann den besten davon bewertet.

Die erste gestellte Aufgabe für GPT-3 ist, eine kleine News für Golem.de zu generieren.

Golem Akademie
  1. Kotlin für Java-Entwickler: virtueller Zwei-Tage-Workshop
    14.–15. Oktober 2021, Virtuell
  2. ITIL 4® Foundation: virtueller Zwei-Tage-Workshop
    16.–17. Dezember 2021, virtuell
Weitere IT-Trainings

Um einen besseren Vergleich zu haben, nehmen wir den Anfang einer echten News, Entwicklungscommunity: Stack Overflow führt Collectives ein.

Wir füttern die Davinci Base Engine mit einer Temperatureinstellung von 0,83, den Rest der Einstellungen lassen wir auf Standard. Der fette Text ist unsere Vorgabe, den Rest spuckt GPT-3 nach und nach aus.

Dieser Artikel ist im letzten Monat bei Golem.de erschienen.
Titel: "Entwicklungscommunity"
Text:
Stack Overflow führt Collectives ein. Die Fragen-und-Antworten-Webseite für Programmierer bekommt themenspezifische Teams hinzu, mit denen sich die Mitglieder der Community leichter austauschen können. Ähnlich wie in Programmiersprech-For-Fun-Gruppen können sich die Nutzer über die Stack Overflow Collectives auch zum Spaß um Arbeitsinhalte kümmern.

Die Collectives von Stack Overflow gibt es aktuell als Sammlung von ca. zehn Gruppen auf der Webseite. Derzeit bemüht sich Stack-Overflow-Mitorganisator Jeff Atwood, die Gruppen deutlicher hervorzuheben. Zudem sollen sich die Gruppen künftig auch untereinander vernetzen und so künftig beispielsweise auch themenspezifische "Making of"-Bilder zeigen.

Aktuell bieten die Collectives wie immer auch auf Stack Overflow Fragen und Antworten, künftig aber auch zusätzlich offenere Kommunikationskanäle wie Foren und Wikis. Diese Features sollen die Mitglieder der Gruppen besser untereinander vernetzen. So soll sich etwa eine neue Collectives zum Thema PHP-Frameworks besonders an die Entwickler der populären Frameworks beteiligen. Ein Großteil der Mitglieder der Gruppen arbeitet ohnehin bereits ausführlich an diesen Themen mit.

Damit die Mitglieder der Gruppen sich auch untereinander kennenlernen, sollen diese auch ihre eigenen Gruppenseiten auf Stack Overflow bekommen, die es ihnen ermöglichen, sich über Mitglieder und Themen zu informieren. So können die Mitglieder schon vor der eigentlichen Beteiligung an einem der Collectives freiwillig von den Mitgliedern mehr über ein Team erfahren, denn nach der Anmeldung wird der Nutzer alle Seiten des Collectives sehen können.

Das Ziel von Gruppen wie den Stack Overflow Collectives ist es, die Mitglieder der Community näher zusammenzuholen und in Kontakt zu bringen. Denn dadurch entstehen neue Ideen, neue Projekte und eine breitere Kompetenz zum Thema. Dies führt dann auf Seiten der Nutzer zu breiteren Arbeiten, die dann auch mehr Aufmerksamkeit erhalten, die ebenfalls zu mehr Kommunikation führen kann. So können sich die Mitglieder auch in kurzer Zeit miteinander besser kennen und tauschen sich schneller aus.

Zudem soll die Verbreitung von praktischen Erfahrungen schneller erfolgen. Durch die bessere Vernetzung und das offene Austauschen von Inhalten wird es häufiger zu Features oder Patches kommen, die für den Nutzer hilfreich sind. Durch die besseren Vernetzung der Nutzer soll es auch zu einem besseren Wissenstand bei den Programmierern kommen. Bei der früheren Gruppe zu Haxe hat es etwa schon vor einigen Monaten eine Umfrage über erwartete Features gegeben, die anschließend von Nutzern des Frameworks umgesetzt wurden.

Grundsätzlich scheint das Ergebnis ganz gut zu sein. GPT-3 kann durchaus Deutsch schreiben, auch wenn manche Sätze nicht ganz gerade sind. Das System hat offenbar begriffen, dass die Collectives eine Form von Zusammenführung Interessierter in Gruppen ist. Zusammenhänge werden allerdings nicht immer klar, Argumentationen sind sprunghaft, es gibt einige Wiederholungen, der eine oder andere Nebensatz enthält Phrasen, aber keine wirkliche Aussage. Die "Haxe" zum Schluss aber ist und bleibt ein Rätsel.

Ermutigt von dem ersten Ergebnis stellen wir die Engine um. Wir sind gespannt, welche Antwort die Davinci-Instruct-Beta uns bei ansonsten gleichen Eingaben und Parametern gibt.

Schreibe einen Artikel für Golem.
Titel: "Entwicklungscommunity"
Text:
Stack Overflow führt Collectives ein. Die Fragen-und-Antworten-Webseite für Programmierer bekommt themenspezifische Forums. Das soll den Austausch erleichtern, einen Wissensvorsprung garantieren und wohl auch Geld bringen.

Das wichtigste Projekt von Stack Overflow ist sein Q&A-Forum. Mit den Collectives sollen nun Themen-spezifische Foren eingeführt werden. Das soll Menschen mit ähnlichem Interesse zusammenbringen und damit den Austausch von Wissen erleichtern. Es wird sicher auch deutlich weniger Fragen auf dem Web-Forum geben, deren Antworten schon in der Community zu finden sind, abgesehen davon ist die Änderung auch ein Schritt für die Monetarisierung von Stack Overflow.

Uns fällt sofort das erste generierte Wort ins Auge: "Forums" ist im Deutschen so nicht richtig, als Genitiv passt es nicht in den Satz. Wahrscheinlicher als der Genitiv ist, dass sich hier ein englisches Wort eingeschlichen hat - das ist nicht so schön. Der Rest überzeugt diesmal etwas mehr, allerdings hatte GPT-3 auch nicht die Gelegenheit, sich zu oft zu wiederholen. Zudem bieten kürzere Texte weniger Gelegenheit, abzuschweifen.

Handbuch für Softwareentwickler: Das Standardwerk für professionelles Software Engineering

Auch wenn die Versuche, News zu schreiben, bisher nur halb erfolgreich waren, wollen wir einen weiteren Test wagen. Dieses Mal wollen wir der Davinci-Instruct-Beta-Engine die Möglichkeit geben, einen Text ganz ohne einen vorgegebenen Anfang zu erstellen. Wir erteilen nur die Anweisung und geben die Schlagworte des Titels ein, die restlichen Einstellungen bleiben, wie sie sind.

Schreibe einen Artikel für Golem.
Titel: Entwicklungscommunity "Collectives"

Die Entwicklungscommunity "Collectives"

Neben den vielen bekannten Open-Source-Projekten gibt es auch eine Reihe kleiner Entwickler-Gemeinschaften, die von Hobby-Entwicklern in ihrer Freizeit und nicht berufsbedingt aufgebaut wurden. Diese "Collectives" bestehen nicht nur aus einem Projekt-Leader, sondern beispielsweise aus mindestens dem Leader, einigen erfahrenen Entwicklern, verschiedenen Programmierern, Spritzern, Testern, Translators, Grafikern, Designern, Administratoren, Bug Catchern und Paket-Bauern.

Die Gemeinschaften bieten eine Vielfalt an verschiedenen Tools und Services für verschiedene Entwicklungsaufgaben, wie zum Beispiel Projekte, die in Python, C++, Objective-C, Java oder Ruby entwickelt werden.

In Collectives können Interessierte neuere Techniken und Tools kennenlernen, sowie sich mit anderen Entwicklern vernetzen.

Die Collectives sind eine gute Möglichkeit, sein Fachwissen zu verbreiten, sich mit anderen Mitwirkenden auszutauschen und mit dem Projekt selbst zu verbinden.

Das Ergebnis ist überraschend gut. Zwar wird Stack Overflow nicht erwähnt, was darauf hindeutet, dass der Machine-Learning-KI dieser Zusammenhang nicht in den Sinn gekommen ist, und die Übersetzer sind auch im Deutschen "Translators".

Auch braucht man für die "Spritzer" viel Fantasie, während sich die QA-Leute sicher nicht zum ersten Mal als "Bug Catcher" fühlen und die "Paket-Bauern" eher kein Kompliment für die Packet Builder sind. Im Großen und Ganzen ist das Ergebnis aber ein ziemlich guter Text, der nach einigen Korrekturen durchaus Verwendung finden kann.

Doch eine Nachricht über etwas Neues zu schreiben, nur mit ein paar Stichworten gefüttert, das kann GPT-3 nicht leisten. Klar, es fehlen die Hintergrundfakten, was denn das Neue eigentlich ist. Um das zu erreichen, müsste erst wieder die Machine-Learning-Software angeworfen und das Modell mit neuen Daten zum Thema - sprich Texten, die die entsprechende News enthalten - erweitert werden. Das können aber nur die Entwickler selbst, oder man muss die Fakten allesamt in der Eingabe für die Aufgabenstellung angeben und in Zusammenhang setzen. (Und darauf hoffen, dass GPT-3 das auch kapiert.) Dann kann man den Text allerdings fast auch einfach selbst schreiben.

Es ist das Henne-Ei-Problem von GPT-3: Es wird erst eine News gebraucht, um das System darauf zu trainieren, die News zu schreiben. Mit dem Unterschied, dass GPT-3 durchaus sehr nah an das Nachrichten-Ei herankommen kann. Wenn der Zufall mitspielt, wird irgendwann ein Text rauskommen, der Stack Overflows Collectives korrekt beschreibt. Trotzdem braucht man dann immer noch jemanden, der das eine Ei aus all den Fast-Eiern, die generiert werden, auswählt und für das Richtige erklärt.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed
 GPT-3 arbeitet mit Tokens statt Worten oder ZeichenFür News reicht es nicht - und für einen Blogpost? 
  1.  
  2. 1
  3. 2
  4. 3
  5. 4
  6. 5
  7. 6
  8. 7
  9.  


Kleba 21. Nov 2021 / Themenstart

Kann mich auch nur anschließen - war unterhaltsam +1 :-)

Kleba 21. Nov 2021 / Themenstart

Es gibt schon entsprechende "Versuche" von Netflix (eher humoristisch zu verstehen...

JE 05. Nov 2021 / Themenstart

Die KI hat hier auffallend häufig etwas von "keine Ahnung" geschrieben und auch häufig...

Komischer_Phreak 04. Nov 2021 / Themenstart

Das wird wie immer in dieser Branche laufen: Dafür wird es das KI-Adblocker geben.

Komischer_Phreak 04. Nov 2021 / Themenstart

Du hast Dich offenbar noch nie mit GPT3 unterhalten. Ich würde schätzen, angesichts der...

Kommentieren



Aktuell auf der Startseite von Golem.de
Kaufberatung (2022)
Die richtige CPU und Grafikkarte

Die Verfügbarkeit von PC-Hardware ist schlecht wie nie, doch ungeachtet der Preise wird gekauft. Wir geben einen Über- und einen Ausblick.
Von Marc Sauter

Kaufberatung (2022): Die richtige CPU und Grafikkarte
Artikel
  1. Microsoft: Windows 11 verlangsamt SSDs wohl teils merklich
    Microsoft
    Windows 11 verlangsamt SSDs wohl teils merklich

    Viele Teile der Community messen schlechtere Werte im Vergleich zu Windows 10, wenn sie Windows 11 auf ihren SSDs verwenden.

  2. Core i5, i7, i9: Intel stellt mobile Prozessoren der Comet-Lake-Serie ein
    Core i5, i7, i9
    Intel stellt mobile Prozessoren der Comet-Lake-Serie ein

    Comet Lake wird nicht einmal zwei Jahre alt, schon stellt Intel diverse Mobil-SoCs der Serie in 14 nm+++ ein. Es gibt einfach bessere Chips.

  3. Elektromobilität: VW sichert sich Lithium aus dem Oberrheingraben
    Elektromobilität
    VW sichert sich Lithium aus dem Oberrheingraben

    Das Lithium für Akkus von Elektroautos wird knapp. VW will den Rohstoff für die eigene Akkuproduktion künftig aus Süddeutschland beziehen.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Acer-Monitore zu Bestpreisen (u. a. 27" FHD 165Hz OC 199€) • Kingston PCIe-SSD 1TB 69,90€ & 2TB 174,90€ • Samsung Smartphones & Watches günstiger • Saturn: Xiaomi Redmi Note 9 Pro 128GB 199€ • Alternate (u. a. Razer Opus Headset 69,99€) • Release: Halo Infinite 68,99€ [Werbung]
    •  /