ChatGPT, Bard und Co: Bullshit, der (e)skaliert

ChatGPT und andere populäre KI-Systeme werden uns weder alle arbeitslos machen noch das Denken und Handeln abnehmen. Sie werden aber unsere Gesellschaft verändern – nicht zum Guten.

Ein Essay von Jürgen Geuter veröffentlicht am
Mehr Bullshit durch KI?
Mehr Bullshit durch KI? (Bild: Pixabay)

"KI" ist gerade wieder auf der Spitze eines Hype Cycles. Das heißt, die Versprechen (oder Bedrohungen) dieser Systeme, insbesondere der sogenannten Large Language Models (LLMs) dominieren nicht nur die Seiten klassischer Tech-Publikationen, sondern beschäftigen vom Feuilleton bis zu den Wirtschaftsteilen nahezu alle größeren Zeitungen und Magazine.

Inhalt:
  1. ChatGPT, Bard und Co: Bullshit, der (e)skaliert
  2. Was sein könnte und was ist
  3. Das Versprechen der Automatisierung
  4. Die Zukunft

Werden diese Systeme uns alle arbeitslos machen? Sind sie die Vorstufe zu starker KI, also Computersystemen, die wirklich eigenständig denken und handeln können? Werden sie zu Umwälzungen in unseren Gesellschaften und Wirtschaften führen? Die Antworten sind nein, nein und ja – aber vielleicht nicht aus den Gründen, die offensichtlich sind.

Anmerkung: KI ist nicht so sehr ein technisches Thema als ein Narrativ, daher setze ich KI sonst immer in Anführungszeichen. Zur einfacheren Lesbarkeit des Textes wird darauf im Folgenden verzichtet.

Rasende technische Innovation?

2017 veröffentlichte ein Forscherteam von Google Brain (dem Teil von Google Research, der sich mit maschineller Intelligenz beschäftigt) unter dem Titel Attention Is All You Need ein Paper, dessen Relevanz sich für den Mainstream erst in den letzten Jahren, wenn nicht gar Monaten herausgestellt hat.

Die Wissenschaftlerinnen und Wissenschaftler stellten mit den sogenannten Transformern eine neue Architektur für Machine Learning Modelle vor, die die Basis der meisten heute populären KI-Systeme ist: ChatGPT, Stable Diffusion und andere lassen sich mehr oder weniger direkt auf dieses Paper zurückführen.

Die Entwicklung neuer Language Models geht mit großer Geschwindigkeit voran: ChatGPT, also OpenAIs älteres GTP-3 Modell mit einigen Erweiterungen, ist nun schon einige Monate alt, Google verkündete vor einigen Wochen sein neues Modell namens Bard. Meta kündigte vor wenigen Tagen ein eigenes Mammut-Modell Llama an – und musste direkt zuschauen, wie es komplett geleakt und von ambitionierten Entwicklerinnen und Entwicklern adaptiert und integriert wurde.

Heute, wenige Tage nach dem Leak, haben Menschen Llama auf Raspberry Pis und Smartphones ans Laufen gebracht.

Die offenen Innovationen sehen wir dabei maßgeblich im Bereich der Inferenz, das heißt der Anwendung der trainierten Modelle: Durch cleveres Re-Encoden oder die Kombination bestehender Architekturen werden ursprünglich für massive Infrastrukturen oder zumindest spezialisierte Hardware geplante Netze auf recht erschwinglicher Hardware auch für Normaluser nutzbar. Durch einfache UIs und fertige Installer können sie die Systeme leicht ausprobieren, ohne dafür einen Anbieter wie OpenAI bezahlen zu müssen.

Die wissenschaftlichen Innovationen sind noch begrenzt

Doch der schnellen Bewegung auf der Inferenzseite steht immer noch eine gewisse Trägheit auf der Trainingsseite gegenüber: Um die heute etablierten Modelle mit Milliarden von Parametern trainieren zu können, ist neben dem Zugang zu einer immensen Menge Trainingsdaten und geeigneter Hardware auch ein immenser Energieaufwand nötig.

Das Training ist daher vor allem großen Anbietern wie Google, OpenAI, Microsoft (deren Infrastruktur OpenAI nutzt), Meta oder auch Baidu vorbehalten. Daneben gibt es einige wenige aus dem universitären Kontext entstandene offene Initiativen wie EleutherAI, die über Forschungsinfrastrukturen genug Computing Power aufbringen können.

Der Markt scheint sich mit unglaublicher Geschwindigkeit zu bewegen, die wissenschaftlichen Innovationen hingegen sind noch begrenzt: Wir sehen eher eine iterative Verbesserung eines bestehenden Ansatzes mit kleineren Adaptionen zur Anwendung auf neue Bereiche (zum Beispiel die Nachahmung der Stimme einer Person) und einer optimierten Usability.

Die Marktdominanz der großen Anbieter entspringt also gar nicht unbedingt ihrer besonderen Kompetenz und Forschung. Eher fungieren die Infrastrukturkosten und die nötigen Datenmengen, um ernstzunehmende, leistungsfähige Modelle zu trainieren, als Ausschlusskriterium: Ein Sprachmodell zu entwickeln, ist sehr einfach, nur haben sehr wenige die Mittel, die auf zwischen 4,5 und 12 Millionen US-Dollar geschätzten, benötigten Kosten für die Trainingsprozesse aufzubringen.

Plötzlich KI-Firma

Die geringe technische Hürde zeigt sich auch daran, wie schnell diverse Firmen jenseits von Google/Alphabet sich binnen Tagen zu KI-Firmen umgelabelt haben: Neben Microsoft, das durch die schon länger existierende Kooperation mit beziehungsweise der Investition in OpenAI eine gewisse Glaubwürdigkeit besitzt, führte Meta vor wenigen Tagen eine Top-level Product Group Focused on Generative AI ein.

Das Chat-Werkzeug Discord führte – zum Missfallen eines Großteils der Nutzerschaft – diverse KI-Tools ein. KI ist so einfach zu mieten, selbst zu betreiben und weiterzuentwickeln, dass sich gefühlt jedes Unternehmen am Markt als KI-Unternehmen präsentiert, mit wachsenden Feature- und Kompetenzversprechen.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed
Was sein könnte und was ist 
  1. 1
  2. 2
  3. 3
  4. 4
  5.  


lunarix 25. Mär 2023 / Themenstart

Internet-Suchmaschinen liefern auch keine optimalen Ergebnisse, sind sie deshalb...

yinyangkoi 21. Mär 2023 / Themenstart

Ja ist ja nicht für immer

leonardo-nav 20. Mär 2023 / Themenstart

Ja, die paar Ausnahmen. Sicherlich gäbe es auch ohne Max Planck und sein Planck'sches...

gadthrawn 20. Mär 2023 / Themenstart

Erdnussbutter. Es dauert halt nur eine Weile. Hat aber noch niemand auf Dauer überlebt.

Kommentieren



Aktuell auf der Startseite von Golem.de
5.000 Fahrzeuge pro Woche
Tesla steigert Giga-Berlin-Produktion und lockt mit Rabatten

Tesla hat Ende März 2023 einen wöchentlichen Ausstoß von 5.000 Fahrzeugen erreicht. Derweil sollen Sonderrabatte Kunden locken.

5.000 Fahrzeuge pro Woche: Tesla steigert Giga-Berlin-Produktion und lockt mit Rabatten
Artikel
  1. 25 Jahre Starcraft: Der E-Sport-Dauerbrenner
    25 Jahre Starcraft
    Der E-Sport-Dauerbrenner

    Vor 25 Jahren erschien mit Starcraft eines der wichtigsten und wegweisendsten Echtzeitstrategiespiele aller Zeiten. Macht der RTS-Hit von Blizzard auch heute noch Spaß?
    Von Andreas Altenheimer

  2. Verbrennerverbot: So kann die E-Fuels-Regelung noch scheitern
    Verbrennerverbot
    So kann die E-Fuels-Regelung noch scheitern

    Zwar haben sich Regierung und EU-Kommission auf ein Verfahren zur Zulassung von E-Fuel-Autos geeinigt. Doch dieses muss noch einige Hürden überwinden.

  3. Smart-Home-Anwendung: MQTT unter Java nutzen
    Smart-Home-Anwendung
    MQTT unter Java nutzen

    Wer Daten von Sensoren oder ähnlichen Quellen von A nach B senden möchte, kann das Protokoll MQTT verwenden, dank entsprechender Bibliotheken auch einfach unter Java.
    Eine Anleitung von Florian Bottke

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    • Daily Deals • MediaMarkt-Osterangebote • 3 Spiele kaufen, 2 zahlen • Cyberport Jubiläums-Deals • Alternate: Corsair Vengeance 32 GB DDR-6000 116,89€ u. 64 GB DDR-5600 165,89€ • MindStar: AMD Ryzen 7 5800X 209€ • MSI Optix 30" WFHD/200 Hz 289€ • WD_BLACK SN850 2 TB 189€ • NBB Black Weeks [Werbung]
    •  /