Höhepunkt: abtrünnige Superintelligenz
Im Detail beschreiben sie Rechengeschwindigkeiten, neue Tricks, um immer größere KI-Modelle zu trainieren, und vieles mehr – inklusive konkreter Vorhersagen zu Metriken wie den Kosten von KI-Hardware, dem Stromverbrauch und dem Einfluss von KI auf den Jobmarkt. Niemand sonst habe das bisher so gründlich und detailliert gemacht, heißt es auch von ansonsten kritischen Stimmen(öffnet im neuen Fenster) .
Laut dem Szenario wird es Anfang 2027 so weit sein, dass KI-Agenten besser programmieren als Menschen. Bis Mitte des Jahres reicht das, um einen übermenschlichen KI-Forscher zu erschaffen. Der wird dann Teams aus Agenten überwachen und neue Durchbrüche erreichen. Das wiederum reicht bis Ende 2027/Anfang 2028 für eine superintelligente KI, die die Forschung und Entwicklung an sich selbst gänzlich automatisiert.
Ab dann baut das System immer bessere Versionen von sich, bis es zur künstlichen Superintelligenz(öffnet im neuen Fenster) wird, einem Computersystem, das die begabtesten menschlichen Geister übersteigt. Der Hauptteil des Szenarios endet im Oktober 2027 damit, dass jede Woche ein Jahr an KI-Durchbrüchen erreicht wird und die superintelligente KI droht, sich zu verselbstständigen(öffnet im neuen Fenster) .
Keine Erwachsenen im Raum
Ab dieser Stelle kann die Geschichte laut den Autoren bis 2030 auf zwei Arten ausgehen: entweder mit dem Race(öffnet im neuen Fenster) -Szenario, einem desaströsen KI-Wettrüsten zwischen China und den USA, das mit der Vernichtung der Menschheit durch die KI endet, oder dem Slowdown(öffnet im neuen Fenster) , in dem die Entscheidungsträger ab Januar 2028 eine verantwortungsbewusstere Haltung zu KI einnehmen und die KI die Menschheit unterwirft. Aktuell halten die Autoren das Wettrennen für wesentlich wahrscheinlicher.
Wichtig ist, dass auch der Slowdown laut dem Team keine Empfehlung ist. Selbst das bessere Ende sei längst nicht so gut, wie sie es sich gewünscht hätten, sagen die Forscher – die Vorhersage sei bereits ziemlich gewagt. Larsen erklärte auf die Bitte, ein optimistischeres Ende zu schreiben, dass sie es zwar versucht hätten, sich aber keine Idee realistisch angefühlt(öffnet im neuen Fenster) habe.
Das Problem sei, sagt Kokotajlo(öffnet im neuen Fenster) , dass es in Sachen KI "keine Erwachsenen im Raum" gebe, Niemand kann also uns Kindern sagen, wie wir richtig mit der Technologie umgehen. Deswegen wollen die Autoren mit ihrem Szenario eine öffentliche Debatte anregen, statt eine Handvoll mächtiger Leute im Alleingang entscheiden zu lassen.