Forschung: KI-Wissenschaftler sorgt für Überraschung

Um mehr Zeit für die Bearbeitung eines Problems zu gewinnen, hat eine KI versucht, ihren eigenen Code zu ändern.

15. August 2024 um 10:57 Uhr / Mike Faust

Manchmal erforschen KIs die Welt auf ihre eigene Art. Bild: Sakana AI

In einem Blogbeitrag hat das in Tokio ansässige Unternehmen Sakana.ai am 13. August 2024 ein neues KI-System vorgestellt. Das The AI Scientist genannte System soll mithilfe von KI-Sprachmodellen (LLMs) wissenschaftliche Untersuchungen autonom durchführen.

Ziel ist es dabei, den gesamten Forschungsprozess automatisiert durchführen zu lassen. Von der Generierung neuer Forschungsansätze, dem Schreiben des erforderlichen Codes, den Experimenten sowie deren Auswertung bis zum Anfertigen eines wissenschaftlichen Manuskripts soll The AI Scientist die gesamte Arbeit übernehmen.

Während Sakana im eigenen Blog von der KI erstellte Beispielpapiere präsentiert, wird auch auf die Einschränkungen der KI eingegangen. So gibt es noch Probleme bei der Visualisierung von Forschungsergebnissen, die sich in schwer lesbaren Diagrammen oder Tabellen, die das Seitenlayout überschreiten, äußern.

Mögliche Risiken für die Forschung

Als weitere Punkte werden genannt, dass die KI Ideen falsch umsetzt und unfaire Vergleiche mit Basiswerten anstellt, was in irreführenden Ergebnissen resultieren kann. Auch das Vergleichen der Größenordnung zweier Zahlen kann The AI Scientist nicht zuverlässig durchführen, was laut Sakana ein bekanntes Problem von LLMs sein soll.

Ein besonders kurioses Verhalten zeigte die KI beim Arbeiten unter Zeitdruck. Statt den Code zum Bearbeiten einer Aufgabe zu optimieren, um innerhalb des vorgegebenen Time-outs fertig zu werden, versuchte The AI Scientist, mit einer Änderung seines Codes die Time-out-Periode zu verlängern.

Neben den Einsatzmöglichkeiten der KI geht Sakana im Blogbeitrag auch auf die möglichen Risiken ein. Demnach ist man sich des Missbrauchspotenzials bewusst. Insbesondere das Begutachten von KI-generierten Forschungsergebnissen kann deutlich aufwendiger ausfallen und auch andersherum birgt der Einsatz von KI bei der Begutachtung das Risiko, dass sich die Qualität der Gutachten deutlich verschlechtert.

Sakana schreibt daher ganz deutlich, dass Artikel und Bewertungen, die größtenteils von KI generiert wurden, auch als solche gekennzeichnet werden müssen.