Künstliche Intelligenz: Google-Entwickler sind durch KI 50 Prozent schneller
Mehrere Google-Entwickler geben in einer Vorab-Publikation(öffnet im neuen Fenster) einen Einblick darüber, wie sie große Sprachmodelle (LLMs) im Konzern gezielt einsetzen, um Arbeitsprozesse zu erleichtern. Dabei gehen sie nicht auf KI-Tools ein, die für allgemeine Aufgaben, wie das Beantworten von Fragen oder dem Vervollständigen von Code, gedacht sind.
Stattdessen werden maßgeschneiderte KI-Tools beschrieben, die für bestimmte Produktbereiche entwickelt wurden. Als Beispiel nennen die Autoren eine 500 Millionen Zeilen umfassende Codebasis für Google Ads. In dieser sollten 32-Bit-IDs in 64-Bit-IDs umgewandelt, die JUnit3-Testbibliothek in JUnit4 konvertiert und die Joda-Zeitbibliothek durch das Java-Standardpaket java.time ersetzt werden.
Bereits die Umstellung von int32 auf int64 beschreiben die Entwickler als äußerst aufwendig, da sich diese in Zehntausenden Codestellen in Tausenden von Dateien befanden und zudem generisch definiert wurden. Änderungen hätten über mehrere Teams verfolgt und über mehrere Dateien hinweg berücksichtigt werden müssen.
Ergebnisse müssen doppelt überprüft werden
Für den Einsatz des LLMs musste ein Ads-Entwickler zunächst mit einer Codesuche, Kythe und benutzerdefinierten Skripten eine zu ändernde ID identifizieren. Anschließende wurde mithilfe eines LLM-basierten Migrationstools Code mit verifizierten Änderungen erzeugt, die vom selben Entwickler manuell überprüft und, wenn nötig, korrigiert wurden.
Die Codeänderungen wurden im Anschluss an die Prüfer gesendet, die für Änderungen am betroffenen Teil der Codebasis verantwortlich sind. Dabei stellten die Google-Entwickler fest, dass Menschen in vielen Fällen einige der vom LLM vorgenommenen Änderungen rückgängig machen mussten, da diese entweder falsch oder nicht notwendig waren.
Obwohl es nötig war, die Ergebnisse des LLM doppelt zu überprüfen, schätzen die Autoren, dass die benötigte Zeit für die Migration der Änderungen um 50 Prozent reduziert werden konnte. So dauerte es drei Monate, um 5.359 Dateien zu migrieren und 149.000 Codezeilen zu ändern und damit den Übergang von JUnit3 zu JUnit 4 abzuschließen. Dabei konnten 87 Prozent des KI-generierten Codes ohne Änderungen übernommen werden.
Menschlicher Überprüfungsprozess könnte zum Engpass werden
Die Umstellung der Zeitbibliothek von Joda auf Java ließ sich im Vergleich zur geplanten manuellen Arbeitszeit um 89 Prozent schneller durchführen. Die Autoren sehen LLMs bislang als Ergänzung zu traditionellen Migrationstechniken und merken an, dass möglicherweise zusätzliche Hilfsmittel erforderlich sind, damit der Überprüfungsprozess von Menschen nicht zum Engpass wird.
Zudem sollten LLMs in Kombination mit anderen Tools verwendet werden, da sie derzeit noch hohe Kosten verursachen und deswegen nicht unnötig eingesetzt werden sollten. Daran, dass KI die Art und Weise, wie bei Google interne Software entwickelt wird, grundlegend verändert hat, haben die Autoren allerdings keinen Zweifel.
Im Oktober 2024 gab Google bekannt, dass zum damaligen Zeitpunkt bereits ein Viertel des verwendeten Codes durch KI erzeugt wurde.