KI für Chipdesign: Manipulationsvorwürfe gegen Google

Mit KI will Google bessere Chips entwerfen. Forscher und ein Ex-Mitarbeiter behaupten: Die Ergebnisse wurden geschönt, um Clouddienste zu verkaufen.

3. April 2023 um 15:48 Uhr / Ein Bericht von Johannes Hiltscher

KI nutzen viele Unternehmen für die Optimierung von Chips. Aber hat Google die beste? Bild: Placidplace, Pixabay

Besser als andere Software und Menschen: Das versprach Google 2021 für seinen KI-Algorithmus Circuit Training . Der übernimmt eine wichtige Aufgabe beim Chipdesign, die Platzierung sogenannter Makroblöcke, das sind Funktionseinheiten wie Speicher oder Recheneinheiten.

Eine Forschungsgruppe versuchte, die Ergebnisse nachzuvollziehen - wobei Googles Algorithmus deutlich schlechter abschnitt (via The Register ). Der Vorwurf: Das Google-Team habe seine Ergebnisse besser dargestellt, als sie seien.

Die Platzierung ist ein immens wichtiger Schritt im Halbleiterentwurf: Von ihr hängen Größe und möglicher Takt des fertigen Silizium-Dies ab. Die Ergebnisse der später als Circuit Training veröffentlichten Software stellte das Google-Team 2021 in einem Artikel im Magazin Nature vor . Bereits die ebenfalls veröffentlichten Anmerkungen der Gutachter (PDF) aus dem Peer Review zeigen, dass diese mit mehreren Punkten unzufrieden waren.

Einerseits sei mit zu wenig anderen Werkzeugen zur Platzierung verglichen worden, andererseits wird bemängelt, dass die Trainingsdaten nicht zugänglich seien. Hier verwendete das Google-Team Makroblöcke der zweiten Generation von Googles Tensor Processing Unit (TPU).

Andrew Khang, einer der Gutachter und Professor an der University of California in San Diego (UCSD), genügten die Antworten des Google-Teams offenbar nicht. Also versuchte er mit seinem Team, die Daten nachzuvollziehen und zu vergleichen.

Open Source, aber nur ein bisschen

Herausgekommen ist eine Veröffentlichung (PDF) , in der Googles KI-Algorithmus schlecht abschneidet. Anders als das Google-Team haben die Forscher drei quelloffene Chipdesigns für Fertigungsprozesse mit frei zugänglichem Process Design Kit (PDK) optimiert. Sie vergleichen zudem mit deutlich mehr Optimierern.

Obwohl Googles Code bei Github veröffentlicht ist, mussten sie einige Komponenten selbst implementieren: Zentrale Komponenten versteckt Google hinter einer API. Zudem wurde auf das Training verzichtet. Ein Grund dafür ist, dass die Trainingsdaten nicht zur Verfügung standen, zudem sehen die UCSD-Forscher es für die von ihnen erhobenen Metriken als unerheblich an. Da Reinforcement Learning genutzt wird lernt der Algorithmus aus seinen Optimierungsversuchen, braucht aber länger. In einer Antwort auf eine Anfrage von The Register machen zwei der beteiligten Google-Forscher eben dieses fehlende Training für das schlechte Abschneiden verantwortlich.

Besonders stoßen sich die UCSD-Forscher an einem Punkt, der in der Nature-Veröffentlichung nicht erwähnt wird: Googles Platzierungsalgorithmus bekommt bereits einen platzierten Entwurf als Eingabe. Der ist zwar noch nicht optimiert, gibt dem Google-Algorithmus aber gegenüber einem Entwurf ohne Platzierungsinformation einen deutlichen Vorteil.

Reaktion der Google-Forscher: Der platzierte Entwurf sei das Ergebnis des Syntheseprozesses, also der Übersetzung von der Hardwarebeschreibung in Primitive aus dem PDK. Daher habe man es nicht für erwähnenswert gehalten - dem widersprechen die neuen Daten.

Und die UCSD-Forscher sind nicht die einzigen, die dem Google-Team eine Beschönigung seiner Ergebnisse vorwerfen.

Ehemaliger Mitarbeiter bestätigt Behauptungen

Auch Satrajit Chatterjee, ein ehemaliger Mitarbeiter in Googles KI-Abteilung, bestätigt die Behauptungen. Er klagt aktuell gegen seine Entlassung und behauptet, die Leistung des KI-Platzierers sei bewusst übertrieben worden, um einem Anbieter von Entwurfssoftware (Electronic Design Automation, EDA) einen millionenschweren Cloud-Deal schmackhaft zu machen. Der Anbieter wird zwar nur als "Firma S" benannt, es dürfte sich aber um Synopsis handeln.

Sollten Chatterjees Behauptungen stimmen, so hat Google sein Ziel erreicht: Ende September 2022 gab Google Cloud in einem Blogeintrag bekannt, dass die EDA-Software von Synopsis als Clouddienst nutzbar sei. Ende März 2023 stellte Synopsis eine Reihe von KI-Werkzeugen für den Chipentwurf vor. Ob die auf der Vorarbeit von Google basieren, ist allerdings unklar.

Der Autor meint dazu:

Anhand der Veröffentlichungen ist schwer zu entscheiden, wer letztendlich Recht hat. Am wahrscheinlichsten ist ein Weder-Noch, denn die Veröffentlichung der UCSD-Forscher zeigt noch etwas anderes: In vielen Fällen erreicht keiner der Platzierer in allen Metriken den besten Wert, auch bei verschiedenen Chipdesigns gibt es Unterschiede.

Es gibt also ausreichend triviale Gründe, weshalb die UCSD-Forscher zu anderen Ergebnissen kommen. Die Annahme, dass Googles Team seine Ergebnisse im günstigsten Licht dargestellt hat, ist damit aber nicht zu entkräften. Die Antworten des Teams sind zudem so allgemein, dass sie kaum überzeugen können.

Das zeigt ein grundlegendes Problem, wenn sich Wissenschaft und geschäftliche Interessen überschneiden: Wirtschaftliche Interessen im Hinterkopf können den kritischen Abstand zu den eigenen Ergebnissen schwinden lassen. Durch fehlende Daten geht die Nachvollziehbarkeit und damit ein zentraler Aspekt wissenschaftlicher Vertrauensbildung verloren.