Deep Learning & Chipdesign: Deep Learning entwirft bessere KI-Chips

Mit Deep Learning effizientere Chips in kürzerer Zeit entwerfen - das verspricht eine Forschungsarbeit von Google.

Artikel veröffentlicht am 21. März 2022, 15:37 Uhr, Johannes Hiltscher

KI optimiert bei Google nach der Platzierung nun auch den Aufbau von Chips. (Bild: Wikimedia Commons/CC-BY-SA 2.0)

Der Entwurf von Beschleunigern funktioniert noch immer am besten mit menschlicher Erfahrung. Wie viele Recheneinheiten, wie viel Speicher sollten vorhanden sein - und passt das überhaupt auf eine vorgegebene Fläche? Funktioniert der Entwurf gut für verschiedene Anwendungen? Ein Doktorand der Universität Berkeley hat zusammen mit Forschern von Google einen KI-Ansatz entwickelt. Google nutzte KI bereits zur Optimierung des Chip-Layouts.

Der Prime getaufte Ansatz nutzt Deep Learning, um Konfigurationen für KI-Beschleuniger vorzuschlagen. Optimiert werden die Anzahl der Recheneinheiten, Größe der Speicher und Anbindung des externen DRAMs. Gelernt wird anhand einer Datenbank mit gültigen und ungültigen Designs. In einem Paper beschreiben die Forscher, dass ungültige Designs (beispielsweise wegen Überschreitung der Chipfläche) oft erst nach umfangreicher Simulation erkannt werden.

Entwurfsvorschläge sollten also mit hoher Wahrscheinlichkeit realisierbar sein, um schnell zu einem finalen Design zu kommen. Die ungültigen Entwürfe dienen beim Training des neuronalen Netzes als Gegenbeispiele (adversarials). Es lernt so nicht nur, was ein guter Entwurf ist, sondern auch, was einen schlechten ausmacht. Der wird dann direkt verworfen und nicht als Ausgangspunkt für eine weitere Optimierung genutzt. Das Paper wurde bei der International Conference on Learning Representations angenommen und ist online verfügbar (PDF).

Eine bessere EdgeTPU

Zur Auswertung wurde Prime auf die EdgeTPU (PDF) angewendet. Verglichen wurde die Leistung eines manuell erstellten Designs mit der des von Prime optimierten Designs. Wurde speziell auf die getesteten Anwendungen optimiert, fiel die Chipfläche in den meisten Fällen um ein Drittel geringer aus. Die Verarbeitungslatenz fiel um etwa 50 Prozent, in zwei Fällen gar um über 90 Prozent. Allerdings ist dieses Szenario eher ungewöhnlich, da ein Beschleuniger meist nicht für eine spezielle Anwendung entworfen wird.

Im Vergleich mit anderen Werkzeugen zur Optimierung zeigte sich, dass Prime bessere Ergebnisse lieferte und weniger Zeit für Simulationen benötigte. Im Mittel war das Design um 20 Prozent schneller als ein mittels evolutionärem Ansatz optimiertes. Dafür war nur ein Prozent der Rechenzeit erforderlich, da die anderen Optimierer wesentlich mehr Möglichkeiten ausprobierten. Auch bei Anwendungen, für die nicht optimiert wurde, erzielte Prime bessere Ergebnisse als die anderen Optimierer. Das Modell lernte also nicht nur, was einer bestimmten Anwendung nützt.

Ein schweres Problem

Beim Entwurf von Chips gibt es mehrere Optimierungsprobleme. Zuerst müssen die Resourcen - Anzahl der Recheneinheiten, Größe der Speicher, Bandbreite der Verbindungen - festgelegt werden. Danach muss alles auf den Chip gebracht werden, wobei verschiedene Randbedingungen zu beachten sind. Die Fläche des Halbleiters ist beschränkt, Leitungen dürfen nur eine bestimmte Länge haben und können nicht beliebig angeordnet werden. Damit treten gleich mehrere NP-vollständige Probleme auf, für die keine einfache mathematische Lösung existiert.

Mögliche Lösungen bilden einen komplexen Raum, den Entwurfswerkzeuge lediglich absuchen können. Ausgehend von einem Startpunkt, einem initialen Entwurf, versuchen sie, diesen zu verbessern. Ist dieser schlecht gewählt, findet die Optimierung sehr wahrscheinlich keine gute Lösung. Auch die Art, wie weitere zu untersuchende Varianten gewählt werden, beeinflusst das Ergebnis. KI kann wie ein menschlicher Designer Erfahrungen aus verschiedenen Designs bündeln. Für einen neuen Chip entsteht so ein informierter Entwurf als Ausgangspunkt für die Optimierung.