Deep Learning & Chipdesign: Deep Learning entwirft bessere KI-Chips

Mit Deep Learning effizientere Chips in kürzerer Zeit entwerfen - das verspricht eine Forschungsarbeit von Google.

Artikel veröffentlicht am , Johannes Hiltscher
KI optimiert bei Google nach der Platzierung nun auch den Aufbau von Chips.
KI optimiert bei Google nach der Platzierung nun auch den Aufbau von Chips. (Bild: Wikimedia Commons/CC-BY-SA 2.0)

Der Entwurf von Beschleunigern funktioniert noch immer am besten mit menschlicher Erfahrung. Wie viele Recheneinheiten, wie viel Speicher sollten vorhanden sein - und passt das überhaupt auf eine vorgegebene Fläche? Funktioniert der Entwurf gut für verschiedene Anwendungen? Ein Doktorand der Universität Berkeley hat zusammen mit Forschern von Google einen KI-Ansatz entwickelt. Google nutzte KI bereits zur Optimierung des Chip-Layouts.

Stellenmarkt
  1. Inhouse Berater (m/w/d) ERP / Prozessmanagement
    Goldbeck GmbH, Bielefeld, Hamm, Leipzig, Plauen
  2. Network Architect / Network Engineer (m/w/d)
    IF-TECH AG, Passau, Ansbach, München
Detailsuche

Der Prime getaufte Ansatz nutzt Deep Learning, um Konfigurationen für KI-Beschleuniger vorzuschlagen. Optimiert werden die Anzahl der Recheneinheiten, Größe der Speicher und Anbindung des externen DRAMs. Gelernt wird anhand einer Datenbank mit gültigen und ungültigen Designs. In einem Paper beschreiben die Forscher, dass ungültige Designs (beispielsweise wegen Überschreitung der Chipfläche) oft erst nach umfangreicher Simulation erkannt werden.

Entwurfsvorschläge sollten also mit hoher Wahrscheinlichkeit realisierbar sein, um schnell zu einem finalen Design zu kommen. Die ungültigen Entwürfe dienen beim Training des neuronalen Netzes als Gegenbeispiele (adversarials). Es lernt so nicht nur, was ein guter Entwurf ist, sondern auch, was einen schlechten ausmacht. Der wird dann direkt verworfen und nicht als Ausgangspunkt für eine weitere Optimierung genutzt. Das Paper wurde bei der International Conference on Learning Representations angenommen und ist online verfügbar (PDF).

Eine bessere EdgeTPU

Zur Auswertung wurde Prime auf die EdgeTPU (PDF) angewendet. Verglichen wurde die Leistung eines manuell erstellten Designs mit der des von Prime optimierten Designs. Wurde speziell auf die getesteten Anwendungen optimiert, fiel die Chipfläche in den meisten Fällen um ein Drittel geringer aus. Die Verarbeitungslatenz fiel um etwa 50 Prozent, in zwei Fällen gar um über 90 Prozent. Allerdings ist dieses Szenario eher ungewöhnlich, da ein Beschleuniger meist nicht für eine spezielle Anwendung entworfen wird.

Golem Karrierewelt
  1. Adobe Photoshop für Social Media Anwendungen: virtueller Zwei-Tage-Workshop
    29./30.06.2022, virtuell
  2. Informationssicherheit in der Automobilindustrie nach VDA-ISA und TISAX® mit Zertifikat: Zwei-Tage-Workshop
    19./20.07.2022, Virtuell
Weitere IT-Trainings

Im Vergleich mit anderen Werkzeugen zur Optimierung zeigte sich, dass Prime bessere Ergebnisse lieferte und weniger Zeit für Simulationen benötigte. Im Mittel war das Design um 20 Prozent schneller als ein mittels evolutionärem Ansatz optimiertes. Dafür war nur ein Prozent der Rechenzeit erforderlich, da die anderen Optimierer wesentlich mehr Möglichkeiten ausprobierten. Auch bei Anwendungen, für die nicht optimiert wurde, erzielte Prime bessere Ergebnisse als die anderen Optimierer. Das Modell lernte also nicht nur, was einer bestimmten Anwendung nützt.

Deep Learning illustriert: Eine anschauliche Einführung in Machine Vision, Natural Language Processing und Bilderzeugung für Programmierer und Datenanalysten

Ein schweres Problem

Beim Entwurf von Chips gibt es mehrere Optimierungsprobleme. Zuerst müssen die Resourcen - Anzahl der Recheneinheiten, Größe der Speicher, Bandbreite der Verbindungen - festgelegt werden. Danach muss alles auf den Chip gebracht werden, wobei verschiedene Randbedingungen zu beachten sind. Die Fläche des Halbleiters ist beschränkt, Leitungen dürfen nur eine bestimmte Länge haben und können nicht beliebig angeordnet werden. Damit treten gleich mehrere NP-vollständige Probleme auf, für die keine einfache mathematische Lösung existiert.

Mögliche Lösungen bilden einen komplexen Raum, den Entwurfswerkzeuge lediglich absuchen können. Ausgehend von einem Startpunkt, einem initialen Entwurf, versuchen sie, diesen zu verbessern. Ist dieser schlecht gewählt, findet die Optimierung sehr wahrscheinlich keine gute Lösung. Auch die Art, wie weitere zu untersuchende Varianten gewählt werden, beeinflusst das Ergebnis. KI kann wie ein menschlicher Designer Erfahrungen aus verschiedenen Designs bündeln. Für einen neuen Chip entsteht so ein informierter Entwurf als Ausgangspunkt für die Optimierung.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Künstliche Intelligenz
Wie erklären Menschen die Entscheidungen von Computern?

Je komplexer eine KI, desto schwerer können Menschen ihre Entscheidungen nachvollziehen. Das ängstigt viele. Doch künstliche Intelligenz ist keine Blackbox mehr.
Von Florian Voglauer

Künstliche Intelligenz: Wie erklären Menschen die Entscheidungen von Computern?
Artikel
  1. Prehistoric Planet: Danke, Apple, für so grandiose Dinosaurier!
    Prehistoric Planet
    Danke, Apple, für so grandiose Dinosaurier!

    Musik von Hans Zimmer, dazu David Attenborough als Sprecher: Apples Prehistoric Planet hat einen Kindheitstraum zum Leben erweckt.
    Ein IMHO von Marc Sauter

  2. Star Wars: Cal Kestis kämpft in Jedi Survivor weiter
    Star Wars
    Cal Kestis kämpft in Jedi Survivor weiter

    EA hat offiziell den Nachfolger zu Star Wars Jedi Fallen Order angekündigt. Hauptfigur ist erneut Cal Kestis mit seinem Roboterkumpel BD-1.

  3. Fahrgastverband Pro Bahn: Wo das 9-Euro-Ticket sicher gilt
    Fahrgastverband Pro Bahn
    Wo das 9-Euro-Ticket sicher gilt

    Die Farbe der Züge ist entscheidend, was bei der Reiseplanung in der Deutsche-Bahn-App wenig nützt. Dafür laufen Fahrscheinkontrollen ins Leere.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Prime Video: Filme leihen für 0,99€ • Gigabyte RTX 3080 12GB günstig wie nie: 1.024€ • MSI Gaming-Monitor 32" 4K günstig wie nie: 999€ • Mindstar (u. a. AMD Ryzen 5 5600 179€, Palit RTX 3070 GamingPro 669€) • Days of Play (u. a. PS5-Controller 49,99€) [Werbung]
    •  /