Deep Learning: Googles Cloud-TPU-Cluster nutzen 4 TByte HBM-Speicher

Die zweite Generation von Googles Deep-Learning-Beschleunigern TPU wird in Clustern zu je 64 Stück genutzt. Solch ein Cluster hat Zugriff auf 4 TByte HBM-Speicher. Einem einzelnen Kern aus Matrix- und Vektor-Recheneinheit steht je ein Speicher-Stapel aus 8 GByte zur Verfügung.

Artikel veröffentlicht am ,
Die zweite Generation von Googles TPU nutzt HBM.
Die zweite Generation von Googles TPU nutzt HBM. (Bild: Google)

Auf der diesjährigen hauseigenen Entwicklermesse I/O im Mai hat Google die zweite Generation seiner Deep-Learning-Beschleuniger vorgestellt, die das Unternehmen selbst TPU (Tensor Processing Units) nennt. Bisher waren die tatsächlichen technischen Details zum Aufbau dieser zweiten Generation der TPU nicht bekannt. Die beiden Google-Forscher Jeff Dean und Chris Ying haben auf der Konferenz Neural Information Processing Systems (NIPS) wichtige Teile des Aufbaus verraten (PDF), worauf das britische Magazin The Register hinweist.

Stellenmarkt
  1. Business Analyst / Process Designer (f/m/d)
    NEXPLORE Technology GmbH, Essen
  2. Informatiker / Mathematiker / Physiker / Ingenieur als wissenschaftlicher Berater IT-Sicherheit ... (m/w/d)
    VDI/VDE Innovation + Technik GmbH, Berlin, Bonn, München, Hannover, Erfurt
Detailsuche

Demnach besteht eine einzelne Recheneinheit der zweiten Generation der TPU wiederum aus zwei Kernen. In jedem Kern stecken wiederum eine Einheit für Skalar- und Vektor-Operationen, die 32 Bit Fließkommazahlen verarbeiten kann, sowie eine Einheit zur Matrix-Multiplikation der Größe 128 x 128. Letztere arbeitet ebenfalls mit 32 Bit Fließkommazahlen. Für die Multiplikatoren kann jedoch auch mit reduzierter Genauigkeit gearbeitet werden, was besonders für Training von Deep-Learning-Modellen von Vorteil ist.

  • Die zweite Generation der TPU von oben ... (Bild: Google)
  • ... und von der Seite. (Bild: Google)
  • Die neuen TPUs stapelt Google in seinen Rechenzentren zu Servern. (Bild: Google)
Die zweite Generation der TPU von oben ... (Bild: Google)

Jeder der Kerne kann auf 8 GByte HBM-Speicher zugreifen. Ob es sich hier um einen 8 GByte-Chip und mehrere kleine handelt ist nicht bekannt. Die gesamte Speicherbandbreite eines einzelnen TPU-Chips beträgt zudem 600 GByte/s. Eine einzelne Einheit komme so laut Google auf die bereits bekannte Rechenleistung von 45 Teraflops. Von diesen Chips werden je vier auf einem Board angebracht, das Google dann TPU v2 nennt.

Diese Boards werden für Googles Cloud-Angebot laut Angaben des Unternehmens zu einem Cluster aus 64 Stück zusammengefasst, was das Unternehmen als Pod bezeichnet. Solch ein Pod hat dann eine theoretische Rechenleistung von 11,5 Petaflops und Zugriff auf insgesamt 4 TByte HBM-Speicher.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Metaverse
EU blamiert sich mit interaktiver Onlineparty

Rund 387.000 Euro an Kosten, fünf Besucher auf der Onlineparty: Ein EU-Projekt wollte junge Menschen als Büroklammer tanzen lassen.

Metaverse: EU blamiert sich mit interaktiver Onlineparty
Artikel
  1. Elektromobilität: Hyundai zeigt Elektrosportwagen Ioniq 5 N
    Elektromobilität
    Hyundai zeigt Elektrosportwagen Ioniq 5 N

    Hyundai hat erstmals ein Video mit dem Ioniq 5 N veröffentlicht. Das besonders sportliche Fahrzeug soll die N-Marke beleben.

  2. High Purity in der Produktion: Unter Druck reinigen
    High Purity in der Produktion
    Unter Druck reinigen

    Ob Autos, Elektronik, Medizin oder Halbleiter: Die Reinhaltung bis in den Nanobereich wird immer wichtiger. Das stellt hohe Anforderung an Monitoring und Prozesslenkung.
    Ein Bericht von Detlev Prutz

  3. Patches: Anti-Ruckel-Updates für Pokémon und Callisto zeigen Wirkung
    Patches
    Anti-Ruckel-Updates für Pokémon und Callisto zeigen Wirkung

    Warum nicht gleich so? Für die von Bugs geplagten Computerspiele Pokémon Karmesin/Purpur und The Callisto Protocol gibt es Updates.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • PS5-Bundle vorbestellbar • Amazon-Geräte bis -53% • Mindstar: AMD-Ryzen-CPUs zu Bestpreisen • Alternate: Kingston FURY Beast RGB 32GB DDR5-4800 146,89€ • Advent-Tagesdeals bei MediaMarkt/Saturn: u. a. SanDisk Ultra microSDXC 512GB 39€ • Thrustmaster Ferrari GTE Wheel 87,60€ [Werbung]
    •  /