• IT-Karriere:
  • Services:

Deep Learning: Googles Cloud-TPU-Cluster nutzen 4 TByte HBM-Speicher

Die zweite Generation von Googles Deep-Learning-Beschleunigern TPU wird in Clustern zu je 64 Stück genutzt. Solch ein Cluster hat Zugriff auf 4 TByte HBM-Speicher. Einem einzelnen Kern aus Matrix- und Vektor-Recheneinheit steht je ein Speicher-Stapel aus 8 GByte zur Verfügung.

Artikel veröffentlicht am ,
Die zweite Generation von Googles TPU nutzt HBM.
Die zweite Generation von Googles TPU nutzt HBM. (Bild: Google)

Auf der diesjährigen hauseigenen Entwicklermesse I/O im Mai hat Google die zweite Generation seiner Deep-Learning-Beschleuniger vorgestellt, die das Unternehmen selbst TPU (Tensor Processing Units) nennt. Bisher waren die tatsächlichen technischen Details zum Aufbau dieser zweiten Generation der TPU nicht bekannt. Die beiden Google-Forscher Jeff Dean und Chris Ying haben auf der Konferenz Neural Information Processing Systems (NIPS) wichtige Teile des Aufbaus verraten (PDF), worauf das britische Magazin The Register hinweist.

Stellenmarkt
  1. vitasystems GmbH, Mannheim
  2. Deloitte, München, Hamburg, Düsseldorf, Stuttgart, Frankfurt am Main

Demnach besteht eine einzelne Recheneinheit der zweiten Generation der TPU wiederum aus zwei Kernen. In jedem Kern stecken wiederum eine Einheit für Skalar- und Vektor-Operationen, die 32 Bit Fließkommazahlen verarbeiten kann, sowie eine Einheit zur Matrix-Multiplikation der Größe 128 x 128. Letztere arbeitet ebenfalls mit 32 Bit Fließkommazahlen. Für die Multiplikatoren kann jedoch auch mit reduzierter Genauigkeit gearbeitet werden, was besonders für Training von Deep-Learning-Modellen von Vorteil ist.

  • Die zweite Generation der TPU von oben ... (Bild: Google)
  • ... und von der Seite. (Bild: Google)
  • Die neuen TPUs stapelt Google in seinen Rechenzentren zu Servern. (Bild: Google)
Die zweite Generation der TPU von oben ... (Bild: Google)

Jeder der Kerne kann auf 8 GByte HBM-Speicher zugreifen. Ob es sich hier um einen 8 GByte-Chip und mehrere kleine handelt ist nicht bekannt. Die gesamte Speicherbandbreite eines einzelnen TPU-Chips beträgt zudem 600 GByte/s. Eine einzelne Einheit komme so laut Google auf die bereits bekannte Rechenleistung von 45 Teraflops. Von diesen Chips werden je vier auf einem Board angebracht, das Google dann TPU v2 nennt.

Diese Boards werden für Googles Cloud-Angebot laut Angaben des Unternehmens zu einem Cluster aus 64 Stück zusammengefasst, was das Unternehmen als Pod bezeichnet. Solch ein Pod hat dann eine theoretische Rechenleistung von 11,5 Petaflops und Zugriff auf insgesamt 4 TByte HBM-Speicher.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Hardware-Angebote
  1. 399,00€ (Bestpreis! zzgl. Versand)

amagol 14. Dez 2017

LOL, was bitte macht man in einem Jahr in einem Rechenzentrum mit ein paar Millionen...


Folgen Sie uns
       


Nintendo Ring Fit Adventure angespielt

Mit Ring Fit Adventure können Spieler auf der Nintendo Switch einen Drachen bekämpfen - und dabei gleichzeitig Sport machen.

Nintendo Ring Fit Adventure angespielt Video aufrufen
Mi Note 10 im Kamera-Test: Der Herausforderer
Mi Note 10 im Kamera-Test
Der Herausforderer

Im ersten Hands on hat Xiaomis Fünf-Kamera-Smartphone Mi Note 10 bereits einen guten ersten Eindruck gemacht, jetzt ist der Vergleich mit anderen Smartphones dran. Dabei zeigt sich, dass es einen neuen, ernstzunehmenden Konkurrenten unter den besten Smartphone-Kameras gibt.
Von Tobias Költzsch

  1. Xiaomi Neues Redmi Note 8T mit Vierfachkamera kostet 200 Euro
  2. Mi Note 10 Xiaomis neues Smartphone mit 108 Megapixeln kostet 550 Euro
  3. Mi Watch Xiaomi bringt Smartwatch mit Apfelgeschmack

Need for Speed Heat im Test: Temporausch bei Tag und Nacht
Need for Speed Heat im Test
Temporausch bei Tag und Nacht

Extrem schnelle Verfolgungsjagden, eine offene Welt und viel Abwechslung dank Tag- und Nachtmodus: Mit dem Arcade-Rennspiel Heat hat Electronic Arts das beste Need for Speed seit langem veröffentlicht. Und das sogar ohne Mikrotransaktionen!
Von Peter Steinlechner

  1. Electronic Arts Need for Speed Heat saust durch Miami

Tesla-Fabrik in Brandenburg: Remote, Germany
Tesla-Fabrik in Brandenburg
Remote, Germany

Elon Musk steht auf Berlin, doch industrielle Großprojekte sind nicht die Stärke der Region. Ausgerechnet in die Nähe der ewigen Flughafen-Baustelle BER will Tesla seine Gigafactory 4 platzieren. Was spricht für und gegen den Standort Berlin/Brandenburg?
Eine Analyse von Dirk Kunde

  1. Gigafactory Tesla soll 4 Milliarden Euro in Brandenburg investieren
  2. 7.000 Arbeitsplätze Tesla will Gigafactory bei Berlin bauen
  3. Irreführende Angaben Wettbewerbszentrale verklagt Tesla wegen Autopilot-Werbung

    •  /