Abo
  • IT-Karriere:

Deep Learning: Googles Cloud-TPU-Cluster nutzen 4 TByte HBM-Speicher

Die zweite Generation von Googles Deep-Learning-Beschleunigern TPU wird in Clustern zu je 64 Stück genutzt. Solch ein Cluster hat Zugriff auf 4 TByte HBM-Speicher. Einem einzelnen Kern aus Matrix- und Vektor-Recheneinheit steht je ein Speicher-Stapel aus 8 GByte zur Verfügung.

Artikel veröffentlicht am ,
Die zweite Generation von Googles TPU nutzt HBM.
Die zweite Generation von Googles TPU nutzt HBM. (Bild: Google)

Auf der diesjährigen hauseigenen Entwicklermesse I/O im Mai hat Google die zweite Generation seiner Deep-Learning-Beschleuniger vorgestellt, die das Unternehmen selbst TPU (Tensor Processing Units) nennt. Bisher waren die tatsächlichen technischen Details zum Aufbau dieser zweiten Generation der TPU nicht bekannt. Die beiden Google-Forscher Jeff Dean und Chris Ying haben auf der Konferenz Neural Information Processing Systems (NIPS) wichtige Teile des Aufbaus verraten (PDF), worauf das britische Magazin The Register hinweist.

Stellenmarkt
  1. Taunus Sparkasse, Bad Homburg
  2. bib International College, Paderborn

Demnach besteht eine einzelne Recheneinheit der zweiten Generation der TPU wiederum aus zwei Kernen. In jedem Kern stecken wiederum eine Einheit für Skalar- und Vektor-Operationen, die 32 Bit Fließkommazahlen verarbeiten kann, sowie eine Einheit zur Matrix-Multiplikation der Größe 128 x 128. Letztere arbeitet ebenfalls mit 32 Bit Fließkommazahlen. Für die Multiplikatoren kann jedoch auch mit reduzierter Genauigkeit gearbeitet werden, was besonders für Training von Deep-Learning-Modellen von Vorteil ist.

  • Die zweite Generation der TPU von oben ... (Bild: Google)
  • ... und von der Seite. (Bild: Google)
  • Die neuen TPUs stapelt Google in seinen Rechenzentren zu Servern. (Bild: Google)
Die zweite Generation der TPU von oben ... (Bild: Google)

Jeder der Kerne kann auf 8 GByte HBM-Speicher zugreifen. Ob es sich hier um einen 8 GByte-Chip und mehrere kleine handelt ist nicht bekannt. Die gesamte Speicherbandbreite eines einzelnen TPU-Chips beträgt zudem 600 GByte/s. Eine einzelne Einheit komme so laut Google auf die bereits bekannte Rechenleistung von 45 Teraflops. Von diesen Chips werden je vier auf einem Board angebracht, das Google dann TPU v2 nennt.

Diese Boards werden für Googles Cloud-Angebot laut Angaben des Unternehmens zu einem Cluster aus 64 Stück zusammengefasst, was das Unternehmen als Pod bezeichnet. Solch ein Pod hat dann eine theoretische Rechenleistung von 11,5 Petaflops und Zugriff auf insgesamt 4 TByte HBM-Speicher.



Anzeige
Hardware-Angebote
  1. 107€ (Bestpreis!)
  2. 349,00€
  3. 114,99€ (Release am 5. Dezember)

amagol 14. Dez 2017

LOL, was bitte macht man in einem Jahr in einem Rechenzentrum mit ein paar Millionen...


Folgen Sie uns
       


Maxus EV80 Probe gefahren

Golem.de hat mit dem Maxus EV80 einen chinesischen Transporter mit europäischer DNA getestet.

Maxus EV80 Probe gefahren Video aufrufen
Indiegames-Rundschau: Von Bananen und Astronauten
Indiegames-Rundschau
Von Bananen und Astronauten

In Outer Wilds erlebt ein Astronaut in Murmeltier-Manier das immer gleiche Abenteuer, in My Friend Pedro tötet ein maskierter Auftragskiller im Auftrag einer Banane, dazu gibt es Horror von Lovecraft: Golem.de stellt die Indiegames-Highlights des Sommers vor.
Von Rainer Sigl

  1. Indiegames-Rundschau Verloren im Sonnensystem und im Mittelalter
  2. Indiegames-Rundschau Drogen, Schwerter, Roboter-Ritter
  3. Indiegames-Rundschau Zwischen Fließband und Wanderlust

In eigener Sache: Zeig's uns!
In eigener Sache
Zeig's uns!

Golem kommt zu dir: Golem.de möchte noch mehr darüber wissen, was IT-Profis in ihrem Berufsalltag umtreibt. Dafür begleitet jeder unserer Redakteure eine Woche lang ein IT-Team eines Unternehmens. Welches? Dafür bitten wir um Vorschläge.

  1. In eigener Sache Golem.de bietet Seminar zu TLS an
  2. In eigener Sache ITler und Board kommen zusammen
  3. In eigener Sache Herbsttermin für den Kubernetes-Workshop steht

Erneuerbare Energien: Die Energiewende braucht Wasserstoff
Erneuerbare Energien
Die Energiewende braucht Wasserstoff

Kein anderes Element ist so universell und dabei simpel aufgebaut wie Wasserstoff und das energiereiche Gas lässt sich aus fast jedem Energieträger gewinnen. Genauso vielseitig gestaltet sich seine Nutzung.
Ein Bericht von Jan Oliver Löfken

  1. Strom-Boje Mittelrhein Schwimmende Kraftwerke liefern Strom aus dem Rhein
  2. Speicherung von Überschussstrom Wasserstoff soll bei Engpässen helfen
  3. Energiewende DLR-Forscher bauen Kohlekraftwerke zu Stromspeichern um

    •  /