Abo
  • Services:

Deep Learning: Googles Cloud-TPU-Cluster nutzen 4 TByte HBM-Speicher

Die zweite Generation von Googles Deep-Learning-Beschleunigern TPU wird in Clustern zu je 64 Stück genutzt. Solch ein Cluster hat Zugriff auf 4 TByte HBM-Speicher. Einem einzelnen Kern aus Matrix- und Vektor-Recheneinheit steht je ein Speicher-Stapel aus 8 GByte zur Verfügung.

Artikel veröffentlicht am ,
Die zweite Generation von Googles TPU nutzt HBM.
Die zweite Generation von Googles TPU nutzt HBM. (Bild: Google)

Auf der diesjährigen hauseigenen Entwicklermesse I/O im Mai hat Google die zweite Generation seiner Deep-Learning-Beschleuniger vorgestellt, die das Unternehmen selbst TPU (Tensor Processing Units) nennt. Bisher waren die tatsächlichen technischen Details zum Aufbau dieser zweiten Generation der TPU nicht bekannt. Die beiden Google-Forscher Jeff Dean und Chris Ying haben auf der Konferenz Neural Information Processing Systems (NIPS) wichtige Teile des Aufbaus verraten (PDF), worauf das britische Magazin The Register hinweist.

Stellenmarkt
  1. amedes Medizinische Dienstleistungen GmbH, Hamburg
  2. DESY Deutsches Elektronen Synchrotron, Hamburg

Demnach besteht eine einzelne Recheneinheit der zweiten Generation der TPU wiederum aus zwei Kernen. In jedem Kern stecken wiederum eine Einheit für Skalar- und Vektor-Operationen, die 32 Bit Fließkommazahlen verarbeiten kann, sowie eine Einheit zur Matrix-Multiplikation der Größe 128 x 128. Letztere arbeitet ebenfalls mit 32 Bit Fließkommazahlen. Für die Multiplikatoren kann jedoch auch mit reduzierter Genauigkeit gearbeitet werden, was besonders für Training von Deep-Learning-Modellen von Vorteil ist.

  • Die zweite Generation der TPU von oben ... (Bild: Google)
  • ... und von der Seite. (Bild: Google)
  • Die neuen TPUs stapelt Google in seinen Rechenzentren zu Servern. (Bild: Google)
Die zweite Generation der TPU von oben ... (Bild: Google)

Jeder der Kerne kann auf 8 GByte HBM-Speicher zugreifen. Ob es sich hier um einen 8 GByte-Chip und mehrere kleine handelt ist nicht bekannt. Die gesamte Speicherbandbreite eines einzelnen TPU-Chips beträgt zudem 600 GByte/s. Eine einzelne Einheit komme so laut Google auf die bereits bekannte Rechenleistung von 45 Teraflops. Von diesen Chips werden je vier auf einem Board angebracht, das Google dann TPU v2 nennt.

Diese Boards werden für Googles Cloud-Angebot laut Angaben des Unternehmens zu einem Cluster aus 64 Stück zusammengefasst, was das Unternehmen als Pod bezeichnet. Solch ein Pod hat dann eine theoretische Rechenleistung von 11,5 Petaflops und Zugriff auf insgesamt 4 TByte HBM-Speicher.



Anzeige
Blu-ray-Angebote
  1. 4,25€

amagol 14. Dez 2017

LOL, was bitte macht man in einem Jahr in einem Rechenzentrum mit ein paar Millionen...


Folgen Sie uns
       


Asus ROG Phone - Hands On auf der Computex 2018

Das ROG ist ein interessantes Konzept, das sich schon beim an Gamer gerichteten Design von anderen Telefonen unterscheidet. Außergewöhnlich sind die vielen Zubehörteile: darunter ein Handheld-Adapter, ein Desktop-Dock, ein Anstecklüfter und ein Controllermodul. Wir haben es uns angeschaut.

Asus ROG Phone - Hands On auf der Computex 2018 Video aufrufen
Always Connected PCs im Test: Das kann Windows 10 on Snapdragon
Always Connected PCs im Test
Das kann Windows 10 on Snapdragon

Noch keine Konkurrenz für x86-Notebooks: Die Convertibles mit Snapdragon-Chip und Windows 10 on ARM sind flott, haben LTE integriert und eine extrem lange Akkulaufzeit. Der App- und der Treiber-Support ist im Alltag teils ein Manko, aber nur eins der bisherigen Geräte überzeugt uns.
Ein Test von Marc Sauter und Oliver Nickel

  1. Qualcomm "Wir entwickeln dediziertes Silizium für Laptops"
  2. Windows 10 on ARM Microsoft plant 64-Bit-Support ab Mai 2018
  3. Always Connected PCs Vielversprechender Windows-RT-Nachfolger mit Fragezeichen

Raumfahrt: Großbritannien will wieder in den Weltraum
Raumfahrt
Großbritannien will wieder in den Weltraum

Die Briten wollen eigene Raketen bauen und von Großbritannien aus starten. Ein Teil des Geldes dafür kommt auch von Investoren und staatlichen Investitionsfonds aus Deutschland.
Von Frank Wunderlich-Pfeiffer

  1. Esa Sonnensystemforschung ohne Plutonium
  2. Jaxa Japanische Sonde Hayabusa 2 erreicht den Asteroiden Ryugu
  3. Mission Horizons @Astro_Alex fliegt wieder

Segelschiff: Das Vindskip steckt in der Flaute
Segelschiff
Das Vindskip steckt in der Flaute

Hochseeschiffe gelten als große Umweltverschmutzer. Neue saubere Antriebe sind gefragt. Der Norweger Terje Lade hat ein futuristisches Segelschiff entwickelt. Doch solch ein neuartiges Konzept umzusetzen, ist nicht so einfach.
Ein Bericht von Werner Pluta

  1. Energy Observer Toyota unterstützt Weltumrundung von Brennstoffzellenschiff
  2. Hyseas III Schottische Werft baut Hochseefähre mit Brennstoffzelle
  3. Kreuzschifffahrt Wie Brennstoffzellen Schiffe sauberer machen

    •  /