Abo
  • Services:

Deep Learning: Googles Cloud-TPU-Cluster nutzen 4 TByte HBM-Speicher

Die zweite Generation von Googles Deep-Learning-Beschleunigern TPU wird in Clustern zu je 64 Stück genutzt. Solch ein Cluster hat Zugriff auf 4 TByte HBM-Speicher. Einem einzelnen Kern aus Matrix- und Vektor-Recheneinheit steht je ein Speicher-Stapel aus 8 GByte zur Verfügung.

Artikel veröffentlicht am ,
Die zweite Generation von Googles TPU nutzt HBM.
Die zweite Generation von Googles TPU nutzt HBM. (Bild: Google)

Auf der diesjährigen hauseigenen Entwicklermesse I/O im Mai hat Google die zweite Generation seiner Deep-Learning-Beschleuniger vorgestellt, die das Unternehmen selbst TPU (Tensor Processing Units) nennt. Bisher waren die tatsächlichen technischen Details zum Aufbau dieser zweiten Generation der TPU nicht bekannt. Die beiden Google-Forscher Jeff Dean und Chris Ying haben auf der Konferenz Neural Information Processing Systems (NIPS) wichtige Teile des Aufbaus verraten (PDF), worauf das britische Magazin The Register hinweist.

Stellenmarkt
  1. Axians IT Solutions GmbH, deutschlandweit
  2. über DIS AG, Münster

Demnach besteht eine einzelne Recheneinheit der zweiten Generation der TPU wiederum aus zwei Kernen. In jedem Kern stecken wiederum eine Einheit für Skalar- und Vektor-Operationen, die 32 Bit Fließkommazahlen verarbeiten kann, sowie eine Einheit zur Matrix-Multiplikation der Größe 128 x 128. Letztere arbeitet ebenfalls mit 32 Bit Fließkommazahlen. Für die Multiplikatoren kann jedoch auch mit reduzierter Genauigkeit gearbeitet werden, was besonders für Training von Deep-Learning-Modellen von Vorteil ist.

  • Die zweite Generation der TPU von oben ... (Bild: Google)
  • ... und von der Seite. (Bild: Google)
  • Die neuen TPUs stapelt Google in seinen Rechenzentren zu Servern. (Bild: Google)
Die zweite Generation der TPU von oben ... (Bild: Google)

Jeder der Kerne kann auf 8 GByte HBM-Speicher zugreifen. Ob es sich hier um einen 8 GByte-Chip und mehrere kleine handelt ist nicht bekannt. Die gesamte Speicherbandbreite eines einzelnen TPU-Chips beträgt zudem 600 GByte/s. Eine einzelne Einheit komme so laut Google auf die bereits bekannte Rechenleistung von 45 Teraflops. Von diesen Chips werden je vier auf einem Board angebracht, das Google dann TPU v2 nennt.

Diese Boards werden für Googles Cloud-Angebot laut Angaben des Unternehmens zu einem Cluster aus 64 Stück zusammengefasst, was das Unternehmen als Pod bezeichnet. Solch ein Pod hat dann eine theoretische Rechenleistung von 11,5 Petaflops und Zugriff auf insgesamt 4 TByte HBM-Speicher.



Anzeige
Hardware-Angebote
  1. 349,00€ (inkl. Call of Duty: Black Ops 4 & Fortnite Counterattack Set)
  2. (reduzierte Überstände, Restposten & Co.)
  3. 216,50€

amagol 14. Dez 2017

LOL, was bitte macht man in einem Jahr in einem Rechenzentrum mit ein paar Millionen...


Folgen Sie uns
       


Padrone-Maus-Ring - Kampagnenvideo (Indiegogo)

Der Ring des Schweizer Startups Padrone soll die Maus überflüssig machen.

Padrone-Maus-Ring - Kampagnenvideo (Indiegogo) Video aufrufen
Alienware m15 vs Asus ROG Zephyrus M: Gut gekühlt ist halb gewonnen
Alienware m15 vs Asus ROG Zephyrus M
Gut gekühlt ist halb gewonnen

Wer auf LAN-Partys geht, möchte nicht immer einen Tower schleppen. Ein Gaming-Notebook wie das Alienware m15 und das Asus ROG Zephyrus M tut es auch, oder? Golem.de hat beide ähnlich ausgestatteten Notebooks gegeneinander antreten lassen und festgestellt: Die Kühlung macht den Unterschied.
Ein Test von Oliver Nickel

  1. Alienware m17 Dell packt RTX-Grafikeinheit in sein 17-Zoll-Gaming-Notebook
  2. Interview Alienware "Keiner baut dir einen besseren Gaming-PC als du selbst!"
  3. Dell Alienware M15 wird schlanker und läuft 17 Stunden

Enterprise Resource Planning: Drei Gründe für das Scheitern von SAP-Projekten
Enterprise Resource Planning
Drei Gründe für das Scheitern von SAP-Projekten

Projekte mit der Software von SAP? Da verdrehen viele IT-Experten die Augen. Prominente Beispiele von Lidl und Haribo aus dem vergangenen Jahr scheinen diese These zu bestätigen: Gerade SAP-Projekte laufen selten in time, in budget und in quality. Dafür gibt es Gründe - und Gegenmaßnahmen.
Von Markus Kammermeier


    Radeon VII im Test: Die Grafikkarte für Videospeicher-Liebhaber
    Radeon VII im Test
    Die Grafikkarte für Videospeicher-Liebhaber

    Höherer Preis, ähnliche Performance und doppelt so viel Videospeicher wie die Geforce RTX 2080: AMDs Radeon VII ist eine primär technisch spannende Grafikkarte. Bei Energie-Effizienz und Lautheit bleibt sie chancenlos, die 16 GByte Videospeicher sind eher ein Nischen-Bonus.
    Ein Test von Marc Sauter und Sebastian Grüner

    1. Grafikkarte UEFI-Firmware lässt Radeon VII schneller booten
    2. AMD Radeon VII tritt mit PCIe Gen3 und geringer DP-Rate an
    3. Radeon Instinct MI60 AMD hat erste Grafikkarte mit 7 nm und PCIe 4.0

      •  /