Deep Learning: Googles Cloud-TPU kosten 6,50 US-Dollar pro Stunde
Mit den Cloud-TPU hat Google auf seiner Entwicklerkonferenz I/O im vergangenen Frühjahr die zweite Generation seiner Tensor Processing Units (TPU) genannten Deep-Learning-Beschleuniger vorgestellt. Nach einer anmeldepflichtigen Alpha-Testphase sowie einem speziell an Forscher gerichteten Angebot startet Google nun eine offene Beta(öffnet im neuen Fenster) für die Verwendung der Cloud-TPU.
Die Rechenleistung zu mieten, soll 6,50 US-Dollar pro Stunde und Cloud-TPU kosten. Die vergleichsweise große Nachfrage nach den TPU bei nach wie vor knappen Hardware-Ressourcen versucht Google durch eine Anmeldung für die Beta-Phase zu lösen. Google verspricht aber seinen Kunden, so schnell wie möglich Zugriff auf die Cloud-TPU geben zu wollen.
Diese nun verfügbare zweite Generation kann nicht nur das Inferencing beschleunigen, also das Anwenden bereits trainierter Modelle, sondern unterstützt auch explizit das Training völlig neuer Modelle. Damit Kunden das möglichst einfach umsetzen können, lassen sich die Cloud-TPU mit dem von Google unterstützten Framework Tensorflow verwenden. Für einen einfachen Start hat Google auch Referenzmodelle für diesen Aufbau als Open-Source-Software veröffentlicht.
Rechenstarke Hardware in der Cloud
Eine einzelne Recheneinheit der zweiten Generation der TPU besteht aus zwei Kernen. In jedem Kern stecken wiederum eine Einheit für Skalar- und Vektor-Operationen, die 32 Bit Fließkommazahlen verarbeiten kann, und eine Einheit zur Matrix-Multiplikation der Größe 128 x 128. Letztere arbeitet ebenfalls mit 32 Bit Fließkommazahlen. Für die Multiplikatoren kann jedoch auch mit reduzierter Genauigkeit gearbeitet werden, was besonders für Training von Deep-Learning-Modellen von Vorteil ist.
Jeder der Kerne kann auf 8 GByte HBM-Speicher zugreifen. Ob es sich hier um einen 8 GByte-Chip und mehrere kleine handelt, ist nicht bekannt. Die gesamte Speicherbandbreite eines einzelnen TPU-Chips beträgt zudem 600 GByte/s. Eine einzelne Einheit komme so laut Google auf eine Rechenleistung von 45 Teraflops. Von diesen Chips werden je vier auf einem Board angebracht, das Google dann TPU v2 nennt und entsprechend eine Leistung von 180 Teraflops haben soll.
Diese Boards werden von Google selbst nach Angaben des Unternehmens zu einem Cluster aus 64 Stück zusammengefasst, was das Unternehmen als Pod bezeichnet. Solch ein Pod hat dann eine theoretische Rechenleistung von 11,5 Petaflops und Zugriff auf insgesamt 4 TByte HBM-Speicher. Noch lassen sich diese TPU-Pods jedoch nicht dediziert mieten. Die TPU-Pods sollen später im Jahr im Cloud-Angebot von Google zur Verfügung stehen.
Zusätzlich zu den TPU sollen Googles Kunden, die auf Machine Learning setzen, aber auch weiterhin Zugriff auf verschiedene leistungsstarke CPUs wie die aktuelle Skylake-Generation erhalten sowie auch auf die sogenannten Cloud-GPUs, über die auch Nvidias Tesla V100 bereitsteht.