Autonomes Fahren: Teslas Supercomputer weltweit einer der schnellsten
Üblicherweise sprechen Unternehmen nicht über die Supercomputer, die intern für die Datenverarbeitung eingesetzt werden. Andrej Karpathy, Director of Artificial Intelligence bei Tesla, machte eine Ausnahme: Das System soll 1,8 Exaflops bei halber Genauigkeit (FP16) für künstliche Intelligenz erreichen.
Selbst bei doppelter Präzision (FP64) entspricht das noch theoretischen 55 Petaflops, womit Teslas Inhouse-Supercomputer immerhin den achten Platz der aktuellen Top-500-Liste(öffnet im neuen Fenster) der leistungsstärksten Systeme weltweit erreichen würde. In seinem Workshop(öffnet im neuen Fenster) auf der Conference on Computer Vision and Pattern Recognition (CVPR) 2021 erläuterte Karpathy, wie sich der Tesla-Supercomputer zusammensetzt.
Auf die verwendeten CPUs und den RAM ging der Director of Artificial Intelligence nicht ein, wohl aber auf den Rest: Das System besteht aus 720 Nodes, jeder davon ist mit acht von Nvidias A100 in der 80-GByte-Version bestückt. Jede davon schafft 312 Teraflops (FP16) respektive 9,7 Teraflops (FP64) - für 5.760 GPUs ergibt das besagte 1,8 Exaflops bei halber Genauigkeit und 55 Petaflops bei doppelter.
Training neuronaler Netze
Laut Karpathy hat Tesla ein 1,5 Petabyte großes Datenset bestehend aus einer Million 36-fps-Videos, das von acht Kameras eines Tesla-Fahrzeugs aufgezeichnet wurde. Diese Informationen landen im Supercomputer auf einem NVMe-SSD-Verbund mit 10 Petabyte Kapazität und 1,6 TByte/s Geschwindigkeit. Die Nvidia-Beschleuniger werden verwendet, um auf Basis dieser Daten neuronale Netze zu trainieren, weshalb das Fabric ebenfalls sehr schnell ausfallen soll.
Neben dem beschriebenen Inhouse-Supercomputer gibt es noch zwei weitere Cluster, die Tesla einsetzt. Künftig soll mit Project Dojo ein verbessertes System verwendet werden, dazu wollte sich Karpathy auf der CVPR 2021 aber nicht weiter äußern.