EC2 G4: AWS nutzt Nvidias Tesla T4 für Inferencing-Cloud
Nvidia hat auf der GPU Technology Conference im kalifornischen San José neue Partner benannt, welche die Tesla T4 in den eigenen Cloud-Instanzen anbieten werden. Die Beschleunigerkarte wurde im September 2018 vorgestellt, bisher setzen Baidu und Google sie ein, nun folgen Alibaba und Amazon mit der EC2-G4-Instanz.
Die Tesla T4 basiert auf dem TU104-Chip mit Turing-Architektur und integriert Tensor-Cores, weshalb sie FP16- und INT8-Berechnungen besonders schnell durchführen kann. Das ist hilfreich für Inferencing, beispielsweise zur Objekterkennung in Fotos oder zur Umsetzung von Spracherkennung.
AWS (Amazon Web Services) nutzt in den EC2-G4-Instanzen (Elastic Compute Cloud) bis zu acht Tesla T4 sowie bis zu 96 CPU-Kerne samt bis zu 384 GByte Arbeitsspeicher sowie NVMe-SSDs. Vorerst bietet AWS die EC2 G4 nur als Private Preview für interessierte Kunden an, später im Jahr sollen die Instanzen regulär verfügbar sein.
Dank des überarbeiteten NVENC (Nvidia Encoder) soll die mit 16 GByte GDDR6-Videospeicher versehene Tesla T4 mit bis zu 38 Full-HD-Videostreams doppelt so viele parallel decodieren können wie die ältere Tesla P4, weshalb sie ihre Inferencing-Leistung auch an dieser Stelle einsetzen kann. Wie gehabt handelt es sich um ein Singleslot-Modell mit passiver Kühlung und ohne Display-Ausgänge, die Verlustleistung wird auf 70 Watt beziffert, weshalb der PCIe-Slot zur Stromversorgung ausreicht.
Bisher ist die Tesla T4 die einzige Turing-Tesla, allerdings arbeitet Nvidia an schnelleren Modellen mit dem TU102-Chip: Der hat 4.608 Rechenkerne statt 3.072 Shader-Einheiten und ein 384-Bit- statt ein 256-Bit-Interface für GDDR6-Videospeicher.
Offenlegung: Golem.de hat auf Einladung von Nvidia hin an der GTC in San Jose teilgenommen, die Reisekosten wurden gänzlich von Nvidia übernommen. Unsere Berichterstattung ist davon nicht beeinflusst und bleibt gewohnt neutral und kritisch. Der Artikel ist, wie alle anderen auf unserem Portal, unabhängig verfasst und unterliegt keinerlei Vorgaben seitens Dritter.