EC2 G4: AWS nutzt Nvidias Tesla T4 für Inferencing-Cloud

Nach Baidu und Google nun auch Alibaba und Amazon: Weitere Cloud-Anbieter setzen die Tesla T4 von Nvidia ein. Sie eignet sich dank Turing-Technik für Training, Inferencing oder Video-Transcoding.

Artikel veröffentlicht am ,
AWS bietet Instanzen mit Nvidias Tesla T4 an.
AWS bietet Instanzen mit Nvidias Tesla T4 an. (Bild: Marc Sauter/Golem.de)

Nvidia hat auf der GPU Technology Conference im kalifornischen San José neue Partner benannt, welche die Tesla T4 in den eigenen Cloud-Instanzen anbieten werden. Die Beschleunigerkarte wurde im September 2018 vorgestellt, bisher setzen Baidu und Google sie ein, nun folgen Alibaba und Amazon mit der EC2-G4-Instanz.

Stellenmarkt
  1. SAP HANA Administrator (m/w/d)
    OEDIV KG, Bielefeld
  2. Global Process Owner Software Architecture (m/w/d)
    Knorr-Bremse Systeme für Nutzfahrzeuge GmbH Schwieberdingen, Schwieberdingen bei Stuttgart
Detailsuche

Die Tesla T4 basiert auf dem TU104-Chip mit Turing-Architektur und integriert Tensor-Cores, weshalb sie FP16- und INT8-Berechnungen besonders schnell durchführen kann. Das ist hilfreich für Inferencing, beispielsweise zur Objekterkennung in Fotos oder zur Umsetzung von Spracherkennung.

AWS (Amazon Web Services) nutzt in den EC2-G4-Instanzen (Elastic Compute Cloud) bis zu acht Tesla T4 sowie bis zu 96 CPU-Kerne samt bis zu 384 GByte Arbeitsspeicher sowie NVMe-SSDs. Vorerst bietet AWS die EC2 G4 nur als Private Preview für interessierte Kunden an, später im Jahr sollen die Instanzen regulär verfügbar sein.

Dank des überarbeiteten NVENC (Nvidia Encoder) soll die mit 16 GByte GDDR6-Videospeicher versehene Tesla T4 mit bis zu 38 Full-HD-Videostreams doppelt so viele parallel decodieren können wie die ältere Tesla P4, weshalb sie ihre Inferencing-Leistung auch an dieser Stelle einsetzen kann. Wie gehabt handelt es sich um ein Singleslot-Modell mit passiver Kühlung und ohne Display-Ausgänge, die Verlustleistung wird auf 70 Watt beziffert, weshalb der PCIe-Slot zur Stromversorgung ausreicht.

Golem Karrierewelt
  1. Elastic Stack Fundamentals – Elasticsearch, Logstash, Kibana, Beats: virtueller Drei-Tage-Workshop
    14.-16.02.2023, Virtuell
  2. Go für Einsteiger: virtueller Zwei-Tages-Workshop
    23./24.01.2023, Virtuell
Weitere IT-Trainings

Bisher ist die Tesla T4 die einzige Turing-Tesla, allerdings arbeitet Nvidia an schnelleren Modellen mit dem TU102-Chip: Der hat 4.608 Rechenkerne statt 3.072 Shader-Einheiten und ein 384-Bit- statt ein 256-Bit-Interface für GDDR6-Videospeicher.

Offenlegung: Golem.de hat auf Einladung von Nvidia hin an der GTC in San Jose teilgenommen, die Reisekosten wurden gänzlich von Nvidia übernommen. Unsere Berichterstattung ist davon nicht beeinflusst und bleibt gewohnt neutral und kritisch. Der Artikel ist, wie alle anderen auf unserem Portal, unabhängig verfasst und unterliegt keinerlei Vorgaben seitens Dritter.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
25 Jahre Mars Attacks!
"Aus irgendeinem merkwürdigen Grund fehl am Platz"

Viele Amerikaner fanden Tim Burtons Mars Attacks! nicht so witzig, aber der Rest der Welt lacht umso mehr - bis heute, der Film ist grandios gealtert.
Von Peter Osteried

25 Jahre Mars Attacks!: Aus irgendeinem merkwürdigen Grund fehl am Platz
Artikel
  1. NIS 2 und Compliance vs. Security: Kann Sicherheit einfach beschlossen werden?
    NIS 2 und Compliance vs. Security
    Kann Sicherheit einfach beschlossen werden?

    Mit der NIS-2-Richtlinie will der Gesetzgeber für IT-Sicherheit sorgen. Doch gut gemeinte Regeln kommen in der Praxis nicht immer unbedingt auch gut an.
    Von Nils Brinker

  2. Cosmoteer im Test: Factorio im Weltraum
    Cosmoteer im Test
    Factorio im Weltraum

    Eine einzige Person hat über viele Jahre die Sandbox Cosmoteer entwickelt. Dort bauen wir Raumschiffe und kämpfen im All. Achtung, Suchtpotenzial!
    Ein Test von Oliver Nickel

  3. Artemis I: Orion-Kapsel ist in Mondorbit eingeschwenkt
    Artemis I
    Orion-Kapsel ist in Mondorbit eingeschwenkt

    Die Testmission für Mondlandungen der Nasa Artemis I hat den Mond erreicht. In den kommenden Tagen macht sich die Orion-Kapsel auf den Rückweg.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Black Friday bei Mindfactory, MediaMarkt & Saturn • Prime-Filme leihen für je 0,99€ • WD_BLACK SN850 1TB 129€ • GIGABYTE Z690 AORUS ELITE 179€ • SanDisk SSD Plus 1TB 59€ • Crucial P3 Plus 1TB 81,99 • Mindfactory: XFX Speedster ZERO RX 6900 XT RGB EKWB Waterblock LE 809€ [Werbung]
    •  /