Inferentia: Amazon bringt Java und Spezialhardware für Deep Learning

Nutzern von Amazon Web Services steht künftig ein Inferencing-Chip für Deep-Learning-Aufgaben zur Verfügung. Der Machine-Learning-Dienst Sagemaker soll nun zudem vollständig automatisiert arbeiten können und das Unternehmen hat eine Java-Bibliothek für Deep Learning als Open Source bereitgestellt.

Artikel veröffentlicht am ,
Amazon bietet nun Inferencing-Chips in seiner Cloud.
Amazon bietet nun Inferencing-Chips in seiner Cloud. (Bild: AWS)

Ähnlich wie die Cloud-Konkurrenz von Microsoft und Google führt nun auch Amazon für seine Web Services spezielle Beschleunigerchips für Deep-Learning-Aufgaben ein. Dabei handelt es sich um die Inferentia-Instanzen (Inf1). Wie der Name andeutet, sind diese dazu gedacht, das Inferencing zu beschleunigen, also die Anwendung bereits trainierter Modelle. Immerhin mache das laut Amazon etwa 90 Prozent der gesamten Arbeitslast seiner Kunden im Deep-Learning-Bereich aus.

Stellenmarkt
  1. Medientechniker:in (d/m/w)
    THD - Technische Hochschule Deggendorf, Pfarrkirchen
  2. Global Industrial Engineer (d/m/w)
    OSRAM GmbH, Regensburg
Detailsuche

Die Inferentia-Chips weisen eine Leistung von 64 TOPS bei FP16-Berechnungen beziehungsweise 128 TOPS bei INT8-Berechnungen auf. Zum Vergleich: Googles erste TPU, die ebenfalls ausschließlich für das Inferencing gedacht war, lieferte eine Leistung von rund 92 TOPS (INT8). Die Inferentia-Instanzen von Amazon lassen sich mit CPU-Clustern aus Intels Xeon SP der Cascade-Lake-Generation kombinieren. In der kleinsten Instanz gibt es einen Inferentia-Chip, vier vCPUs, 8 GByte RAM, in der größten Instanz dann 16 Inferentia-Chips, 96 vCPUs und 192 GByte RAM. Dabei ist zu beachten, dass die Bandbreite zur Anbindung des Festspeichers und für das Netzwerk jeweils beschränkt sind.

Für Deep-Learning-Aufgaben hat Amazon außerdem eine eigene spezielle Java-Bibliothek als Open Source veröffentlicht. Das Unternehmen begründet diesen Schritt damit, dass die meisten Deep-Learning-Frameworks bisher auf Python basieren, Java aber nach wie vor eine wichtige Enterprise-Sprache sei. Die Deep Java Library (DJL) abstrahiert dabei über bestehende andere Techniken, zunächst handelt es sich dabei um das Apache-Projekt Mxnet. Andere Engines wie etwas Tensorflow könnten aber ebenso künftig integriert werden.

Für jene Nutzer, die möglichst wenig Arbeit in das Erstellen von Deep-Learning-Modellen investieren wollen, hat Amazon schon vor zwei Jahren den Dienst Sagemaker gestartet, der fertige Algorithmen dafür bereithält. Den AWS-Dienst hat das Unternehmen nun mit dem sogenannten Autopilot noch weiter vereinfacht. Mit nur einem Aufruf sollen die bereitgestellten Daten automatisch untersucht und verarbeitet sowie ein Modell zum Anwenden trainiert werden.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Smartwatch
Öffnen der Apple Watch Ultra trotz Schrauben riskant

Die Apple Watch Ultra verfügt über vier Schrauben auf der Unterseite. Nutzer sollten sie nicht lösen, um die Uhr nicht zu zerstören.

Smartwatch: Öffnen der Apple Watch Ultra trotz Schrauben riskant
Artikel
  1. Gegen Amazon und Co.: Frankreich führt Mindestgebühren für Buchbestellungen ein
    Gegen Amazon und Co.
    Frankreich führt Mindestgebühren für Buchbestellungen ein

    Mit einer Mindestliefergebühr will Frankreich kleinere Geschäfte vor großen Onlinehändlern wie Amazon schützen.

  2. Gen.Travel: Volkswagen zeigt autonomes Elektroauto mit Betten
    Gen.Travel
    Volkswagen zeigt autonomes Elektroauto mit Betten

    VW hat eine Autostudie vorgestellt, in der niemand mehr fahren muss. Stattdessen kann gearbeitet, geschlafen oder gefreizeitet werden.

  3. E-Commerce und Open Banking: Big-Tech-Konzerne drängen in den Finanzsektor
    E-Commerce und Open Banking
    Big-Tech-Konzerne drängen in den Finanzsektor

    Open Banking sollte Innovationen fördern. Stattdessen nutzen Amazon, Apple und Google es dazu, ihre Marktmacht auszubauen.
    Eine Analyse von Erik Bärwaldt

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • CyberWeek: Gaming-Hardware uvm. • Crucial P2 1 TB 67,90€ • ViewSonic VX2719-PC FHD/240 Hz 179,90€ • MindStar (u. a. MSI MAG Z690 Tomahawk 219€ + $20 Steam) • Apple AirPods 2. Gen 105€ • Alternate (u. a. Chieftec GDP-750C-RGB 71,89€) • Logitech G Pro Gaming Keyboard 77,90€ [Werbung]
    •  /