• IT-Karriere:
  • Services:

Inferentia: Amazon bringt Java und Spezialhardware für Deep Learning

Nutzern von Amazon Web Services steht künftig ein Inferencing-Chip für Deep-Learning-Aufgaben zur Verfügung. Der Machine-Learning-Dienst Sagemaker soll nun zudem vollständig automatisiert arbeiten können und das Unternehmen hat eine Java-Bibliothek für Deep Learning als Open Source bereitgestellt.

Artikel veröffentlicht am ,
Amazon bietet nun Inferencing-Chips in seiner Cloud.
Amazon bietet nun Inferencing-Chips in seiner Cloud. (Bild: AWS)

Ähnlich wie die Cloud-Konkurrenz von Microsoft und Google führt nun auch Amazon für seine Web Services spezielle Beschleunigerchips für Deep-Learning-Aufgaben ein. Dabei handelt es sich um die Inferentia-Instanzen (Inf1). Wie der Name andeutet, sind diese dazu gedacht, das Inferencing zu beschleunigen, also die Anwendung bereits trainierter Modelle. Immerhin mache das laut Amazon etwa 90 Prozent der gesamten Arbeitslast seiner Kunden im Deep-Learning-Bereich aus.

Stellenmarkt
  1. Stadtverwaltung Bretten, Bretten
  2. finanzen.de, Berlin

Die Inferentia-Chips weisen eine Leistung von 64 TOPS bei FP16-Berechnungen beziehungsweise 128 TOPS bei INT8-Berechnungen auf. Zum Vergleich: Googles erste TPU, die ebenfalls ausschließlich für das Inferencing gedacht war, lieferte eine Leistung von rund 92 TOPS (INT8). Die Inferentia-Instanzen von Amazon lassen sich mit CPU-Clustern aus Intels Xeon SP der Cascade-Lake-Generation kombinieren. In der kleinsten Instanz gibt es einen Inferentia-Chip, vier vCPUs, 8 GByte RAM, in der größten Instanz dann 16 Inferentia-Chips, 96 vCPUs und 192 GByte RAM. Dabei ist zu beachten, dass die Bandbreite zur Anbindung des Festspeichers und für das Netzwerk jeweils beschränkt sind.

Für Deep-Learning-Aufgaben hat Amazon außerdem eine eigene spezielle Java-Bibliothek als Open Source veröffentlicht. Das Unternehmen begründet diesen Schritt damit, dass die meisten Deep-Learning-Frameworks bisher auf Python basieren, Java aber nach wie vor eine wichtige Enterprise-Sprache sei. Die Deep Java Library (DJL) abstrahiert dabei über bestehende andere Techniken, zunächst handelt es sich dabei um das Apache-Projekt Mxnet. Andere Engines wie etwas Tensorflow könnten aber ebenso künftig integriert werden.

Für jene Nutzer, die möglichst wenig Arbeit in das Erstellen von Deep-Learning-Modellen investieren wollen, hat Amazon schon vor zwei Jahren den Dienst Sagemaker gestartet, der fertige Algorithmen dafür bereithält. Den AWS-Dienst hat das Unternehmen nun mit dem sogenannten Autopilot noch weiter vereinfacht. Mit nur einem Aufruf sollen die bereitgestellten Daten automatisch untersucht und verarbeitet sowie ein Modell zum Anwenden trainiert werden.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Hardware-Angebote
  1. (reduzierte Überstände, Restposten & Co.)
  2. täglich neue Deals bei Alternate.de

Folgen Sie uns
       


Microsoft Surface Laptop 3 (15 Zoll) - Hands on

Der Surface Laptop 3 ist eine kleine, aber feine Verbesserung zum Vorgänger. Er bekommt ein größeres Trackpad, eine bessere Tastatur und ein größeres 15-Zoll-Display. Es bleiben die wenigen Anschlüsse.

Microsoft Surface Laptop 3 (15 Zoll) - Hands on Video aufrufen
Arbeit: Warum anderswo mehr Frauen IT-Berufe ergreifen
Arbeit
Warum anderswo mehr Frauen IT-Berufe ergreifen

In Deutschland ist die Zahl der Frauen in IT-Studiengängen und -Berufen viel niedriger als die der Männer. Doch in anderen Ländern sieht es ganz anders aus, etwa im arabischen Raum. Warum?
Von Valerie Lux

  1. Arbeit Was IT-Recruiting von der Bundesliga lernen kann
  2. Arbeit Wer ein Helfersyndrom hat, ist im IT-Support richtig
  3. Bewerber für IT-Jobs Unzureichend qualifiziert, zu wenig erfahren oder zu teuer

Europäische Netzpolitik: Die Rückkehr des Axel Voss
Europäische Netzpolitik
Die Rückkehr des Axel Voss

Elektronische Beweismittel, Nutzertracking, Terrorinhalte: In der EU stehen in diesem Jahr wichtige netzpolitische Entscheidungen an. Auch Axel Voss will wieder mitmischen. Und wird Ursula von der Leyen mit dem "Digitale-Dienste-Gesetz" wieder zu "Zensursula"?
Eine Analyse von Friedhelm Greis

  1. Mitgliederentscheid Netzpolitikerin Esken wird SPD-Chefin
  2. Nach schwerer Krankheit FDP-Netzpolitiker Jimmy Schulz gestorben

Kaufberatung (2020): Die richtige CPU und Grafikkarte
Kaufberatung (2020)
Die richtige CPU und Grafikkarte

Grafikkarten und Prozessoren wurden 2019 deutlich besser, denn AMD ist komplett auf 7-nm-Technik umgestiegen. Intel hat zwar 10-nm-Chips marktreif, die Leistung stagniert aber und auch Nvidia verkauft nur 12-nm-Designs. Wir beraten bei Komponenten und geben einen Ausblick.
Von Marc Sauter

  1. SSDs Intel arbeitet an 144-Schicht-Speicher und 5-Bit-Zellen
  2. Schnittstelle PCIe Gen6 verdoppelt erneut Datenrate

    •  /