Inferentia: Amazon bringt Java und Spezialhardware für Deep Learning

Nutzern von Amazon Web Services steht künftig ein Inferencing-Chip für Deep-Learning-Aufgaben zur Verfügung. Der Machine-Learning-Dienst Sagemaker soll nun zudem vollständig automatisiert arbeiten können und das Unternehmen hat eine Java-Bibliothek für Deep Learning als Open Source bereitgestellt.

Artikel veröffentlicht am ,
Amazon bietet nun Inferencing-Chips in seiner Cloud.
Amazon bietet nun Inferencing-Chips in seiner Cloud. (Bild: AWS)

Ähnlich wie die Cloud-Konkurrenz von Microsoft und Google führt nun auch Amazon für seine Web Services spezielle Beschleunigerchips für Deep-Learning-Aufgaben ein. Dabei handelt es sich um die Inferentia-Instanzen (Inf1). Wie der Name andeutet, sind diese dazu gedacht, das Inferencing zu beschleunigen, also die Anwendung bereits trainierter Modelle. Immerhin mache das laut Amazon etwa 90 Prozent der gesamten Arbeitslast seiner Kunden im Deep-Learning-Bereich aus.

Stellenmarkt
  1. Field Service Engineer oder IT-Systemelektronikern oder Informationselektroniker (m/w/d)
    IPB Internet Provider in Berlin GmbH, Berlin
  2. Informatiker (m/w/d)
    Hochschule für Fernsehen und Film München, München
Detailsuche

Die Inferentia-Chips weisen eine Leistung von 64 TOPS bei FP16-Berechnungen beziehungsweise 128 TOPS bei INT8-Berechnungen auf. Zum Vergleich: Googles erste TPU, die ebenfalls ausschließlich für das Inferencing gedacht war, lieferte eine Leistung von rund 92 TOPS (INT8). Die Inferentia-Instanzen von Amazon lassen sich mit CPU-Clustern aus Intels Xeon SP der Cascade-Lake-Generation kombinieren. In der kleinsten Instanz gibt es einen Inferentia-Chip, vier vCPUs, 8 GByte RAM, in der größten Instanz dann 16 Inferentia-Chips, 96 vCPUs und 192 GByte RAM. Dabei ist zu beachten, dass die Bandbreite zur Anbindung des Festspeichers und für das Netzwerk jeweils beschränkt sind.

Für Deep-Learning-Aufgaben hat Amazon außerdem eine eigene spezielle Java-Bibliothek als Open Source veröffentlicht. Das Unternehmen begründet diesen Schritt damit, dass die meisten Deep-Learning-Frameworks bisher auf Python basieren, Java aber nach wie vor eine wichtige Enterprise-Sprache sei. Die Deep Java Library (DJL) abstrahiert dabei über bestehende andere Techniken, zunächst handelt es sich dabei um das Apache-Projekt Mxnet. Andere Engines wie etwas Tensorflow könnten aber ebenso künftig integriert werden.

Für jene Nutzer, die möglichst wenig Arbeit in das Erstellen von Deep-Learning-Modellen investieren wollen, hat Amazon schon vor zwei Jahren den Dienst Sagemaker gestartet, der fertige Algorithmen dafür bereithält. Den AWS-Dienst hat das Unternehmen nun mit dem sogenannten Autopilot noch weiter vereinfacht. Mit nur einem Aufruf sollen die bereitgestellten Daten automatisch untersucht und verarbeitet sowie ein Modell zum Anwenden trainiert werden.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Kooperation
Amazon Kreditkarte mit Landesbank Berlin wird eingestellt

Während der ADAC seine Kunden bereits informiert hat, schweigt Amazon Deutschland noch zum Ende der Kooperation mit der Landesbank Berlin.

Kooperation: Amazon Kreditkarte mit Landesbank Berlin wird eingestellt
Artikel
  1. Linux: Vom einfachen Speicherfehler zur Systemübernahme
    Linux
    Vom einfachen Speicherfehler zur Systemübernahme

    Ein häufig vorkommender Fehler in C-Code hat einen Google-Entwickler motiviert, über Gegenmaßnahmen nachzudenken.

  2. Social-Media-Plattform: Paypal will Pinterest kaufen
    Social-Media-Plattform
    Paypal will Pinterest kaufen

    Der Zahlungsabwickler Paypal soll bereit sein, 45 Milliarden US-Dollar für den Betreiber digitaler Pinnwände zu bezahlen.

  3. Pixel 6 (Pro): Googles Tensor-SoC ist eine wilde Mischung
    Pixel 6 (Pro)
    Googles Tensor-SoC ist eine wilde Mischung

    Viel Samsung, wenig Google: Der Chip kombiniert extreme Computational Photography mit einem kuriosen Design zugunsten der Akkulaufzeit.
    Eine Analyse von Marc Sauter

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Cyber Week Finale: Bis 33% auf Digitus-Monitorhalterungen & bis 36 Prozent auf EVGA-Netzteile • Samsung-Monitore (u. a. 24" FHD 144Hz 169€) • Bosch Professional zu Bestpreisen • Sandisk Ultra 3D 500GB 47,99€ • Google Pixel 6 vorbestellbar ab 649€ + Bose Headphones als Geschenk [Werbung]
    •  /