• IT-Karriere:
  • Services:

Inferentia: Amazon bringt Java und Spezialhardware für Deep Learning

Nutzern von Amazon Web Services steht künftig ein Inferencing-Chip für Deep-Learning-Aufgaben zur Verfügung. Der Machine-Learning-Dienst Sagemaker soll nun zudem vollständig automatisiert arbeiten können und das Unternehmen hat eine Java-Bibliothek für Deep Learning als Open Source bereitgestellt.

Artikel veröffentlicht am ,
Amazon bietet nun Inferencing-Chips in seiner Cloud.
Amazon bietet nun Inferencing-Chips in seiner Cloud. (Bild: AWS)

Ähnlich wie die Cloud-Konkurrenz von Microsoft und Google führt nun auch Amazon für seine Web Services spezielle Beschleunigerchips für Deep-Learning-Aufgaben ein. Dabei handelt es sich um die Inferentia-Instanzen (Inf1). Wie der Name andeutet, sind diese dazu gedacht, das Inferencing zu beschleunigen, also die Anwendung bereits trainierter Modelle. Immerhin mache das laut Amazon etwa 90 Prozent der gesamten Arbeitslast seiner Kunden im Deep-Learning-Bereich aus.

Stellenmarkt
  1. PLIXXENT Holding GmbH, Oldenburg, Hamburg
  2. VerbaVoice GmbH, München

Die Inferentia-Chips weisen eine Leistung von 64 TOPS bei FP16-Berechnungen beziehungsweise 128 TOPS bei INT8-Berechnungen auf. Zum Vergleich: Googles erste TPU, die ebenfalls ausschließlich für das Inferencing gedacht war, lieferte eine Leistung von rund 92 TOPS (INT8). Die Inferentia-Instanzen von Amazon lassen sich mit CPU-Clustern aus Intels Xeon SP der Cascade-Lake-Generation kombinieren. In der kleinsten Instanz gibt es einen Inferentia-Chip, vier vCPUs, 8 GByte RAM, in der größten Instanz dann 16 Inferentia-Chips, 96 vCPUs und 192 GByte RAM. Dabei ist zu beachten, dass die Bandbreite zur Anbindung des Festspeichers und für das Netzwerk jeweils beschränkt sind.

Für Deep-Learning-Aufgaben hat Amazon außerdem eine eigene spezielle Java-Bibliothek als Open Source veröffentlicht. Das Unternehmen begründet diesen Schritt damit, dass die meisten Deep-Learning-Frameworks bisher auf Python basieren, Java aber nach wie vor eine wichtige Enterprise-Sprache sei. Die Deep Java Library (DJL) abstrahiert dabei über bestehende andere Techniken, zunächst handelt es sich dabei um das Apache-Projekt Mxnet. Andere Engines wie etwas Tensorflow könnten aber ebenso künftig integriert werden.

Für jene Nutzer, die möglichst wenig Arbeit in das Erstellen von Deep-Learning-Modellen investieren wollen, hat Amazon schon vor zwei Jahren den Dienst Sagemaker gestartet, der fertige Algorithmen dafür bereithält. Den AWS-Dienst hat das Unternehmen nun mit dem sogenannten Autopilot noch weiter vereinfacht. Mit nur einem Aufruf sollen die bereitgestellten Daten automatisch untersucht und verarbeitet sowie ein Modell zum Anwenden trainiert werden.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Top-Angebote
  1. (u. a. ARK Survival Evolved für 6,99€, PSN Card 20 Euro für 18,49€)
  2. (u. a. Fractal Define R6 für 119,90€, Thermaltake Level 20 für 66,90€, Be Quiet Dark Base 700...
  3. 68,12€ (Bestpreis!)
  4. (aktuell u. a.Transcend ESD230C 960 GB SSD für 132,90€)

Folgen Sie uns
       


Alienware Concept Ufo - Hands on (CES 2020)

Das Handheld-Konzept von Dell ähnelt dem der Switch, das Alienware Concept Ufo eignet sich aber eher für ernsthafte Gamer.

Alienware Concept Ufo - Hands on (CES 2020) Video aufrufen
SpaceX: Der Weg in den Weltraum ist frei
SpaceX
Der Weg in den Weltraum ist frei

Das Raumschiff hob noch ohne Besatzung ab, aber der Testflug war ein voller Erfolg. Der Crew Dragon von SpaceX hat damit seine letzte große Bewährungsprobe bestanden, bevor die Astronauten auch mitfliegen dürfen.
Ein Bericht von Frank Wunderlich-Pfeiffer

  1. Raumfahrt SpaceX macht Sicherheitstest bei höchster Belastung
  2. Raumfahrt SpaceX testet dunkleren Starlink-Satelliten
  3. SpaceX Starship platzt bei Tanktest

Sicherheitslücken: Microsoft-Parkhäuser ungeschützt im Internet
Sicherheitslücken
Microsoft-Parkhäuser ungeschützt im Internet

Eigentlich sollte die Parkhaussteuerung nicht aus dem Internet erreichbar sein. Doch auf die Parkhäuser am Microsoft-Hauptsitz in Redmond konnten wir problemlos zugreifen. Nicht das einzige Sicherheitsproblem auf dem Parkhaus-Server.
Von Moritz Tremmel

  1. Ölindustrie Der große Haken an Microsofts Klimaplänen
  2. Datenleck Microsoft-Datenbank mit 250 Millionen Support-Fällen im Netz
  3. Office 365 Microsoft testet Werbebanner in Wordpad für Windows 10

Digitalisierung: Aber das Faxgerät muss bleiben!
Digitalisierung
Aber das Faxgerät muss bleiben!

"Auf digitale Prozesse umstellen" ist leicht gesagt, aber in vielen Firmen ein komplexes Unterfangen. Viele Mitarbeiter und Chefs lieben ihre analogen Arbeitsmethoden und fürchten Veränderungen. Andere wiederum digitalisieren ohne Sinn und Verstand und blasen ihre Prozesse unnötig auf.
Ein Erfahrungsbericht von Marvin Engel

  1. Arbeitswelt SAP-Chef kritisiert fehlende Digitalisierung und Angst
  2. Deutscher Städte- und Gemeindebund "Raus aus der analogen Komfortzone"
  3. Digitalisierungs-Tarifvertrag Regelungen für Erreichbarkeit, Homeoffice und KI kommen

    •  /