Inferentia: Amazon bringt Java und Spezialhardware für Deep Learning
Ähnlich wie die Cloud-Konkurrenz von Microsoft und Google führt nun auch Amazon für seine Web Services spezielle Beschleunigerchips für Deep-Learning-Aufgaben ein. Dabei handelt es sich um die Inferentia-Instanzen (Inf1)(öffnet im neuen Fenster) . Wie der Name andeutet, sind diese dazu gedacht, das Inferencing zu beschleunigen, also die Anwendung bereits trainierter Modelle. Immerhin mache das laut Amazon etwa 90 Prozent der gesamten Arbeitslast seiner Kunden im Deep-Learning-Bereich aus.
Die Inferentia-Chips(öffnet im neuen Fenster) weisen eine Leistung von 64 TOPS bei FP16-Berechnungen beziehungsweise 128 TOPS bei INT8-Berechnungen auf. Zum Vergleich: Googles erste TPU , die ebenfalls ausschließlich für das Inferencing gedacht war, lieferte eine Leistung von rund 92 TOPS (INT8). Die Inferentia-Instanzen von Amazon lassen sich mit CPU-Clustern aus Intels Xeon SP der Cascade-Lake-Generation kombinieren. In der kleinsten Instanz gibt es einen Inferentia-Chip, vier vCPUs, 8 GByte RAM, in der größten Instanz dann 16 Inferentia-Chips, 96 vCPUs und 192 GByte RAM. Dabei ist zu beachten, dass die Bandbreite zur Anbindung des Festspeichers und für das Netzwerk jeweils beschränkt sind.
Für Deep-Learning-Aufgaben hat Amazon außerdem eine eigene spezielle Java-Bibliothek als Open Source veröffentlicht. Das Unternehmen begründet diesen Schritt damit(öffnet im neuen Fenster) , dass die meisten Deep-Learning-Frameworks bisher auf Python basieren, Java aber nach wie vor eine wichtige Enterprise-Sprache sei. Die Deep Java Library(öffnet im neuen Fenster) (DJL) abstrahiert dabei über bestehende andere Techniken, zunächst handelt es sich dabei um das Apache-Projekt Mxnet. Andere Engines wie etwas Tensorflow könnten aber ebenso künftig integriert werden.
Für jene Nutzer, die möglichst wenig Arbeit in das Erstellen von Deep-Learning-Modellen investieren wollen, hat Amazon schon vor zwei Jahren den Dienst Sagemaker gestartet, der fertige Algorithmen dafür bereithält. Den AWS-Dienst hat das Unternehmen nun mit dem sogenannten Autopilot noch weiter vereinfacht(öffnet im neuen Fenster) . Mit nur einem Aufruf sollen die bereitgestellten Daten automatisch untersucht und verarbeitet sowie ein Modell zum Anwenden trainiert werden.