Deep Learning: Tensorflow Lite wird noch kleiner als Tensorflow Mobile
Die Verwendung von Deep-Learning-Modellen auf Smartphones und in deren Apps wird immer beliebter, einige Geräte nutzen inzwischen sogar spezielle Beschleunigerchips für die entsprechende Anwendung. Um die Verwendung seiner Machine-Learning-Bibliothek Tensorflow vor allem in diesem Bereich weiter zu verbessern hat Google eine Vorschau auf Tensorflow Lite veröffentlicht(öffnet im neuen Fenster) , das deutlich kleiner sein soll als das bisher dafür empfohlene Tensorflow Mobile.
Die Lite-Variante ist nicht zum Training der Modelle gedacht, sondern lediglich zum Anwenden bereits trainierter Modelle, dem sogenannten Inferencing. Jene Modelle werden von Tensorflow Lite in ein neues Format überführt, das auf Googles Flatbuffers(öffnet im neuen Fenster) aufbaut, welche auf "maximale Geschwindigkeit und minimale Größe" optimiert worden sind.
.jpg)
Über eine C++-API, die unter Android über einen Java-Wrapper und unter iOS direkt bereitsteht, wird die optimierte Modell-Datei schließlich geladen und von einem Interpreter ausgeführt. Je nach Menge der genutzten Operatoren werden für den Interpreter dann nur noch zwischen 70 KByte (kein Operator geladen) und 300 KByte (alle Operatoren geladen) benötigt. Das sei eine deutliche Reduktion im Vergleich zu dem bisher für Tensorflow Mobile typischerweise benötigten 1,5 MByte, so Google. Unter Android wird der Interpreter die neue Android Neural Networks API(öffnet im neuen Fenster) zur Beschleunigung verwenden, falls verfügbar.
Zur schnellen Verwendung und zum einfachen Testen von Tensorflow Lite stellt Google bereits einige trainierte Modelle bereit, die auf den Mobileinsatz optimiert worden sind. Langfristig plant Google Tensorflow Lite als Ersatz für die bisherige Mobile-API von Tensorflow zu positionieren. Noch ist die Lite-Variante aber nur als Entwicklervorschau gedacht und nicht für den produktiven Einsatz.