Deep Learning: Tensorflow Lite wird noch kleiner als Tensorflow Mobile

Mit Tensorflow Lite veröffentlicht Google eine extrem kleine Variante seiner Machine-Learning-Bibliothek, die speziell für Mobil- und Embedded-Geräte gedacht ist. Auf Android-Geräten wird eine neue Beschleuniger-API verwendet.

Artikel veröffentlicht am ,
Tensorflow Lite soll Modelle auf Mobilgeräte beschleunigen.
Tensorflow Lite soll Modelle auf Mobilgeräte beschleunigen. (Bild: Google)

Die Verwendung von Deep-Learning-Modellen auf Smartphones und in deren Apps wird immer beliebter, einige Geräte nutzen inzwischen sogar spezielle Beschleunigerchips für die entsprechende Anwendung. Um die Verwendung seiner Machine-Learning-Bibliothek Tensorflow vor allem in diesem Bereich weiter zu verbessern hat Google eine Vorschau auf Tensorflow Lite veröffentlicht, das deutlich kleiner sein soll als das bisher dafür empfohlene Tensorflow Mobile.

Stellenmarkt
  1. IT-Systemadministrator (m/w/d) Projekte
    Bayerischer Jugendring, München
  2. IT System- und Anwendungsbetreuer (m/w/d)
    Waldburg-Zeil Kliniken GmbH & Co. KG, Wangen im Allgäu
Detailsuche

Die Lite-Variante ist nicht zum Training der Modelle gedacht, sondern lediglich zum Anwenden bereits trainierter Modelle, dem sogenannten Inferencing. Jene Modelle werden von Tensorflow Lite in ein neues Format überführt, das auf Googles Flatbuffers aufbaut, welche auf "maximale Geschwindigkeit und minimale Größe" optimiert worden sind.

Über eine C++-API, die unter Android über einen Java-Wrapper und unter iOS direkt bereitsteht, wird die optimierte Modell-Datei schließlich geladen und von einem Interpreter ausgeführt. Je nach Menge der genutzten Operatoren werden für den Interpreter dann nur noch zwischen 70 KByte (kein Operator geladen) und 300 KByte (alle Operatoren geladen) benötigt. Das sei eine deutliche Reduktion im Vergleich zu dem bisher für Tensorflow Mobile typischerweise benötigten 1,5 MByte, so Google. Unter Android wird der Interpreter die neue Android Neural Networks API zur Beschleunigung verwenden, falls verfügbar.

Zur schnellen Verwendung und zum einfachen Testen von Tensorflow Lite stellt Google bereits einige trainierte Modelle bereit, die auf den Mobileinsatz optimiert worden sind. Langfristig plant Google Tensorflow Lite als Ersatz für die bisherige Mobile-API von Tensorflow zu positionieren. Noch ist die Lite-Variante aber nur als Entwicklervorschau gedacht und nicht für den produktiven Einsatz.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Ada Lovelace
Nvidia senkt Preise für Geforce RTX 4080 und RTX 4090

Kurz vor dem Launch der AMD-Konkurrenz passt Nvidia die Preise der eigenen Grafikkarten an. Das liegt auch an einem stärkeren Euro.

Ada Lovelace: Nvidia senkt Preise für Geforce RTX 4080 und RTX 4090
Artikel
  1. The Callisto Protocoll im Test: Horror für Hartgesottene
    The Callisto Protocoll im Test
    Horror für Hartgesottene

    Mit Monstern im Gefängnis eingesperrt - auf einem fernen Mond: The Callisto Protocol schickt Spieler in ein düsteres Abenteuer.
    Von Peter Steinlechner

  2. Kids für Alexa im Test: Alexa, wer hat den Kindermodus verbockt?
    Kids für Alexa im Test
    Alexa, wer hat den Kindermodus verbockt?

    Amazon bietet neuerdings einen speziellen Kindermodus für Alexa an. Das soll Eltern in Sicherheit wiegen, die sollten sich aber besser nicht darauf verlassen.
    Ein Test von Ingo Pakalski

  3. Autonomes Fahren: VW-Chef Blume streicht offenbar Audi-Projekt Artemis
    Autonomes Fahren
    VW-Chef Blume streicht offenbar Audi-Projekt Artemis

    Nicht nur das VW-Projekt Trinity, auch das geplante Audi-Vorzeigemodell Artemis fällt den Softwareproblemen des VW-Konzerns zum Opfer.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Amazon Last Minute Angebote: Games & Zubehör, AVM-Router • Saturn-Weihnachts-Hits: Rabatt-Angebote aus allen Kategorien • Tiefstpreise: Intel Core i7-13700K & AMD Ryzen 5 5600X • PS5 Disc Edition inkl. GoW Ragnarök wieder vorbestellbar bei Amazon 619€ • ViewSonic 32" WQHD/144 Hz 229,90€ [Werbung]
    •  /