Deep Learning: Tensorflow Lite wird noch kleiner als Tensorflow Mobile

Mit Tensorflow Lite veröffentlicht Google eine extrem kleine Variante seiner Machine-Learning-Bibliothek, die speziell für Mobil- und Embedded-Geräte gedacht ist. Auf Android-Geräten wird eine neue Beschleuniger-API verwendet.

Artikel veröffentlicht am ,
Tensorflow Lite soll Modelle auf Mobilgeräte beschleunigen.
Tensorflow Lite soll Modelle auf Mobilgeräte beschleunigen. (Bild: Google)

Die Verwendung von Deep-Learning-Modellen auf Smartphones und in deren Apps wird immer beliebter, einige Geräte nutzen inzwischen sogar spezielle Beschleunigerchips für die entsprechende Anwendung. Um die Verwendung seiner Machine-Learning-Bibliothek Tensorflow vor allem in diesem Bereich weiter zu verbessern hat Google eine Vorschau auf Tensorflow Lite veröffentlicht, das deutlich kleiner sein soll als das bisher dafür empfohlene Tensorflow Mobile.

Stellenmarkt
  1. Technical Account Manager (m/f/d)
    SoSafe GmbH, Köln (Home-Office möglich)
  2. Android-Entwickler (m/w/d) - Connected Car
    e.solutions GmbH, Ingolstadt
Detailsuche

Die Lite-Variante ist nicht zum Training der Modelle gedacht, sondern lediglich zum Anwenden bereits trainierter Modelle, dem sogenannten Inferencing. Jene Modelle werden von Tensorflow Lite in ein neues Format überführt, das auf Googles Flatbuffers aufbaut, welche auf "maximale Geschwindigkeit und minimale Größe" optimiert worden sind.

Über eine C++-API, die unter Android über einen Java-Wrapper und unter iOS direkt bereitsteht, wird die optimierte Modell-Datei schließlich geladen und von einem Interpreter ausgeführt. Je nach Menge der genutzten Operatoren werden für den Interpreter dann nur noch zwischen 70 KByte (kein Operator geladen) und 300 KByte (alle Operatoren geladen) benötigt. Das sei eine deutliche Reduktion im Vergleich zu dem bisher für Tensorflow Mobile typischerweise benötigten 1,5 MByte, so Google. Unter Android wird der Interpreter die neue Android Neural Networks API zur Beschleunigung verwenden, falls verfügbar.

Zur schnellen Verwendung und zum einfachen Testen von Tensorflow Lite stellt Google bereits einige trainierte Modelle bereit, die auf den Mobileinsatz optimiert worden sind. Langfristig plant Google Tensorflow Lite als Ersatz für die bisherige Mobile-API von Tensorflow zu positionieren. Noch ist die Lite-Variante aber nur als Entwicklervorschau gedacht und nicht für den produktiven Einsatz.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Bald exklusiv bei Disney+
Serien verschwinden aus Abos von Netflix und Prime Video

Acht Serienklassiker gibt es bald nur noch exklusiv bei Disney+ im Abo. Dazu gehören Futurama, Family Guy und 24.
Von Ingo Pakalski

Bald exklusiv bei Disney+: Serien verschwinden aus Abos von Netflix und Prime Video
Artikel
  1. Chorus im Test: Action im All plus galaktische Grafik
    Chorus im Test
    Action im All plus galaktische Grafik

    Schicke Grafik und ein sprechendes Raumschiff: Chorus von Deep Silver entpuppt sich beim Test als düsteres und spannendes Weltraumspiel.
    Von Peter Steinlechner

  2. Mobilfunkexperte: Afghanischer Ex-Minister hat nach Lieferando einen neuen Job
    Mobilfunkexperte
    Afghanischer Ex-Minister hat nach Lieferando einen neuen Job

    Der frühere afghanische Kommunikationsminister Syed Sadaat arbeitet nicht mehr bei Lieferando in Leipzig. Nun wird er Partner bei einem Maskenhersteller.

  3. Edge-Browser: Microsoft will Installation von Chrome verhindern
    Edge-Browser
    Microsoft will Installation von Chrome verhindern

    Microsoft intensiviert sein Vorgehen gegen andere Browser: Vor der Installation von Chrome wird Edge übertrieben gelobt.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Saturn-Advent: Toshiba Canvio 6TB 88€ • KFA2 Geforce RTX 3070 OC 8GB 1.019€ • Netgear günstiger (u. a. 5-Port-Switch 16,89€) • Norton 360 Deluxe 2022 18,99€ • Gaming-Monitore zu Bestpreisen (u. a. Samsung G3 27" FHD 144Hz 219€) • Spiele günstiger (u. a. Hades PS5 15,99€) [Werbung]
    •  /