Kubernetes: Machine-Learning-Framework Kubeflow wird stabil

Die Werkzeugsammlung Kubeflow soll es einfach ermöglichen, komplizierte Machine-Learning-Aufgaben mit Kubernetes aufzusetzen. Das Projekt erreicht nun die wichtige Version 1.0.

Artikel veröffentlicht am , Kristian Kißling/Linux Magazin/
Kubeflow steht in Version 1.0 bereit.
Kubeflow steht in Version 1.0 bereit. (Bild: Kubeflow)

Das auf der Kubernetes aufbauende Kubeflow ist in Version 1.0 erschienen. Das nehmen die Entwickler zum Anlass, um einige zentrale Komponenten zu definieren, die künftig als fester Bestandteil des Machine-Learning-Werkzeugkastens betrachtet werden. Dazu zählen das zentrale Dashboard, der Jupyter Notebook Controller und die Web-App.

Stellenmarkt
  1. IT Software Developer f/m/d
    AVL List GmbH, Graz (Österreich)
  2. SAP PP Senior Berater (m/w/x) für SAP S/4 HANA Einführung
    über duerenhoff GmbH, Weil am Rhein
Detailsuche

Hinzu kommen die Tensorflow- und Pytorch-Operatoren, das Tool kfctl sowie der Profile Controller und das zugehörige User Interface, um mehrere Nutzer zu verwalten. Zu den Machern von Kubeflow 1.0 gehören laut einem aktuellen Blogpost mittlerweile rund 30 Organisationen und Unternehmen. Hunderte Contributor arbeiten an dem Machine-Learning-Projekt mit.

Der Blogpost erklärt zudem, wie ein typischer vierteiliger Trainingszyklus in Kubeflow abläuft. Er besteht aus Entwicklung, Build-Prozess, Training und Deployment. Jupyter eignet sich, um die Modelle zu entwickeln. Über Fairing, Kubeflows Python-SDK, lassen sich Container dann für Kubernetes bauen. Es folgt das Training selbst, für das Entwickler Custom Resources (CRs) für Kubernetes definieren. Schließlich kommt als vierte Komponente KFServing zum Einsatz. Die Serverless-Lösung hilft, die entwickelten Maschine-Learning-Modelle auf unterschiedlichen Frameworks zu veröffentlichen.

  • Der Aufbau von Kubeflow (Bild: Kubeflow)
Der Aufbau von Kubeflow (Bild: Kubeflow)

Version 1.0 bietet dabei über das Werkzeug kfctl zugleich eine einfache Möglichkeit, Kubeflow auszuliefern. Das läuft, zusammen mit dem eben erwähnten KFServing, auf einer Architektur, die aus mehreren Schichten besteht. Kubernetes bildet die Basis auf der dann Istio läuft (Service Mesh), worauf Knative (Serverless-Plattform) läuft.

Arbeitsplatz für Data Scientists

Golem Akademie
  1. Docker & Containers - From Zero to Hero
    5.-7. Oktober 2021, online
  2. OpenShift Installation & Administration
    9.-11. August 2021, online
  3. Cloud Computing mit Amazon Web Services (AWS)
    1.-3. November 2021, Online
Weitere IT-Trainings

Jupyter ist hingegen häufig das Werkzeug der Wahl für Data Scientists und lässt sich beim Bau der Modelle mit den Kubernetes-Diensten verbinden. Für ihr Arbeitspensum erhalten die Entwickler jeweils eigene Namespaces, denen die Kubernetes-Admins auch die passenden Ressourcen inklusive Quotas zuweisen.

Neue Notebooks lassen sich über passende Docker-Images einfach ergänzen. Für das Training selbst können Tensorflow und Pytorch über die Kubernetes-Operator genutzt werden. Zum Überwachen des Trainings steht Tensorboard bereit. Weitere Details für Kubeflow-Nutzer, die den Praxiseinsatz erklären, aber auch geplante Funktionen auflisten, liefert der anfangs erwähnte Blogpost.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Flight Simulator im Benchmark-Test
Sim Update 5 lässt Performance abheben

Die Optimierungen bei Bildrate und Speicherbedarf sind derart immens, dass wir kaum glauben können, noch den Flight Simulator zu spielen.
Ein Test von Marc Sauter

Flight Simulator im Benchmark-Test: Sim Update 5 lässt Performance abheben
Artikel
  1. Hochwasser: Digitale Sicherheit gibt es erst nach Hunderten Toten
    Hochwasser
    Digitale Sicherheit gibt es erst nach Hunderten Toten

    Die Diskussion um Cell Broadcast zeigt: Digitale Sicherheit gibt es erst nach Katastrophen. Das ist beängstigend, auch wenn man an kritische Infrastruktur wie das Stromnetz oder die Wasserversorgung denkt.
    Ein IMHO von Sebastian Grüner

  2. Elektrisches Fliegen: Der Lilium Jet fliegt mit Akkus aus Tübingen
    Elektrisches Fliegen
    Der Lilium Jet fliegt mit Akkus aus Tübingen

    Die Fraunhofer-Ausgründung Customcells wird die Akkus für das Lufttaxi Lilium Jet produzieren.

  3. Sexismus: Entwickler wollen Inhalte von World of Warcraft ändern
    Sexismus
    Entwickler wollen Inhalte von World of Warcraft ändern

    Es rumort weiter bei Activision Blizzard: Entwickler wollen streiken und WoW überarbeiten. Konzernchef Bobby Kotick meldet sich erstmals.


Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Schnäppchen • Samsung-Monitore Amazon Exclusive günstiger (u. a. G7 32" QLED Curved WQHD 240Hz 559€) • AKRacing Core EX-Wide SE Gaming-Stuhl 229€ • Thrustmaster TCA Officer Pack Airbus Edition 119,99€ • Flight Simulator Xbox Series X 69,99€ [Werbung]
    •  /