Kubernetes: Machine-Learning-Framework Kubeflow wird stabil

Die Werkzeugsammlung Kubeflow soll es einfach ermöglichen, komplizierte Machine-Learning-Aufgaben mit Kubernetes aufzusetzen. Das Projekt erreicht nun die wichtige Version 1.0.

Artikel veröffentlicht am , Kristian Kißling/Linux Magazin/
Kubeflow steht in Version 1.0 bereit.
Kubeflow steht in Version 1.0 bereit. (Bild: Kubeflow)

Das auf der Kubernetes aufbauende Kubeflow ist in Version 1.0 erschienen. Das nehmen die Entwickler zum Anlass, um einige zentrale Komponenten zu definieren, die künftig als fester Bestandteil des Machine-Learning-Werkzeugkastens betrachtet werden. Dazu zählen das zentrale Dashboard, der Jupyter Notebook Controller und die Web-App.

Stellenmarkt
  1. Data Scientist (m/f/d)
    Lidl Digital, Berlin, Neckarsulm
  2. SAP Key-User SD (m/w/d) - Mitarbeiter Customer Service
    Wörwag Pharma GmbH & Co. KG, Böblingen
Detailsuche

Hinzu kommen die Tensorflow- und Pytorch-Operatoren, das Tool kfctl sowie der Profile Controller und das zugehörige User Interface, um mehrere Nutzer zu verwalten. Zu den Machern von Kubeflow 1.0 gehören laut einem aktuellen Blogpost mittlerweile rund 30 Organisationen und Unternehmen. Hunderte Contributor arbeiten an dem Machine-Learning-Projekt mit.

Der Blogpost erklärt zudem, wie ein typischer vierteiliger Trainingszyklus in Kubeflow abläuft. Er besteht aus Entwicklung, Build-Prozess, Training und Deployment. Jupyter eignet sich, um die Modelle zu entwickeln. Über Fairing, Kubeflows Python-SDK, lassen sich Container dann für Kubernetes bauen. Es folgt das Training selbst, für das Entwickler Custom Resources (CRs) für Kubernetes definieren. Schließlich kommt als vierte Komponente KFServing zum Einsatz. Die Serverless-Lösung hilft, die entwickelten Maschine-Learning-Modelle auf unterschiedlichen Frameworks zu veröffentlichen.

  • Der Aufbau von Kubeflow (Bild: Kubeflow)
Der Aufbau von Kubeflow (Bild: Kubeflow)

Version 1.0 bietet dabei über das Werkzeug kfctl zugleich eine einfache Möglichkeit, Kubeflow auszuliefern. Das läuft, zusammen mit dem eben erwähnten KFServing, auf einer Architektur, die aus mehreren Schichten besteht. Kubernetes bildet die Basis auf der dann Istio läuft (Service Mesh), worauf Knative (Serverless-Plattform) läuft.

Arbeitsplatz für Data Scientists

Golem Karrierewelt
  1. First Response auf Security Incidents: Ein-Tages-Workshop
    14.11.2022, Virtuell
  2. Azure und AWS Cloudnutzung absichern: virtueller Zwei-Tage-Workshop
    22./23.09.2022, virtuell
Weitere IT-Trainings

Jupyter ist hingegen häufig das Werkzeug der Wahl für Data Scientists und lässt sich beim Bau der Modelle mit den Kubernetes-Diensten verbinden. Für ihr Arbeitspensum erhalten die Entwickler jeweils eigene Namespaces, denen die Kubernetes-Admins auch die passenden Ressourcen inklusive Quotas zuweisen.

Neue Notebooks lassen sich über passende Docker-Images einfach ergänzen. Für das Training selbst können Tensorflow und Pytorch über die Kubernetes-Operator genutzt werden. Zum Überwachen des Trainings steht Tensorboard bereit. Weitere Details für Kubeflow-Nutzer, die den Praxiseinsatz erklären, aber auch geplante Funktionen auflisten, liefert der anfangs erwähnte Blogpost.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Ukrainekrieg
Erster Einsatz einer US-Kamikazedrohne dokumentiert

Eine Switchblade-Drohne hat offenbar einen russischen Panzer getroffen. Dessen Besatzung soll sich auf dem Turm mit Alkohol vergnügt haben.

Ukrainekrieg: Erster Einsatz einer US-Kamikazedrohne dokumentiert
Artikel
  1. Heimnetze: Die Masche mit dem Nachbarn
    Heimnetze
    Die Masche mit dem Nachbarn

    Heimnetze sind Inseln mit einer schmalen und einsamen Anbindung zum Internet. Warum eine Öffnung dieser strengen Isolation sinnvoll ist.
    Von Jochen Demmer

  2. Deutsche Bahn: 9-Euro-Ticket gilt nicht in allen Nahverkehrszügen
    Deutsche Bahn  
    9-Euro-Ticket gilt nicht in allen Nahverkehrszügen

    So einfach ist es dann noch nicht: Das 9-Euro-Ticket gilt nicht in allen Zügen, die mit einem Nahverkehrsticket genutzt werden können.

  3. Übernahme: Twitter zahlt Millionenstrafe und Musk schichtet um
    Übernahme
    Twitter zahlt Millionenstrafe und Musk schichtet um

    Die US-Regierung sieht Twitter als Wiederholungstäter bei Datenschutzverstößen und Elon Musk will sich das Geld für die Übernahme nun anders besorgen.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Mindstar (u. a. Palit RTX 3050 Dual 319€, MSI MPG X570 Gaming Plus 119€ und be quiet! Shadow Rock Slim 2 29€) • Days of Play (u. a. PS5-Controller 49,99€) • Viewsonic-Monitore günstiger • Alternate (u. a. Razer Tetra 12€) • Marvel's Avengers PS4 9,99€ • Sharkoon Light² 200 21,99€ [Werbung]
    •  /