Herausforderungen in Phase 1

Beim Aufbau einer Streamingplattform standen wir vor vielen Herausforderungen.

Stellenmarkt
  1. IT-Administratorin/IT-Admini- strator (m/w/d) mit Schwerpunkt Windows Infrastruktur und Software-Deployment
    Ludwig-Maximilians-Universität (LMU) München, München
  2. Test and Validation Engineer Railway (m/w/d)
    AKKA, Berlin, Braunschweig
Detailsuche

Herausforderung 1: Hohe Skalierung mit begrenzten Ressourcen. Wir hatten sechs Monate Zeit, um Keystone so aufzubauen, dass 500 Milliarden Ereignisse pro Tag verarbeitet werden konnten - und das ganze mit nur sechs Teammitgliedern.

Herausforderung 2: Unreife Streamingumgebung. Die Entwicklung und der Betrieb einer Infrastruktur mit dem Ansatz "Streaming First" war 2015 noch sehr schwierig, da sowohl Transport- (Apache Kafka) als auch Verarbeitungstechnologien (Apache Samza, Apache Flink) gerade erst aufkamen. Nur wenige Technologieunternehmen verfügten über erwiesenermaßen erfolgreiche Deployments mit Streaming als oberster Priorität in dem von uns benötigten Maßstab.

Deshalb mussten wir alle technologischen Möglichkeiten auswerten und experimentieren. In Anbetracht unserer begrenzten Ressourcen konnten wir nicht einfach alles selbst aufbauen, sondern mussten entscheiden, was wir selbst entwickeln und auf welche aufkommenden Tools wir setzen würden.

Golem Karrierewelt
  1. C++ Programmierung Grundlagen (keine Vorkenntnisse benötigt): virtueller Drei-Tage-Workshop
    07.-09.11.2022, virtuell
  2. Adobe Photoshop für Social Media Anwendungen: virtueller Zwei-Tage-Workshop
    24./25.08.2022, virtuell
Weitere IT-Trainings

Herausforderung 3: Analytische und operative Bedenken unterscheiden sich. Der Schwerpunkt bei der analytischen Streamverarbeitung liegt auf Richtigkeit und Vorhersehbarkeit. Beispielsweise sind für die Verschiebung aller Clickstreams der Benutzer in das Data Warehouse Datenkonsistenz (minimale Duplikate oder Verluste) und Vorhersehbarkeit bei der Latenz (die üblicherweise im Bereich von Minuten liegt) notwendig. (Hierbei ist Keystone wirklich gut.)

Bei der operativen Streamverarbeitung liegt der Schwerpunkt eher auf Wirtschaftlichkeit, Latenz und Verfügbarkeit. Wenn wir zum Beispiel den Zustand der gesamten Gerätelandschaft von Netflix kennen, können wir von Latenzen profitieren, die im Sekundenbereich oder sogar darunter liegen. Außerdem können Stichproben oder Profile der Daten aus der Quelle erstellt werden, um Kosten zu sparen. (Hierbei ist Mantis wirklich gut.)

Herausforderung 4: Cloudeigene Resilienz für eine zustandsbehaftete Datenplattform ist schwierig. Netflix arbeitete bereits seit einigen Jahren in der AWS-Cloud. Wir waren jedoch die Ersten, denen es gelang, eine zustandsbehaftete Datenplattform in die auf Containern basierende Cloudinfrastruktur zu bringen. Im Hintergrund laufen in allen Rechenzentren Hunderttausende physischer Maschinen, die die Cloud antreiben. Bei diesem Umfang sind Hardwareausfälle unvermeidlich.

Wenn diese Ausfälle unerwartet auftreten, kann es für die Systeme sehr schwierig werden, die Erwartungen hinsichtlich Verfügbarkeit und Konsistenz zu erfüllen. Die Herausforderung ist in einer ungebundenen Umgebung für die Streamverarbeitung mit niedriger Latenz, bei der jede Ausfallwiederherstellung dazu führen kann, dass sich Gegendruck aufbaut, sogar noch größer. Eine cloudeigene Resilienz für eine Streaming-First-Architektur würde uns vor enorme technische Herausforderungen stellen.

  • Verschieben der Daten vom Rand zum Data Warehouse (Bild: Zhenzhong Xu)
  • Fehleranfällige Architektur mit Batch-Pipeline vor der Migration (Bild: Zhenzhong Xu)
  • Keystone-Streamingarchitektur nach der Migration (Bild: Zhenzhong Xu)
  • So unterstützt die Streamverarbeitung den Umgang mit operativen und analytischen Daten. (Bild: Zhenzhong Xu)
  • Trennung der Bedenken für unterschiedliche Szenarien bei der Streamverarbeitung (Bild: Zhenzhong Xu)
  • Diagramm zur sich entwickelnden Keystone-Architektur, circa 2016. Keystone enthält Kafka- und Flink-Engines als Kernkomponenten. Weitere Details zum technischen Design finden sich in Blogposts mit dem Schwerpunkt Kafka und Flink. (Bild: Zhenzhong Xu)
  • Keystone-UI zeigt eine Drag-and-Drop-Erfahrung im Self-Service, die von einer voll verwalteten Streamingarchitektur mit mehreren Mandanten gestützt wird. (Bild: Zhenzhong Xu)
  • A/B-Test zur Auswahl der besten künstlerischen Darstellung für die Personalisierung (Bild: Netflix)
  • Architektur mit Abtrennung der Flink-Plattform als separatem Produkteinstiegspunkt (Bild: Zhenzhong Xu)
  • Abstimmung der Streamverarbeitung in Netflix - 2021 (Bild: Zhenzhong Xu)
  • Optimalpunkt zwischen Einfachheit und Flexibilität (Bild: Zhenzhong Xu)
So unterstützt die Streamverarbeitung den Umgang mit operativen und analytischen Daten. (Bild: Zhenzhong Xu)

Zusammenfassung zu Streamverarbeitungsmustern in Phase 1

Ich stelle einige selbst beobachtete Anwendungsfälle mit den jeweiligen Streamverarbeitungsmustern für jede Innovationsphase vor. Das vermittelt ein Gefühl für die Entwicklung im Laufe der Zeit.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed
MusterProduktAnwendungsfälle
DatenroutingKeystoneProtokollierung, Datenbewegung (MVP)
Echtzeitwarnungen / DashboardMantisSPS-Warnung
Streamverarbeitungsmuster in Phase 1
 Phase 1: Rettung der Netflix-ProtokolleStrategiewetten in Phase 1 
  1.  
  2. 1
  3. 2
  4. 3
  5. 4
  6. 5
  7. 6
  8. 7
  9. 8
  10. 9
  11. 10
  12. 11
  13.  


Aktuell auf der Startseite von Golem.de
Galaxy-Z-Serie im Hands-on
Samsungs Fold 4 und Flip 4 mit Top-SoCs und tollen Displays

Samsungs neue Falt-Smartphones sehen ihren Vorgängern sehr ähnlich - technisch gibt es aber einige praktische Neuerungen.
Ein Hands-on von Tobias Költzsch

Galaxy-Z-Serie im Hands-on: Samsungs Fold 4 und Flip 4 mit Top-SoCs und tollen Displays
Artikel
  1. Korruptionsverdacht: Ermittlungen gegen leitende Mitarbeiter von Chinas Chipfonds
    Korruptionsverdacht
    Ermittlungen gegen leitende Mitarbeiter von Chinas Chipfonds

    Chinas Big Fund sollte mit Milliardensummen die Halbleiterindustrie des Landes voranbringen. Das viele Geld soll Begehrlichkeiten geweckt haben.

  2. Reparatur von Elektroauto-Akkus: Wie eine Operation am offenen Herzen
    Reparatur von Elektroauto-Akkus
    Wie eine Operation am offenen Herzen

    Eine defekte Zelle ist noch lange kein Grund für einen Wechsel des Akkus. Doch wie gehen Hersteller mit defekten Batterien von Elektroautos um?
    Ein Bericht von Dirk Kunde

  3. Datenschutz bei Whatsapp etc.: Was bei Messengerdiensten zu beachten ist
    Datenschutz bei Whatsapp etc.
    Was bei Messengerdiensten zu beachten ist

    Datenschutz für Sysadmins In einer zehnteiligen Serie behandelt Golem.de die wichtigsten Themen, die Sysadmins beim Datenschutz beachten müssen. Teil 1: Whatsapp & Co.
    Eine Anleitung von Friedhelm Greis

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Günstig wie nie: Samsung SSD 2TB Heatsink (PS5) 219,99€ • Grafikkarten zu Tiefpreisen (Gigabyte RTX 3080 Ti 1.089€, Gigabyte RTX 3080 12GB 859€) • MSI-Sale: Gaming-Laptops/PCs bis -30% • Sharkoon PC-Gehäuse -53% • Philips Hue -46% • Der beste Gaming-PC für 2.000€ [Werbung]
    •  /