Amazon Prime Video: Komplette Architekturumstellung beim Qualitätsmonitoring

Betriebskosten und Skalierungsprobleme erforderten drastische Schritte des Streaminganbieters. Der Bericht darüber gibt Einblicke in die Verarbeitung großer Datenmengen.

Artikel veröffentlicht am 5. Mai 2023, 14:35 Uhr, Boris Mayer

Das richtige Werkzeug zur Qualitätsmessung auszusuchen, ist nicht immer ganz einfach. (Bild: Adam Greig via flickr/CC-BY-SA 2.0)

Amazon Prime Video hat seine Architektur für die Qualitätsprüfung von Audio- und Videoinhalten überarbeitet, um die Kosten zu reduzieren und Skalierbarkeitsprobleme zu lösen. Dafür verschob das Unternehmen die Workload auf Amazon Elastic Compute Cloud (EC2) und ECS-Computing-Services und spart dadurch 90 Prozent der Betriebskosten.

Zuvor basierte die Lösung auf einem serverlosen Infrastruktur-Stack mit Mikroservices, die für verschiedene Schritte des Analyseprozesses zuständig waren.

Die Audio- und Videodaten wurden in AWS S3 Buckets gespeichert und für die Ergebnisse wurde ein AWS SNS-Topic verwendet.

Die alte Architektur schaffte nur 5 Prozent der vorgesehenen Last

Das ursprüngliche Design der Architektur erwies sich jedoch einerseits als kostspielig und hatte andererseits Skalierungsengpässe, die die Überwachung von Tausenden von Streams verhinderten: Die Architektur schaffte nur 5 Prozent der erwarteten Workload.

Als Probleme erwiesen sich die hohe Anzahl an Lese- und Schreibzugriffen auf S3 für die Zwischenspeicherung von den aus Video- und Audiofragmenten bestehenden Häppchen zur Verarbeitung und eine große Anzahl von Zustandsübergängen in den AWS Step Functions.

Die Lösung für diese Probleme bestand darin, die Geschäftslogik in einem einzigen Anwendungsprozess zu konsolidieren. Alle Komponenten wurden in einen Prozess gepackt, wodurch der Bedarf an einem S3-Zwischenspeicher für Videoframes und Audiobuffer entfiel. Der Datentransfer erfolgt nun ausschließlich im Arbeitsspeicher, die Analyse läuft auf EC2 und die Detector-Instanzen auf ECS.

EC2 ist ein skalierbarer Cloudcomputingdienst, der von Amazon Web Services (AWS) betrieben wird und Instanzen virtueller Server bereitstellt. ECS dagegen ist ein hochskalierbarer und vollständig verwalteter Containerorchestrierungsdienst, der es ermöglicht, Docker-Containeranwendungen einfach und schnell auf Amazon Web Services bereitzustellen und zu betreiben.