AWS Data Pipeline: Amazon organisiert Daten, nicht nur in der Cloud

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Artikel veröffentlicht am ,
Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Stellenmarkt
  1. Field Service Engineer oder IT-Systemelektronikern oder Informationselektroniker (m/w/d)
    IPB Internet Provider in Berlin GmbH, Berlin
  2. Informatiker (m/w/d)
    Hochschule für Fernsehen und Film München, München
Detailsuche

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Golem Akademie
  1. AZ-104 Microsoft Azure Administrator
    13.-16. Dezember 2021, online
  2. Terraform mit AWS
    14.-15. Dezember 2021, online
  3. Cloud Computing mit Amazon Web Services (AWS)
    14.-16. Februar 2022, online
Weitere IT-Trainings

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Kooperation
Amazon Kreditkarte mit Landesbank Berlin wird eingestellt

Während der ADAC seine Kunden bereits informiert hat, schweigt Amazon Deutschland noch zum Ende der Kooperation mit der Landesbank Berlin.

Kooperation: Amazon Kreditkarte mit Landesbank Berlin wird eingestellt
Artikel
  1. Linux: Vom einfachen Speicherfehler zur Systemübernahme
    Linux
    Vom einfachen Speicherfehler zur Systemübernahme

    Ein häufig vorkommender Fehler in C-Code hat einen Google-Entwickler motiviert, über Gegenmaßnahmen nachzudenken.

  2. Social-Media-Plattform: Paypal will Pinterest kaufen
    Social-Media-Plattform
    Paypal will Pinterest kaufen

    Der Zahlungsabwickler Paypal soll bereit sein, 45 Milliarden US-Dollar für den Betreiber digitaler Pinnwände zu bezahlen.

  3. Pixel 6 (Pro): Googles Tensor-SoC ist eine wilde Mischung
    Pixel 6 (Pro)
    Googles Tensor-SoC ist eine wilde Mischung

    Viel Samsung, wenig Google: Der Chip kombiniert extreme Computational Photography mit einem kuriosen Design zugunsten der Akkulaufzeit.
    Eine Analyse von Marc Sauter

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Cyber Week Finale: Bis 33% auf Digitus-Monitorhalterungen & bis 36 Prozent auf EVGA-Netzteile • Samsung-Monitore (u. a. 24" FHD 144Hz 169€) • Bosch Professional zu Bestpreisen • Sandisk Ultra 3D 500GB 47,99€ • Google Pixel 6 vorbestellbar ab 649€ + Bose Headphones als Geschenk [Werbung]
    •  /