AWS Data Pipeline: Amazon organisiert Daten, nicht nur in der Cloud
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline Amazon organisiert Daten, nicht nur in der Cloud

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Anzeige

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


Kommentieren



Anzeige

  1. IT-Architekt (m/w)
    Vanderlande Industries GmbH, Dortmund
  2. Inhouse Consultant BI / SAP-BW (m/w)
    Metabowerke GmbH, Nürtingen
  3. SAP Process Manager Logistics (m/w)
    Adler Pelzer Gruppe, Witten
  4. Tester/in Embedded Software
    Schaeffler Technologies GmbH & Co. KG, Herzogenaurach

 

Detailsuche


Folgen Sie uns
       


  1. Quartalsbericht

    Apples iPad-Absatz geht erneut zurück

  2. Apple

    Das ist neu in iOS 8.1

  3. Same Day Delivery

    Ebay-Zustellung am selben Tag startet in Berlin

  4. Datendiebstahl

    Manipulierte Dropbox-Seiten phishen nach Mailaccounts

  5. Traktorstrahl

    Hin und zurück durch die Laserröhre

  6. Personalmarkt

    Welche IT-Fachkräfte im Jahr 73.400 Euro verdienen

  7. Wearables

    Microsofts Smartwatch soll bald kommen

  8. Eric Anholt

    Raspberry-Pi-Grafiktreiber erlaubt fast stabiles X

  9. Smartphone-Prozessor

    Der Exynos 5433 ist Samsungs erster 64-Bit-Chip

  10. Familien-Option

    Spotify lässt bis zu fünf Nutzer parallel Musik hören



Haben wir etwas übersehen?

E-Mail an news@golem.de



iMac mit Retina 5K angeschaut: Eine Lupe könnte helfen
iMac mit Retina 5K angeschaut
Eine Lupe könnte helfen
  1. iFixit iMac mit Retina-Display ist schwer zu reparieren
  2. Apple iMac Retina bringt mehr als 14 Megapixel auf das Display
  3. Apple iMacs mit Retina-Displays geplant

Data Management: Wie Hauptspeicherdatenbanken arbeiten
Data Management
Wie Hauptspeicherdatenbanken arbeiten

Schenker XMG P505 im Test: Flaches Gaming-Notebook mit überraschender GTX 970M
Schenker XMG P505 im Test
Flaches Gaming-Notebook mit überraschender GTX 970M
  1. Geforce GTX 980M und 970M Maxwell verdoppelt Spielgeschwindigkeit von Notebooks
  2. Toughbook CF-LX3 Panasonics leichtes Notebook mit der Lizenz zum Runterfallen
  3. Entwicklung vorerst eingestellt Notebooks mit Touch-Displays sind nicht gefragt

    •  / 
    Zum Artikel