AWS Data Pipeline: Amazon organisiert Daten, nicht nur in der Cloud
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline Amazon organisiert Daten, nicht nur in der Cloud

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Anzeige

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


Kommentieren



Anzeige

  1. IT-Teamleitungen (m/w) für Betreute Lokale Netze an beruflichen Schulen
    Landeshauptstadt München, München
  2. Abteilungsleiter IT-Systemtechnik (m/w)
    LÖWEN ENTERTAINMENT GmbH, Bingen bei Mainz
  3. Ad Manager (m/w)
    Heise Medien Gruppe GmbH & Co. KG, Hannover oder München
  4. Web-Entwickler (m/w)
    PROJECT PI Immobilien AG, Nürnberg

 

Detailsuche


Folgen Sie uns
       


  1. Versatel

    United Internet kauft Glasfasernetz für 586 Millionen Euro

  2. Android Wear

    Google will die Smartwatch klüger machen

  3. Flir One

    PIN-Ausspähung per Wärmesensor

  4. Dolby Atmos probegehört

    Klang aus der Decke kommt fürs Heimkino

  5. Air Food One

    Post liefert online bestelltes Lufthansa-Essen nach Hause

  6. Threshold

    Microsoft China scherzt über Startmenü in Windows 9

  7. Lieferdrohnen

    Nasa entwickelt Leitsystem für Flugroboter

  8. Radeon R9 285

    Die schnellste Grafikkarte mit nur zwei 6-Pol-Anschlüssen

  9. Bitcoin

    Charles Shrem will sich schuldig bekennen

  10. Mozilla

    Firefox 32 verbessert Werkzeuge und Leistung



Haben wir etwas übersehen?

E-Mail an news@golem.de



Surface Pro 3 im Test: Das Tablet, das Notebook sein will
Surface Pro 3 im Test
Das Tablet, das Notebook sein will
  1. Microsoft-Tablet Hitzeprobleme beim Surface Pro 3 mit Core i7
  2. Microsoft Surface Pro 3 ab Ende August in Deutschland erhältlich
  3. Windows-Tablet Microsoft senkt Preise des Surface Pro 2

Spiele auf dem Oculus Rift DK2: Manchmal klappt es, manchmal nicht
Spiele auf dem Oculus Rift DK2
Manchmal klappt es, manchmal nicht
  1. Oculus Rift Geld für gefundene Sicherheitslücken
  2. Virtuelle Realität Hüft-OP mit Oculus Rift und zwei Gopro-Kameras
  3. Oculus Rift Valve aktualisiert SteamVR für das DK2

Formel E: Motorsport zum Zuhören
Formel E
Motorsport zum Zuhören

    •  / 
    Zum Artikel