AWS Data Pipeline: Amazon organisiert Daten, nicht nur in der Cloud
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline Amazon organisiert Daten, nicht nur in der Cloud

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Anzeige

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


Kommentieren



Anzeige

  1. ORACLE Datenbank Experte (m/w)
    Siemens AG, Nürnberg
  2. Softwareentwickler (m/w)
    BVU Beratergruppe Verkehr + Umwelt GmbH, Freiburg
  3. Product Manager Notebook / Tablet / Accessories (m/w)
    über 3C - Career Consulting Company GmbH, München
  4. IT Consultant (m/w) IT-Architektur
    arvato distribution GmbH, Großraum Hannover oder Ostwestfalen

 

Detailsuche


Folgen Sie uns
       


  1. EU-Angleichung

    Welche Onlineshops keine Gratis-Retouren mehr erlauben

  2. MIT Media Lab

    Bildschirm gleicht Sehfehler aus

  3. Leere Symbolik

    Greenwald lehnt aus Protest Aussage im NSA-Ausschuss ab

  4. Technisches Komitee

    Debian beharrt auf mehreren Init-Systemen

  5. Stellar

    Kostenlose Kryptowährung soll Kunden locken

  6. Brigadier

    Kyoceras Saphirglas-Smartphone kostet 400 US-Dollar

  7. ZeroVM

    Virtuelle Maschine für die Cloud

  8. CDN

    Apple aktiviert offenbar sein Content Delivery Network

  9. Test Sacred 3

    Schnetzeln im Team

  10. Microsoft

    Enhanced Mitigation Experience Toolkit 5.0 freigegeben



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Bluetooth Low Energy und Websockets: Raspberry Pi als Schaltzentrale fürs Haus
Bluetooth Low Energy und Websockets
Raspberry Pi als Schaltzentrale fürs Haus
  1. Echtzeitkommunikation Socket.io 1.0 mit neuer Engine

PC-Spiele mit 4K, 6K, 8K, 15K: "Spielen mit Downsampling schlägt Full-HD immer"
PC-Spiele mit 4K, 6K, 8K, 15K
"Spielen mit Downsampling schlägt Full-HD immer"
  1. Transformers Ära des Untergangs - gefilmt mit Sensoren im Imax-Format
  2. Intel-Partnerschaft mit Samsung 4K-Monitore sollen unter 400 US-Dollar gedrückt werden
  3. Asus ROG Kleine Gaming-PCs im Konsolendesign mit Desktophardware

Samsung Galaxy Tab S im Test: Flaches, poppig buntes Leichtgewicht
Samsung Galaxy Tab S im Test
Flaches, poppig buntes Leichtgewicht
  1. Samsung Neue Galaxy Tabs ab 200 Euro erhältlich

    •  / 
    Zum Artikel