AWS Data Pipeline: Amazon organisiert Daten, nicht nur in der Cloud
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline Amazon organisiert Daten, nicht nur in der Cloud

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Anzeige

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


Kommentieren



Anzeige

  1. Software-Entwickler (m/w) Embedded Systems
    Gebrüder Frei GmbH & Co., Albstadt
  2. Inhouse Consultant (m/w) SAP SD
    Endress+Hauser InfoServe GmbH+Co. KG, Weil am Rhein
  3. Senior UX/UI Designer für Web & Mobile Apps (m/w)
    24-7 Entertainment GmbH, Berlin
  4. Professional Services Consultant (m/w)
    NetApp Deutschland GmbH, Hamburg

 

Detailsuche


Folgen Sie uns
       


  1. Spiele-API

    DirectX-11 wird parallel zu DirectX-12 weiterentwickelt

  2. Streaming-Box

    Netflix noch im Herbst für Amazons Fire TV

  3. Schnell, aber ungenau

    Roboter springt im Explosionsschritt

  4. Urteil

    Foxconn-Arbeiter wegen iPhone-6-Diebstahl verhaftet

  5. Weniger Consumer-Notebooks

    Toshiba baut 900 Arbeitsplätze in der PC-Sparte ab

  6. XSS

    Cross-Site-Scripting über DNS-Records

  7. Venue 8 7000

    6-mm-Tablet wird mit Dell Cast zum Desktop

  8. HTML5-Videostreaming

    Netflix arbeitet an Linux-Unterstützung

  9. iPhone 6 und iPhone 6 Plus im Test

    Aus klein mach groß und größer

  10. Cloudflare

    TLS-Verbindungen ohne Schlüssel sollen Banken schützen



Haben wir etwas übersehen?

E-Mail an news@golem.de



Streaming-Box im Kurztest: Fire TV läuft jetzt mit deutschen Amazon-Konten
Streaming-Box im Kurztest
Fire TV läuft jetzt mit deutschen Amazon-Konten
  1. Buchpreisbindung Buchhandel erzwingt höheren Preis bei Amazon
  2. Amazon-Tablet Neues Fire HD mit 6 Zoll für 100 Euro
  3. Online-Handel Bei externen Händlern mit Amazon-Konto einkaufen

Imsi-Catcher: Catch me if you can
Imsi-Catcher
Catch me if you can
  1. Spy Files 4 Wikileaks veröffentlicht Spionagesoftware von Finfisher
  2. Spiegel-Bericht BND hört Nato-Partner Türkei und US-Außenminister ab
  3. Bundestrojaner Software zu Online-Durchsuchung einsatzbereit

Test Hyrule Warriors: Gedrücke und Gestöhne mit Zelda
Test Hyrule Warriors
Gedrücke und Gestöhne mit Zelda
  1. Mario Kart 8 Rennen mit Link und Prinzessin Peach
  2. Nintendo Streit um Smartphone-Spiele und das Internet

    •  / 
    Zum Artikel