AWS Data Pipeline: Amazon organisiert Daten, nicht nur in der Cloud
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline Amazon organisiert Daten, nicht nur in der Cloud

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Anzeige

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


Kommentieren



Anzeige

  1. Software Tester (m/w)
    Interhyp AG, München
  2. Systemanalytikerin / Systemanalytiker
    Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V., München
  3. Project Engineer / Projekt Ingenieur (m/w) Broadcast / Sportanalyse
    ST SPORTSERVICE GmbH, Ismaning bei München
  4. Softwareentwickler (m/w)
    Elanders Germany GmbH, Waiblingen

 

Detailsuche


Folgen Sie uns
       


  1. Ridesharing

    Taxidienst Uber in 200 Städten verfügbar

  2. Telefónica und E-Plus

    "Haben endgültige Freigabe von EU-Kommission bekommen"

  3. Intel Core i7-5960X im Test

    Die PC-Revolution beginnt mit Octacore und DDR4

  4. Nintendo

    Neuer 3DS mit NFC und zweitem Analogstick

  5. Onlinereiseplattform

    Opodo darf Nutzern keine Versicherungen unterschieben

  6. Galileo-Debakel

    Russischer Software-Fehler soll schuld sein

  7. Programmiersprache

    PHP 5.6 bringt interaktiven Debugger

  8. GTA 5

    Spekulationen über eingestellte PC-Version

  9. Test Assassin's Creed Memories

    Kartenspiel für Meuchelmörder

  10. Mozilla

    Werbe-Tiles in Firefox-Nightly verfügbar



Haben wir etwas übersehen?

E-Mail an news@golem.de



Test Star Wars Commander: Die dunkle Seite der Monetarisierung
Test Star Wars Commander
Die dunkle Seite der Monetarisierung

Alienware Alpha ausprobiert: Fast lautlose Steam-Machine mit eigenem Windows-UI
Alienware Alpha ausprobiert
Fast lautlose Steam-Machine mit eigenem Windows-UI
  1. Deutschland E-Sport ist mehr als eine Randerscheinung
  2. Crytek Ryse für PC mit 4K-Videos belegt über 120 GByte
  3. Wirtschaftssimulation Golem Labs entwickelt die Gilde 3

Digitale Agenda: Ein Papier, das alle enttäuscht
Digitale Agenda
Ein Papier, das alle enttäuscht
  1. Breitbandausbau Telekom will zehn Milliarden Euro vom Staat für DSL-Ausbau
  2. Zwiespältig Gesetz gegen WLAN-Störerhaftung von Cafés und Hotels fertig
  3. Digitale Agenda Bund will finanzielle Breitbandförderung festschreiben

    •  / 
    Zum Artikel