Abo
  • Services:

AWS Data Pipeline: Amazon organisiert Daten, nicht nur in der Cloud

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Artikel veröffentlicht am ,
Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Stellenmarkt
  1. Gesellschaft für Anlagen- und Reaktorsicherheit (GRS) gGmbH, Köln
  2. Dataport, Rostock

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.



Anzeige
Blu-ray-Angebote
  1. über ARD Mediathek kostenlos streamen
  2. 4,99€
  3. 9,99€

Folgen Sie uns
       


Kaihua Kailh Speed-Switches - Test

Die goldenen KS-Switches von Kaihua haben einen kürzeren Hinweg als Cherry MX Blue und sind in der alltäglichen Nutzung angenehmer. Das liegt auch an der besseren Verarbeitung.

Kaihua Kailh Speed-Switches - Test Video aufrufen
Nissan Leaf: Wer braucht schon ein Bremspedal?
Nissan Leaf
Wer braucht schon ein Bremspedal?

Wie fährt sich das meistverkaufte Elektroauto? Nissan hat vor wenigen Monaten eine überarbeitete Version des Leaf auf den Markt gebracht. Wir haben es gefahren und festgestellt, dass das Auto fast ohne Bremse auskommt.
Ein Erfahrungsbericht von Werner Pluta

  1. e-NV200 Nissan packt 40-kWh-Akku in Elektro-Van
  2. Reborn Light Nissan-Autoakkus speisen Straßenlaternen
  3. Elektroauto Nissan will den IMx in Serie bauen

Wonder Workshop Cue im Test: Der Spielzeugroboter kommt ins Flegelalter
Wonder Workshop Cue im Test
Der Spielzeugroboter kommt ins Flegelalter

Bislang herrschte vor allem ein Niedlichkeitswettbewerb zwischen populären Spiel- und Lernrobotern für Kinder, jetzt durchbricht ein Roboter für jüngere Teenager das Schema nicht nur optisch: Cue fällt auch durch ein eher loseres Mundwerk auf.
Ein Test von Alexander Merz


    PGP/SMIME: Die wichtigsten Fakten zu Efail
    PGP/SMIME
    Die wichtigsten Fakten zu Efail

    Im Zusammenhang mit den Efail genannten Sicherheitslücken bei verschlüsselten E-Mails sind viele missverständliche und widersprüchliche Informationen verbreitet worden. Wir fassen die richtigen Informationen zusammen.
    Eine Analyse von Hanno Böck

    1. Sicherheitslücke in Mailclients E-Mails versenden als potus@whitehouse.gov

      •  /