• IT-Karriere:
  • Services:

AWS Data Pipeline: Amazon organisiert Daten, nicht nur in der Cloud

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Artikel veröffentlicht am ,
Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Stellenmarkt
  1. Hochschule für angewandte Wissenschaften Neu-Ulm, Neu-Ulm
  2. SodaStream GmbH, Frankfurt am Main

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Mobile-Angebote
  1. 304€ (Bestpreis!)
  2. Apple iPad Air 10,9 Zoll Wi-Fi 64GB für 632,60€, Apple iPad Air 10,9 Zoll Cellular 64GB für 769...
  3. 749€ (mit Rabattcode "PERFECTEBAY10" - Bestpreis!)
  4. 274,49€ (mit Rabattcode "PFIFFIGER" - Bestpreis!)

Folgen Sie uns
       


Google Pixel 4a - Test

Das Pixel 4a ist Googles neues Mittelklasse-Smartphone: Es kostet 350 Euro und hat unter anderem die gleiche Hauptkamera wie das Pixel 4.

Google Pixel 4a - Test Video aufrufen
Cyberbunker-Prozess: Die Darknet-Schaltzentrale über den Weinbergen
Cyberbunker-Prozess
Die Darknet-Schaltzentrale über den Weinbergen

Am Montag beginnt der Prozess gegen die Cyberbunker-Betreiber von der Mittelmosel. Dahinter verbirgt sich eine wilde Geschichte von "bunkergeilen" Internetanarchos bis zu polizeilich gefakten Darknet-Seiten.
Eine Recherche von Friedhelm Greis

  1. Darkweb 179 mutmaßliche Darknet-Händler festgenommen
  2. Marktplatz im Darknet Mutmaßliche Betreiber des Wall Street Market angeklagt
  3. Illegaler Onlinehandel Admin des Darknet-Shops Fraudsters muss hinter Gitter

Artemis Accords: Mondverträge mit bitterem Beigeschmack
Artemis Accords
Mondverträge mit bitterem Beigeschmack

"Sicherheitszonen" zum Rohstoffabbau auf dem Mond, das Militär darf tun, was es will, Machtfragen werden nicht geklärt, der Weltraumvertrag wird gebrochen.
Von Frank Wunderlich-Pfeiffer

  1. Artemis Nasa engagiert Nokia für LTE-Netz auf dem Mond

Watch SE im Test: Apples gelungene Smartwatch-Alternative
Watch SE im Test
Apples gelungene Smartwatch-Alternative

Mit der Watch SE bietet Apple erstmals parallel zum Topmodell eine zweite, günstigere Smartwatch an. Die Watch SE eignet sich unter anderem für Nutzer, die auf die Blutsauerstoffmessung verzichten können.
Ein Test von Tobias Költzsch

  1. Apple WatchOS 7.0.3 behebt Reboot-Probleme der Apple Watch 3
  2. Series 6 im Test Die Apple Watch zwischen Sport, Schlaf und Sättigung
  3. Apple empfiehlt Neuinstallation Probleme mit WatchOS 7 und Apple Watch lösbar

    •  /