• IT-Karriere:
  • Services:

AWS Data Pipeline: Amazon organisiert Daten, nicht nur in der Cloud

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Artikel veröffentlicht am ,
Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Stellenmarkt
  1. Universitätsklinikum Frankfurt, Frankfurt
  2. Würth Industrie Service GmbH & Co. KG, Bad Mergentheim, Großraum Würzburg

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Spiele-Angebote
  1. 2,49€
  2. (-67%) 19,99€
  3. 4,99€
  4. 4,99€

Folgen Sie uns
       


Pocketalk Übersetzer - Test

Mit dem Pocketalk können wir gesprochene Sätze in eine andere Sprache übersetzen lassen. Im Test funktioniert das gut, allerdings macht Pocketalk auch nicht viel mehr als gängige und kostenlose Übersetzungs-Apps.

Pocketalk Übersetzer - Test Video aufrufen
Akkutechnik: In Zukunft kommen Akkus mit weniger seltenen Rohstoffen aus
Akkutechnik
In Zukunft kommen Akkus mit weniger seltenen Rohstoffen aus

In unserer Artikelserie zu Akku-FAQs geht es diesmal um bessere Akkus, um mehr Akkus und um Akkus ohne seltene Rohstoffe. Den Wunderakku, der alles kann, den gibt es leider nicht. Mit Energiespeichern ohne Akku beschäftigen wir uns später in Teil 2 dieses Artikels.
Von Frank Wunderlich-Pfeiffer

  1. Elektroautos BASF baut Kathodenfabrik in Brandenburg
  2. Joint Venture Panasonic und Toyota bauen prismatische Zellen für E-Autos
  3. Elektromobilität EU-Kommission genehmigt europäisches Batterieprojekt

Nitropad im Test: Ein sicherer Laptop, der im Alltag kaum nervt
Nitropad im Test
Ein sicherer Laptop, der im Alltag kaum nervt

Das Nitropad schützt vor Bios-Rootkits oder Evil-Maid-Angriffen. Dazu setzt es auf die freie Firmware Coreboot, die mit einem Nitrokey überprüft wird. Das ist im Alltag erstaunlich einfach, nur Updates werden etwas aufwendiger.
Ein Praxistest von Moritz Tremmel und Sebastian Grüner

  1. Nitropad X230 Nitrokey veröffentlicht abgesicherten Laptop
  2. LVFS Coreboot-Updates sollen nutzerfreundlich werden
  3. Linux-Laptop System 76 verkauft zwei Laptops mit Coreboot

Videostreaming: Was an Prime Video und Netflix nervt
Videostreaming
Was an Prime Video und Netflix nervt

Eine ständig anders sortierte Watchlist, ein automatisch startender Stream oder fehlende Markierungen für Aboinhalte: Oft sind es nur Kleinigkeiten, die den Spaß am Streaming vermiesen - eine Hassliste.
Ein IMHO von Ingo Pakalski

  1. Dispatch Open-Source-Krisenmanagement à la Netflix
  2. Videostreaming Netflix integriert Top-10-Listen für Filme und TV-Serien
  3. WhatsOnFlix Smartphone-App für bessere Verwaltung der Netflix-Inhalte

    •  /