Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline Amazon organisiert Daten, nicht nur in der Cloud

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Anzeige

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


Kommentieren



Anzeige

  1. Projektleiter Software Standardisierung (m/w) Schwerpunkt Fördertechnik
    Dürr Systems GmbH, Bietigheim-Bissingen
  2. Quality Engineer (m/w) (Division Payment & Risk)
    Wirecard Technologies GmbH, Aschheim near Munich
  3. Java-Entwickler (m/w)
    Avision GmbH, Oberhaching bei München
  4. IT-Mitarbeiter (m/w)
    SRH Dienstleistungen GmbH, Oberndorf a. N.

 

Detailsuche


Top-Angebote
  1. PlayStation 4 Konsole inkl. FIFA 15
    399,00€
  2. Blu-rays unter 10 EUR
    (u. a. 96 Hours Taken 2 für 8,99€, Godzilla 9,97€, Erbarmen 9,97€, Cloud Atlas 7,99€, Der...
  3. NEU: Call of Duty: Advanced Warfare Day Zero Edition (PS4)
    39,97€ USK 18

 

Weitere Angebote


Folgen Sie uns
       


  1. Quartalszahlen

    Apples iPhone-Verkauf übertrifft alle Prognosen

  2. Apple

    Das ist neu an iOS 8.1.3 und OS X 10.10.2

  3. Autobahn

    Ruhrgebiet soll Testgebiet für autonomes Fahren werden

  4. Glibc

    Ein Geist gefährdet Linux-Systeme

  5. iPhone

    Apple patentiert ansteckbares Gamepad und weiteres Zubehör

  6. KDE Plasma 5.2 erschienen

    Breeze ist überall

  7. Vorratsdatenspeicherung

    EU-Kommission plant keinen neuen Anlauf

  8. Microblogging

    Twitter führt Videofunktion und Gruppennachrichten ein

  9. Spionagesoftware

    Kaspersky enttarnt Regin als NSA-Programm

  10. Lunar-X-Prize

    Google zeichnet Mondfahrer aus



Haben wir etwas übersehen?

E-Mail an news@golem.de



Sony Alpha 7 II im Test: Fast ins Schwarze getroffen
Sony Alpha 7 II im Test
Fast ins Schwarze getroffen
  1. Systemkamera Olympus kündigt neues Modell im OM-D-System an
  2. Seek XR Wärmebildkamera mit Zoom für Android und iOS
  3. Geco Mark II Federleichte Actionkamera für den Brillenbügel

Neues Betriebssystem: Microsoft nennt viele neue Details zu Windows 10
Neues Betriebssystem
Microsoft nennt viele neue Details zu Windows 10
  1. Technical Preview mit Cortana Windows 10 Build 9926 steht zum Download bereit
  2. Microsoft Nicht alle Windows-Phone-Smartphones erhalten Windows 10
  3. Surface Hub Microsoft zeigt Konferenzsystem mit Digitizer und Windows 10

Spionage oder Imageaufwertung?: Deutsche Behörden nennen es Social Media Intelligence
Spionage oder Imageaufwertung?
Deutsche Behörden nennen es Social Media Intelligence
  1. Ausfall von Internetdiensten Lizard Squad will's gewesen sein, Facebook sagt nein
  2. Soziales Netzwerk Justizministerium kritisiert Facebooks neue AGB
  3. jobbörse.com Xing kauft Suchmaschine für 6,3 Millionen Euro

    •  / 
    Zum Artikel