Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline Amazon organisiert Daten, nicht nur in der Cloud

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Anzeige

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


Kommentieren



Anzeige

  1. IT-Consultant HP PPM (m/w)
    Media-Saturn IT Services GmbH, Ingolstadt
  2. Projekt Office Mitarbeiter (m/w)
    ADAC e.V., München
  3. IT-Systemingenieur (m/w) Schwerpunkt Virtualisierungslösungen
    gkv informatik, Schwäbisch Gmünd
  4. Projectleader Web Solutions (m/w)
    evosoft GmbH, Nürnberg

 

Detailsuche


Spiele-Angebote
  1. NEU: StarCraft II: Heart of the Swarm (Add-On)
    12,87€
  2. Battlefield 4 Download
    11,97€
  3. Dead Island 2 [AT PEGI] - [PC]
    49,99€ USK 18

 

Weitere Angebote


Folgen Sie uns
       


  1. ODST

    Gratis-Kampagne für Halo Collection wegen Bugs

  2. Medienbericht

    Axel Springer will T-Online.de übernehmen

  3. Directory Authorities

    Tor-Projekt befürchtet baldigen Angriff auf seine Systeme

  4. Zeitserver

    Sicherheitslücken in NTP

  5. Core M-5Y10 im Test

    Kleiner Core M fast wie ein Großer

  6. Guardians of Peace

    Sony-Hack wird zum Politikum

  7. Urheberrecht

    Flickr Wall Art nutzt keine CC-Bilder mehr

  8. Rohrpostzug

    Hyperloop entsteht nach Feierabend

  9. IT-Bereich

    China will ausländische Technik durch eigene ersetzen

  10. Chaton

    Samsung schaltet seinen Messenger ab



Haben wir etwas übersehen?

E-Mail an news@golem.de



Grafiktreiber im Test: AMD wagt mit Catalyst Omega Neuanfang samt Downsampling
Grafiktreiber im Test
AMD wagt mit Catalyst Omega Neuanfang samt Downsampling
  1. Partikelsimulation Nvidias Flex rührt das Müsli an
  2. Geforce GTX 980 Matrix Asus' Overclocker-Grafikkarte schmilzt Eis
  3. Dual-GPU-Grafikkarte AMDs Radeon R9 295 X2 nur kurzfristig billiger

Zbox Pico im Test: Der Taschenrechner, der fast alles kann
Zbox Pico im Test
Der Taschenrechner, der fast alles kann

Rock n' Roll Racing (1993): Nachbrenner vom Schneesturm
Rock n' Roll Racing (1993)
Nachbrenner vom Schneesturm
  1. Ultima Underworld (1992) Der revolutionäre Dungeon Simulator
  2. Sid Meier's Colonization (1994) Auf Augenhöhe mit George Washington
  3. Star Wars X-Wing (1993) Flugsimulation mit R2D2 im Nacken

    •  / 
    Zum Artikel