AWS Data Pipeline: Amazon organisiert Daten, nicht nur in der Cloud
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline Amazon organisiert Daten, nicht nur in der Cloud

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Anzeige

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


Kommentieren



Anzeige

  1. IT-Prozess- und Anwendungsberater (m/w) Produktinformationsmanagement
    TRUMPF GmbH + Co. KG, Ditzingen (bei Stuttgart)
  2. SAP-Modulbetreuer (m/w) Rechnungswesen und Controlling
    HiPP-Werk Georg Hipp OHG, Pfaffenhofen (Raum Ingolstadt)
  3. Senior Manager CRM (m/w)
    Kontron AG, Augsburg
  4. Systemadministrator (m/w) Windows
    KDO Personaldienste, Oldenburg

 

Detailsuche


Folgen Sie uns
       


  1. Software Development Kit

    Linux-Support und geringere Latenz für Oculus Rift

  2. Big Brother Awards

    Österreich prämiert die EU Kommission und Facebook

  3. iFixit

    Touch-ID-Sensor im iPad mini 3 mit Klebstoff befestigt

  4. Illegales Streaming

    Razzien gegen Betreiber von Kinox.to

  5. Android 4.4.2

    Kitkat-Update für Motorola Razr HD wird verteilt

  6. Galaxy Note 4

    4,5 Millionen verkaufte Geräte in einem Monat

  7. Archos 50 Diamond

    LTE-Smartphone mit Full-HD-Display für 200 Euro

  8. Test Dreamfall Chapters Book One

    Neue Episode von The Longest Journey

  9. iPad Air 2 im Test

    Toll, aber kein Muss

  10. Nocomentator

    Filterkiste blendet Sportkommentare aus



Haben wir etwas übersehen?

E-Mail an news@golem.de



Aquabook 3: Das wassergekühlte Gaming-Notebook
Aquabook 3
Das wassergekühlte Gaming-Notebook
  1. Nepton 120XL und 240M Cooler Master macht Wasserkühlungen leiser
  2. DCMM 2014 Wenn PC-Gehäuse zu Kunstwerken werden

Hoverboard: Schweben wie Marty McFly
Hoverboard
Schweben wie Marty McFly
  1. Design-Fahrzeuge U-Bahnen in London sollen autonom fahren
  2. Fahrassistenzsystem Volvos virtueller Lkw-Beifahrer soll Unfälle verhindern
  3. Computergrafik US-Forscher modellieren Gesichter in Videos dreidimensional

Merkel auf IT-Gipfel: Netzneutralität wird erst im Glasfasernetz wichtig
Merkel auf IT-Gipfel
Netzneutralität wird erst im Glasfasernetz wichtig
  1. Digitale Verwaltung 2020 E-Mail soll Briefe und Amtsbesuche ersetzen
  2. Digitale Agenda Ein Papier, das alle enttäuscht
  3. Webmail Web.de kritisiert langsame De-Mail-Einführung der Regierung

    •  / 
    Zum Artikel