AWS Data Pipeline: Amazon organisiert Daten, nicht nur in der Cloud
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline Amazon organisiert Daten, nicht nur in der Cloud

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Anzeige

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


Kommentieren



Anzeige

  1. Enterprise Architekt IT (m/w)
    Daimler AG, Sindelfingen
  2. Mitarbeiter in der Beratung (m/w) Prozesse und Methoden Produktdatenmanagement
    Daimler AG, Stuttgart-Untertürkheim
  3. Berater für ERP-Software (m/w)
    MACH AG, Berlin, Lübeck, Düsseldorf, München
  4. Kaufmännischer Sachbearbeiter (m/w) im Bereich Zahlungsverkehr
    LogPay Financial Services GmbH, Eschborn

 

Detailsuche


Folgen Sie uns
       


  1. iFixit

    Amazon Fire Phone ist nur schlecht zu reparieren

  2. Entwicklerstudio

    Crytek räumt finanzielle Probleme ein

  3. M-net

    Über 390 Kilometer Glasfaserkabel verlegt

  4. Bioelektronik

    Pilze sind die besten Zellschnittstellen

  5. Deanonymisierung

    Russland bietet 83.000 Euro für Enttarnung von Tor-Nutzern

  6. MyGlass

    Google-Glass-App offiziell in Deutschland verfügbar

  7. Google

    Youtube und der falsche Zeitstempel

  8. Western Digital

    Erste günstige 6-TByte-Festplatten sind verfügbar

  9. Projekt Baseline

    Google misst den menschlichen Körper aus

  10. IMHO

    Share Economy regulieren, nicht verbieten



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Überwachungssoftware: Ein warmes Mittagessen für den Staatstrojaner
Überwachungssoftware
Ein warmes Mittagessen für den Staatstrojaner
  1. Ex-CIA-Deutschlandchef Wir konnten Schröder leider nicht abhören
  2. Überwachung NSA-Ausschuss erwägt Einsatz mechanischer Schreibmaschinen
  3. Kontrollausschuss Die Angst der Abgeordneten, abgehört zu werden

Smartphone-Hersteller Xiaomi: Wie Apple, nur anders
Smartphone-Hersteller Xiaomi
Wie Apple, nur anders
  1. Flir One Wärmebildkamera fürs iPhone lieferbar
  2. Per Smartphone Paypal ermöglicht Bezahlen in Restaurants landesweit
  3. Datenübertragung Smartphone-Kompass spielt Musik durch Magnetkraft

Nvidia Shield Tablet ausprobiert: Schnelles Spiele-Tablet für Android mit WLAN-Controller
Nvidia Shield Tablet ausprobiert
Schnelles Spiele-Tablet für Android mit WLAN-Controller
  1. Tegra K1 Start von Nvidias Shield Tablet zeichnet sich ab
  2. GM200 und GM204 Nvidias große Maxwell-GPUs zeigen sich beim Zoll
  3. Dual-GPU-Grafikkarte EVGA macht Titan-Z schmaler und leiser als Nvidia

    •  / 
    Zum Artikel