AWS Data Pipeline Amazon organisiert Daten, nicht nur in der Cloud

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Anzeige

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


Kommentieren



Anzeige

  1. Business Intelligence Analyst Logistik (m/w)
    Home Shopping Europe GmbH, Ismaning (Raum München)
  2. Entwickler (m/w) SAP WM / LES (Warehouse Management)
    PAUL HARTMANN AG, Heidenheim
  3. Web-Entwickler (m/w)
    NEXUS Netsoft, Langenfeld
  4. IT Support Specialist (m/w) - Applikationsbetreuung
    Real Garant über Baden Executive Search Personalberatung GmbH, Neuhausen auf den Fildern

 

Detailsuche


Folgen Sie uns
       


  1. MPAA und RIAA

    Film- und Musikindustrie nutzte Megaupload intensiv

  2. F-Secure

    David Hasselhoff spricht auf der Re:publica in Berlin

  3. "Leicht zu verdauen"

    SAP bietet Ratenkauf und kündigt vereinfachte GUI an

  4. Test The Elder Scrolls Online

    Skyrim meets Standard-MMORPG

  5. AMD-Vize Lisa Su

    Geringe Chancen für 20-Nanometer-GPUs von AMD für 2014

  6. Bärbel Höhn

    Smartphone-Hersteller zu Diebstahl-Sperre zwingen

  7. Taxi-App

    Uber will trotz Verbot in weitere deutsche Städte

  8. First-Person-Walker

    Wie viel Gameplay braucht ein Spiel?

  9. Finanzierungsrunde

    Startup Airbnb ist zehn Milliarden US-Dollar wert

  10. Spähaffäre

    Snowden erklärt seine Frage an Putin



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
IMHO - Heartbleed und die Folgen: TLS entrümpeln
IMHO - Heartbleed und die Folgen
TLS entrümpeln

Die Spezifikation der TLS-Verschlüsselung ist ein Gemischtwarenladen aus exotischen Algorithmen und nie benötigten Erweiterungen. Es ist Zeit für eine große Entrümpelungsaktion.

  1. Bleichenbacher-Angriff TLS-Probleme in Java
  2. Revocation Zurückziehen von Zertifikaten bringt wenig
  3. TLS-Bibliotheken Fehler finden mit fehlerhaften Zertifikaten

Owncloud: Dropbox-Alternative fürs Heimnetzwerk
Owncloud
Dropbox-Alternative fürs Heimnetzwerk

Kaputte Zertifikate durch Heartbleed und der NSA-Skandal: Es gibt genügend Gründe, seinen eigenen Cloud-Speicher einzurichten. Wir erklären mit Owncloud auf einem Raspberry Pi, wie das funktioniert.


Test LG L40: Android 4.4.2 macht müde Smartphones munter
Test LG L40
Android 4.4.2 macht müde Smartphones munter

Mit dem L40 präsentiert LG eines der ersten Smartphones mit der aktuellen Android-Version 4.4.2, das unter 100 Euro kostet. Dank der Optimierungen von Kitkat überrascht die Leistung des kleinen Gerätes - und es dürfte nicht nur für Einsteiger interessant sein.

  1. LG G3 5,5-Zoll-Smartphone mit 1440p-Display und Kitkat
  2. LG L35 Smartphone mit Android 4.4 für 80 Euro
  3. Programmierbare LED-Lampe LG kündigt Alternative zur Philips Hue an

    •  / 
    Zum Artikel