AWS Data Pipeline Amazon organisiert Daten, nicht nur in der Cloud

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Anzeige

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


Kommentieren



Anzeige

  1. IT Support Specialist (m/w) - Applikationsbetreuung
    Real Garant über Baden Executive Search Personalberatung GmbH, Neuhausen auf den Fildern
  2. Softwareentwickler (m/w) Java EE
    D.O.M. Datenverarbeitung GmbH, Nürnberg, Ingolstadt
  3. Quality Assurance Engineer / Rollout and System Integration (m/w)
    PAYBACK GmbH, München
  4. Business Analyst / Projekt Manager (m/w)
    Parts Europe GmbH, Wasserliesch bei Trier

 

Detailsuche


Folgen Sie uns
       


  1. Vic Gundotra

    Chef von Google Plus verlässt das Unternehmen

  2. Quartalsbericht

    Amazon weiter mit hohem Umsatz und etwas Gewinn

  3. Quartalsbericht

    Microsofts Gewinn und Umsatz fallen

  4. Element

    Schenkers Windows-Tablet ab 350 Euro - aber ohne Tastatur

  5. Epic Games

    Unreal Engine 4.1 mit Zugriff auf Konsolen-Quellcode

  6. Heartbleed-Bug

    Techfirmen zahlen Millionen für Open-Source-Sicherheit

  7. Sofortlieferung

    Base liefert Smartphone noch am gleichen Tag

  8. Leica T

    Teure Systemkamera mit Touchscreen

  9. The Elder Scrolls Online

    Inhaltserweiterung und Goldfarmer

  10. Sensabubble

    Display aus duftenden Seifenblasen



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Test Hitman Go: Auftragskiller to go
Test Hitman Go
Auftragskiller to go

Knobeln statt knebeln: In Hitman Go verrichtet Agent 47 sein ebenso lautloses wie blutiges Handwerk auf ungewohnte Art und Weise: Statt Schleich-Action ist Denksport angesagt. Der Titel bleibt dem Kern der Hitman-Reihe trotzdem treu - und macht schnell süchtig.

  1. Square Enix Kernzielgruppe statt globales Massenpublikum

Owncloud: Dropbox-Alternative fürs Heimnetzwerk
Owncloud
Dropbox-Alternative fürs Heimnetzwerk

Kaputte Zertifikate durch Heartbleed und der NSA-Skandal: Es gibt genügend Gründe, seinen eigenen Cloud-Speicher einzurichten. Wir erklären mit Owncloud auf einem Raspberry Pi, wie das funktioniert.


Windows 8.1 Update 1 im Test: Ein lohnenswertes Miniupdate
Windows 8.1 Update 1 im Test
Ein lohnenswertes Miniupdate

Microsoft geht wieder einen Schritt zurück in die Zukunft. Mit dem Update 1 baut der Konzern erneut Funktionen ein, die vor allem für Mausschubser gedacht sind. Wir haben uns das Miniupdate für Windows 8.1 pünktlich zur Veröffentlichung angesehen.

  1. Microsoft Installationsprobleme beim Windows 8.1 Update 1
  2. Windows 8.1 Update 1 Wieder mehr minimieren und schließen
  3. Microsoft Windows 8.1 Update 1 vorab verfügbar

    •  / 
    Zum Artikel