Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline Amazon organisiert Daten, nicht nur in der Cloud

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Anzeige

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


Kommentieren



Anzeige

  1. System Administrator Linux (m/w)
    Wirecard Technologies GmbH, Aschheim bei München
  2. Systemspezialist Bankensysteme (m/w)
    Wirecard Bank AG, Aschheim bei München
  3. Digital Specialist (m/w)
    Unilever Deutschland GmbH, Heilbronn
  4. Kundenberater für ERP-Projekte (m/w)
    ABACUS Business Solutions GmbH, München

 

Detailsuche


Blu-ray-Angebote
  1. VORBESTELLBAR: Jurassic World [Blu-ray]
    21,99€ (Vorbesteller-Preisgarantie)
  2. Avengers - Age of Ultron [Blu-ray]
    19,99€ (Vorbesteller-Preisgarantie)
  3. VORBESTELLBAR: Jurassic Park Collection - Dino-Skin Edition (exkl. bei Amazon.de) [Blu-ray] inkl. 2 EUR Gutschein für Jurassic World B
    29,99€ (Vorbesteller-Peisgarantie) - Release 11.06.

 

Weitere Angebote


Folgen Sie uns
       


  1. Unsichere Apps

    Millionen Kundendaten gefährdet

  2. Silk-Road-Prozess

    Lebenslange Haft für Ross Ulbricht

  3. Die Woche im Video

    Rasende Rennautos, gemächliches Google, schnelles Smartphone

  4. Kritische Infrastruktur

    Weitere Beweise für Geheimdienstangriff auf Bundestag

  5. Überwachung

    Berliner abgehört - aus Protest gegen die NSA

  6. Tor

    Hidden Services leichter zu deanonymisieren

  7. Telefónica

    Alle Base-Shops verschwinden

  8. Electronic Arts

    Nächstes Need for Speed benötigt Onlineverbindung

  9. Cloud Test Lab

    Google bringt Testservice für App-Entwickler

  10. Test Lara Croft Relic Run

    Tomb Raider auf Speed



Haben wir etwas übersehen?

E-Mail an news@golem.de



Android M: Google zeigt neues System für App-Berechtigungen
Android M
Google zeigt neues System für App-Berechtigungen
  1. Sprachassistent Google Now wird schlauer
  2. Google I/O Spezielles Google-Betriebssystem für Internet der Dinge

LG G4 im Test: Wer braucht schon den Snapdragon 810?
LG G4 im Test
Wer braucht schon den Snapdragon 810?
  1. LG G4 im Hands On Hervorragende Kamera und edle Leder-Optik
  2. Smartphone LG G4 kommt mit 16-Megapixel-Kamera
  3. Werbeaktion LG will 4.000 G4 vor dem Verkaufsstart verteilen

Digitaler Wandel: "Haben Sie Google zerschlagen, kommt der nächste"
Digitaler Wandel
"Haben Sie Google zerschlagen, kommt der nächste"
  1. Störerhaftung Abmahner fordern Registrierung aller WLAN-Nutzer
  2. Freifunker zur Störerhaftung Bundesweites WLAN-Passwort ist keine Lösung
  3. Störerhaftung Auch private Hotspots können geschäftsmäßig sein

  1. Re: Das geht aber eher in Richtung Facebook...

    Der Held vom... | 12:36

  2. Re: MIPS Architektur selten... alte schon

    DerVorhangZuUnd... | 12:35

  3. Re: Rechtslage für Geheimdienste doch eine ganz...

    cry88 | 12:33

  4. Re: Bevor ihn jetzt jemand verteidigen will:

    Lord Gamma | 12:31

  5. Re: "Russland-Prozessor" wird hier schon Bild...

    DerVorhangZuUnd... | 12:26


  1. 12:21

  2. 11:04

  3. 09:01

  4. 18:56

  5. 16:45

  6. 15:13

  7. 14:47

  8. 14:06


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel