Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline Amazon organisiert Daten, nicht nur in der Cloud

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Anzeige

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


Kommentieren



Anzeige

  1. OpCon-Programmierer (m/w)
    Scheugenpflug AG, Neustadt an der Donau
  2. SPS-Programmierer (m/w)
    Ampack GmbH, Königsbrunn
  3. SAP-Entwickler (m/w) für ABAP & Process Integration
    Star Cooperation GmbH, Großraum Stuttgart
  4. Application Manager für Global Ordering (m/w)
    Daimler AG, Stuttgart

 

Detailsuche


Top-Angebote
  1. NEU: Filmfest - Eine Woche reduzierte Filme, Serien & Box-Sets
    (z. B. 5 Blu-rays für 30 EUR u. a. Terminator 3, Last Action Hero, Salt, Underworld Evolution...
  2. NEU: Risen 2: Dark Waters [Download]
    9,99€
  3. NEU: Blu-rays je 5 EUR
    (u. a. John Dies at the End, Odd Thomas, Ong-Bak, Daybreakers, The Guard)

 

Weitere Angebote


Folgen Sie uns
       


  1. Media Broadcast

    DVB-T2 verspricht exklusive Inhalte in 1080p/50

  2. Airbus E-Fan 2.0

    In 38 Minuten nach Calais

  3. Square Enix

    Mac-Version von Final Fantasy 14 zurückgezogen

  4. Smartphone

    Oneplus Two soll unter 450 US-Dollar kosten

  5. Derek Smart

    "Star Citizen wird es nie geben"

  6. IETF

    Rätselaufgaben gegen DDoS-Angriffe auf TLS

  7. Windows 10

    RTM-Version für diese Woche geplant

  8. Hero 4 Session ausprobiert

    Gopros neuer Zauberwürfel

  9. Protest

    WLAN-Störerhaftung soll gegen EU-Recht verstoßen

  10. Mojang

    Spezielle Version von Minecraft für Windows 10



Haben wir etwas übersehen?

E-Mail an news@golem.de



Musik-Streaming-Dienste: Apple Music klingt wie alle anderen
Musik-Streaming-Dienste
Apple Music klingt wie alle anderen
  1. Apple Music iCloud verpasst der eigenen Musik einen Kopierschutz
  2. Apple Music Beats 1 kann auch mit Android-Geräten gehört werden
  3. Musik-Streaming Apple einigt sich offenbar mit Indie-Labels

BND-Selektorenaffäre: Die Hasen vom Bundeskanzleramt
BND-Selektorenaffäre
Die Hasen vom Bundeskanzleramt
  1. Geheimdienst NSA spähte Dutzende Telefone der Regierung Brasiliens aus
  2. Ex-Minister Pofalla NSA-Affäre war doch nicht beendet
  3. BND-Sonderermittler Graulich Zen-Buddhist mit Billig-Smartphone und Virenscanner

Intel Compute Stick im Test: Der mit dem Lüfter streamt
Intel Compute Stick im Test
Der mit dem Lüfter streamt
  1. Management Intel-Präsidentin tritt zurück und Mobile-Chef muss gehen
  2. FPGAs Intel wird Kauf von Altera heute ankündigen
  3. FPGAs Intel will FPGA-Experten Altera doch noch kaufen

  1. Re: Was will man da noch aufspalten?

    Sharra | 02:13

  2. Re: Typisch Deutsch eben

    Sharra | 02:09

  3. Re: Komisch ist, dass bei den Griechen immer nur...

    teenriot* | 01:54

  4. Re: "Told you so..."

    Sammie | 01:38

  5. Re: Mit kommen die Tränen.

    burzum | 01:34


  1. 18:12

  2. 18:04

  3. 17:46

  4. 17:38

  5. 16:52

  6. 15:38

  7. 15:11

  8. 15:00


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel