Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline Amazon organisiert Daten, nicht nur in der Cloud

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Anzeige

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


Kommentieren



Anzeige

  1. Scientific Programmer (m/w)
    CeMM Research Center for Molecular Medicine of the Austrian Academy of Sciences, Vienna (Austria)
  2. IT-Projektmitarbeiter (m/w)
    Fachhochschule Südwestfalen, Hagen
  3. Mitarbeiter (m/w) IT Service Desk First / Second Level
    Heide-Park Soltau GmbH, Soltau
  4. Anwendungsberater/in für Lösungen im Produktbereich Bürgerservice
    Zweckverband Kommunale Informationsverarbeitung Baden-Franken, Heilbronn

 

Detailsuche


Hardware-Angebote
  1. ARCTIC Freezer 13 CO (mit 92mm PWM-Lüfter, für AMD u. Intel)
    26,19€ inkl. Versand
  2. TOPSELLER BEI ALTERNATE: G.Skill DIMM 8 GB DDR3-1600 Kit
    59,90€
  3. Das neue Roccat Kave XTD 5.1 Analog-Headset zum Angebotspreis
    99,99€

 

Weitere Angebote


Folgen Sie uns
       


  1. Xbox One

    Firmware-Update bringt Sprachnachrichten auf die Konsole

  2. Elektromobilitätsgesetz

    Bundesrat gibt Elektroautos mehr Freiheiten

  3. 2160p60

    Youtube startet fordernde 60-fps-Videos in scharfem 4K

  4. Nuclide

    Facebook stellt quelloffene IDE vor

  5. Test Borderlands Handsome Collection

    Pandora und Mond etwas schöner

  6. Net-a-Porter

    Amazon soll vor 2-Milliarden-Dollar-Übernahme stehen

  7. Fire TV mit neuer Firmware im Test

    Streaming-Box wird vielfältiger

  8. Knights Landing

    Die Xeon Phi beherbergt Intels bisher größten Chip

  9. Volker Kauder

    Mehr deutsche Teststrecken für selbstfahrende Autos gefordert

  10. Wearable

    Smartwatch Olio soll vor Benachrichtigungsflut schützen



Haben wir etwas übersehen?

E-Mail an news@golem.de



Episode Duscae angespielt: Final Fantasy ist endlich wieder zeitgemäß
Episode Duscae angespielt
Final Fantasy ist endlich wieder zeitgemäß
  1. Test Final Fantasy Type-0 HD Chaos und Kampf

Galaxy S6 im Test: Lebe wohl, Kunststoff!
Galaxy S6 im Test
Lebe wohl, Kunststoff!
  1. Galaxy S6 Active Samsungs wasserdichtes Topsmartphone
  2. Galaxy S6 und S6 Edge Samsung meldet 20 Millionen Vorbestellungen
  3. Galaxy S6 und S6 Edge im Hands on Rund, schnell, teuer

Banana Pi M2 angesehen: Noch kein Raspberry-Pi-Killer
Banana Pi M2 angesehen
Noch kein Raspberry-Pi-Killer
  1. MIPS Creator CI20 angetestet Die Platine zum Pausemachen
  2. Raspberry Pi 2 ausprobiert Schnell rechnen, langsam speichern

  1. Re: Alter hut

    Onkel Ho | 04:52

  2. Re: Kopfhörerhersteller Beats Electronics für 3...

    Sharra | 04:43

  3. Re: Wie wäre es zum Anfang

    Sharra | 04:42

  4. Re: Zurückgeben, wäre das richtige Wort.

    Sharra | 04:39

  5. Re: Das alte Trackpad

    Tzven | 04:24


  1. 17:09

  2. 15:52

  3. 15:22

  4. 14:24

  5. 14:00

  6. 13:45

  7. 13:44

  8. 13:05


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel