Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline Amazon organisiert Daten, nicht nur in der Cloud

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Anzeige

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


Kommentieren



Anzeige

  1. Mitarbeiter (m/w) Kreditrisikoüberwachung
    easyCredit, Nürnberg
  2. Projektleiter/in Produktentwicklung
    Robert Bosch GmbH, Leonberg
  3. Applikationsingenieur/in PTC Windchill PDM Link
    Robert Bosch GmbH, Stuttgart-Feuerbach
  4. Oracle Entwickler/in
    NKK Programm Service AG, Regensburg

 

Detailsuche


Blu-ray-Angebote
  1. Blu-rays je 5 EUR
    (u. a. Dead Man Running, Romance & Cigarettes, Legendary, Tad Stones)
  2. 300: Rise of an Empire Ultimate Collectors Edition [3D Blu-ray] [Limited Edition]
    69,99€ statt 129,00€
  3. Prestige - Die Meister der Magie (Steelbook) (exklusiv bei Amazon.de) [Blu-ray] [Limited Edition]
    14,99€ (Release 31.3.)

 

Weitere Angebote


Folgen Sie uns
       


  1. LG

    Neue Android-Smartphones kosten ab 100 Euro

  2. Browserhersteller

    Firefox und Chrome erzwingen HTTP/2-Verschlüsselung

  3. Powerspy

    Stalking über den Akkuverbrauch

  4. LTE + Super Vectoring

    Hybridrouter der Telekom soll künftig 550 MBit/s bringen

  5. Huawei Mediapad T1 7.0

    7-Zoll-Tablet mit UMTS-Modem kostet 130 Euro

  6. Steam Machines

    Von A wie Alienware bis Z wie Zotac

  7. Steam Controller ausprobiert

    Konkurrenz für WASD und Maus

  8. Fujitsu Laboratories

    Software wertet Bewegungen auf schlechten Videos aus

  9. Spionage

    Auf der Jagd nach einem Gespenst

  10. Bundesnetzagentur

    Telefónica klagt gegen Mobilfunkauktion



Haben wir etwas übersehen?

E-Mail an news@golem.de



Modulares Smartphone im Hands on: Kinder spielen Lego, Große spielen Ara
Modulares Smartphone im Hands on
Kinder spielen Lego, Große spielen Ara
  1. Project Ara Erster Hersteller hat rund 100 Smartphone-Module fertig
  2. Modulares Smartphone Googles neuer Project-Ara-Prototyp
  3. Project Ara Erstes modulares Smartphone vorerst nur für Puerto Rico

Lenovo Vibe Shot im Hands On: Überzeugendes Kamera-Smartphone für 350 US-Dollar
Lenovo Vibe Shot im Hands On
Überzeugendes Kamera-Smartphone für 350 US-Dollar
  1. Adware Lenovo-Laptops durch Superfish-Adware angreifbar
  2. Lenovo Tab S8-50F im Test Uns stinkt's!
  3. Lenovo Anypen Auf dem Touchscreen mit beliebigem Stift schreiben

Wolfenstein: Jagd auf Rudi und Helga
Wolfenstein
Jagd auf Rudi und Helga

  1. Re: Gegenmaßnahmen

    ronlol | 15:05

  2. Re: Kinos sind _nicht_ wie Restaurants

    Eifelquelle | 15:04

  3. Re: Kategorisierung der Steam OS-Games je Steam...

    deutscher_michel | 15:00

  4. Und wenn man kein ausreichend schnelles DSL für...

    RipClaw | 15:00

  5. Re: Kinos innerhalb der nächsten 15 Jahre weg vom...

    PiranhA | 14:59


  1. 15:11

  2. 15:09

  3. 15:00

  4. 14:45

  5. 14:15

  6. 12:39

  7. 12:04

  8. 11:55


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel