Abo
  • Services:
Anzeige
Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline: Amazon organisiert Daten, nicht nur in der Cloud

Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Anzeige

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


eye home zur Startseite



Anzeige

Stellenmarkt
  1. über Robert Half Technology, München
  2. Bundesinstitut für Risikobewertung, Berlin
  3. BASF Services Europe GmbH, Berlin
  4. GHM Gesellschaft für Handwerksmessen mbH, München


Anzeige
Spiele-Angebote
  1. 54,85€
  2. 59,99€

Folgen Sie uns
       


  1. Up- und Download

    Breites Bündnis ruft nach flächendeckender Gbit-Versorgung

  2. Kurznachrichtendienst

    Twitter bewertet sich mit 30 Milliarden US-Dollar

  3. Microsoft

    Besucher können die Hololens im Kennedy Space Center nutzen

  4. MacOS 10.12

    Fujitsu warnt vor der Nutzung von Scansnap unter Sierra

  5. IOS 10.0.2

    Apple beseitigt Ausfälle der Lightning-Audio-Kontrollen

  6. Galaxy Note 7

    Samsung tauscht das Smartphone vor der Haustür aus

  7. Falcon-9-Explosion

    SpaceX grenzt Explosionsursache ein

  8. Die Woche im Video

    Schneewittchen und das iPhone 7

  9. 950 Euro

    Abmahnwelle zu Pornofilm-Filesharing von Betrügern

  10. Jailbreak

    19-Jähriger will iPhone-7-Exploit für sich behalten



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Starship Technologies: Es wird immer nach Diebstahl und Vandalismus gefragt
Starship Technologies
Es wird immer nach Diebstahl und Vandalismus gefragt
  1. Recore Mein Buddy, der Roboter
  2. Weltraumforschung DFKI-Roboter soll auf dem Jupitermond Europa abtauchen
  3. Softrobotik Oktopus-Roboter wird mit Gas angetrieben

PES 2017 im Test: Vom Feeling her ein gutes Gefühl
PES 2017 im Test
Vom Feeling her ein gutes Gefühl

Classic Computing 2016: Wie Nordhorn für ein Wochenende zu Nerdhome wurde
Classic Computing 2016
Wie Nordhorn für ein Wochenende zu Nerdhome wurde
  1. Fifa 17 Was macht Dragon Age in meiner Fifa-Demo?
  2. Feuerwerkwettbewerb Pyronale 2016 Erst IT macht prächtige Feuerwerke möglich
  3. Flüge gecancelt Delta Airlines weltweit durch Computerpanne lahmgelegt

  1. Re: Kommt drauf an

    Oktavian | 19:04

  2. Re: Für einen Dienst der nicht wächst und in den...

    CaptnCaps | 19:03

  3. Re: Erstmal bitte ISDN für jeden...

    Oktavian | 19:00

  4. Re: wonach die so rufen ...

    Oktavian | 18:58

  5. Ist Golem etwa für Shrillary?

    ManMashine | 18:53


  1. 15:10

  2. 13:15

  3. 12:51

  4. 11:50

  5. 11:30

  6. 11:13

  7. 11:03

  8. 09:00


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel