Abo
  • Services:
Anzeige
Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline: Amazon organisiert Daten, nicht nur in der Cloud

Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Anzeige

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


eye home zur Startseite



Anzeige

Stellenmarkt
  1. CENIT AG, Stuttgart, deutschlandweit
  2. über Ratbacher GmbH, Köln
  3. über Schultz & Partner Unternehmens- & Personalberatung, Bremen
  4. Vaillant GmbH, Remscheid


Anzeige
Top-Angebote
  1. (u. a. ROG Strix GTX1080-8G-Gaming, ROG Strix GTX1070-8G-Gaming u. ROG Strix Radeon RX 460 OC)
  2. 79,90€ inkl. Versand

Folgen Sie uns
       


  1. Zero G

    Schwerelos im Quadrocopter

  2. Streaming

    Youtube hat 1 Milliarde US-Dollar an Musikindustrie gezahlt

  3. US-Wahl 2016

    Nein, Big Data erklärt Donald Trumps Wahlsieg nicht

  4. Online-Hundefutter

    150.000 Euro Strafe wegen unerlaubter Telefonwerbung

  5. Huawei

    Vectoring mit 300 MBit/s wird in Deutschland angewandt

  6. The Dash

    Bragi bekommt Bluetooth-Probleme nicht in den Griff

  7. Bugs in Encase

    Mit dem Forensik-Tool die Polizei hacken

  8. Autonomes Fahren

    Verbraucherschützer fordern "Algorithmen-TÜV"

  9. The Last Guardian im Test

    Gassi gehen mit einem computergesteuerten Riesenbiest

  10. E-Sport

    Cheats und Bots in Südkorea offenbar gesetzlich verboten



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
HPE: Was The Machine ist und was nicht
HPE
Was The Machine ist und was nicht
  1. IaaS und PaaS Suse bekommt Cloudtechnik von HPE und wird Lieblings-Linux
  2. Memory-Driven Computing HPE zeigt Prototyp von The Machine
  3. Micro Focus HP Enterprise verkauft Software für 2,5 Milliarden Dollar

Breath of the Wild: Spekulationen über spielbare Zelda
Breath of the Wild
Spekulationen über spielbare Zelda
  1. Konsole Nintendo gibt Produktionsende der Wii U bekannt
  2. Hybridkonsole Nintendo will im ersten Monat 2 Millionen Switch verkaufen
  3. Switch Nintendo erwartet breite Unterstützung durch Entwickler

Seoul-Incheon Ecobee ausprobiert: Eine sanfte Magnetbahnfahrt im Nirgendwo
Seoul-Incheon Ecobee ausprobiert
Eine sanfte Magnetbahnfahrt im Nirgendwo
  1. Transport Hyperloop One plant Trasse in Dubai

  1. wer glaubt das der durchbruch im autonomen fahren

    RaistlinMuc | 22:30

  2. Re: Manipulation erkennen

    M. | 22:16

  3. Re: Bullshit!

    GenXRoad | 22:14

  4. Re: Ok IT Forum aber wieso im so digital im Denken?

    Der Spatz | 22:12

  5. Re: Und dann ist es vorbei ...

    david_rieger | 22:09


  1. 18:49

  2. 17:38

  3. 17:20

  4. 16:42

  5. 15:05

  6. 14:54

  7. 14:50

  8. 14:14


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel