Abo
  • Services:
Anzeige
Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline: Amazon organisiert Daten, nicht nur in der Cloud

Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Anzeige

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


eye home zur Startseite



Anzeige

Stellenmarkt
  1. Gothaer Systems GmbH, Köln
  2. Stadtwerke Bonn GmbH, Bonn
  3. TenneT TSO GmbH, Lehrte
  4. Vodafone Kabel Deutschland GmbH, München, Nürnberg, Ingolstadt, Würzburg und Waging


Anzeige
Hardware-Angebote
  1. 699,00€
  2. (täglich neue Deals)

Folgen Sie uns
       


  1. Verschlüsselung

    OpenSSL veröffentlicht Version 1.1.0

  2. DJI Osmo+

    Drohnenkamera am Selfie-Stick

  3. Kaffeehaus lädt Smartphone

    Starbucks testet Wireless Charging in Deutschland

  4. Power9

    IBMs 24-Kern-Chip kann 8 TByte RAM pro Sockel nutzen

  5. Für Werbezwecke

    Whatsapp teilt alle Telefonnummern mit Facebook

  6. Domino's

    Die Pizza kommt per Lieferdrohne

  7. IT-Support

    Nasa verzichtet auf Tausende Updates durch HP Enterprise

  8. BGH-Antrag

    Opposition will NSA-Ausschuss zur Ladung Snowdens zwingen

  9. Kollaborationsserver

    Nextcloud 10 verbessert Server-Administration

  10. Exo-Planet

    Der Planet von Proxima Centauri



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Next Gen Memory: So soll der Speicher der nahen Zukunft aussehen
Next Gen Memory
So soll der Speicher der nahen Zukunft aussehen
  1. Arbeitsspeicher DDR5 nähert sich langsam der Marktreife
  2. SK Hynix HBM2-Stacks mit 4 GByte ab dem dritten Quartal verfügbar
  3. Arbeitsspeicher Crucial liefert erste NVDIMMs mit DDR4 aus

Wiper Blitz 2.0 im Test: Kein spießiges Rasenmähen mehr am Samstag (Teil 2)
Wiper Blitz 2.0 im Test
Kein spießiges Rasenmähen mehr am Samstag (Teil 2)
  1. Warenzustellung Schweizer Post testet autonome Lieferroboter
  2. Lockheed Martin Roboter Spider repariert Luftschiffe
  3. Kinderroboter Myon Einauge lernt, Einauge hat Körper

8K- und VR-Bilder in Rio 2016: Wenn Olympia zur virtuellen Realität wird
8K- und VR-Bilder in Rio 2016
Wenn Olympia zur virtuellen Realität wird
  1. 400 MBit/s Telefónica und Huawei starten erstes deutsches 4.5G-Netz
  2. Medienanstalten Analoge TV-Verbreitung bindet hohe Netzkapazitäten
  3. Mehr Programme Vodafone Kabel muss Preise für HD-Einspeisung senken

  1. Re: Ganz einfach

    wasabi | 08:38

  2. Der Hersteller hätte gerne 750EUR...

    donadi | 08:37

  3. Re: Wer nicht Telegram nutzt

    Bleistiftspitze | 08:36

  4. Re: Tja...und Threema will selbst niemand...

    wasabi | 08:35

  5. Re: WC`ehn müsste Linux mittelfristg (ab 2020)

    manudrescher | 08:33


  1. 08:21

  2. 08:05

  3. 07:31

  4. 07:19

  5. 15:54

  6. 15:34

  7. 15:08

  8. 14:26


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel