Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline Amazon organisiert Daten, nicht nur in der Cloud

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Anzeige

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


Kommentieren



Anzeige

  1. Traineeprogramm mit dem Schwerpunkt IT
    EWE Aktiengesellschaft, Oldenburg
  2. Applikationsspezialist (m/w) SharePoint
    Dürr IT Service GmbH, Bietigheim-Bissingen
  3. Consultant - Rollout eines CMS (m/w)
    Daimler AG, Stuttgart
  4. eBusiness Engineer (m/w) - Connected Services
    Robert Bosch GmbH, Karlsruhe

 

Detailsuche


Blu-ray-Angebote
  1. Fast & Furious 7 [Blu-ray]
    21,99€ mit Vorbesteller-Preisgarantie
  2. TOPSELLER: Ghostbusters I & II (2 Discs) (4K Mastered) [Blu-ray]
    9,99€
  3. Mad Max 2 - Der Vollstrecker (Steelbook) (exklusiv bei Amazon.de) [Blu-ray] [Limited Edition]
    14,99€ - Release 07.05.

 

Weitere Angebote


Folgen Sie uns
       


  1. Star Wars Battlefront

    Planetenkampf vor dem Erwachen der Macht

  2. Geodaten

    200 Beschäftigte verpixelten Google-Street-View-Häuser

  3. Windkraftwerke

    Kletterroboter überprüft Windräder

  4. Inside Abbey Road

    Mit Google durch das berühmteste Musikstudio der Welt

  5. ÖBB

    WLAN im Spaceshuttle einfacher zu machen als im Zug

  6. Google

    Chrome unterstützt Windows XP bis Ende 2015

  7. Kernel

    GNU Hurd 0.6 erschienen

  8. Highway Star

    Wikos Alu-Smartphone kostet 370 Euro

  9. MM1

    VR-Stuhl mit Fünf-Punkte-Gurt

  10. Linux 4.0

    Fedora wird Live-Patching vorerst nicht nutzen



Haben wir etwas übersehen?

E-Mail an news@golem.de



Roboter: Festos Falter fliegen fleißig
Roboter
Festos Falter fliegen fleißig
  1. Care-O-bot Der Gentleman-Roboter gibt sich die Ehre
  2. Festo Ameisenroboter krabbeln koordiniert
  3. Moley Robotics Heute kocht der Roboter

GTA 5: Es ist doch nicht 2004!
GTA 5
Es ist doch nicht 2004!
  1. GTA 5 auf dem PC Erst beschränkter Zugriff, dann mehr Freiheit
  2. GTA 5 PC Rockstar Games gibt Systemanforderungen für Ultra-HD bekannt
  3. GTA 5 PC angespielt Los Santos ohne Staubschleier

Google Handschrifteingabe im Hands on: App erkennt sogar krakelige Handschriften
Google Handschrifteingabe im Hands on
App erkennt sogar krakelige Handschriften
  1. MTCast für Android Mediathek-Cast-App kehrt nicht in den Play Store zurück
  2. Parkpocket App hilft bei der Parkplatzsuche
  3. Screenpop Neuer Messenger schickt Fotos direkt auf Sperrbildschirm

  1. Re: Eigentlich kann man mit diesem Quatsch mal...

    rj.45 | 04:28

  2. Re: In Deutschland: ICE mit 80kmh.

    Onkel Ho | 04:07

  3. Re: Geschwindigkeit im Video nur ~200km/h

    das_mav | 03:37

  4. Ist auch die Frage inwieweit die Quelle des Auto...

    MarioWario | 03:31

  5. Re: Auch für Nexus 4!

    Tzven | 03:29


  1. 20:53

  2. 19:22

  3. 18:52

  4. 16:49

  5. 16:35

  6. 15:14

  7. 14:53

  8. 14:43


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel