Anzeige
Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline: Amazon organisiert Daten, nicht nur in der Cloud

Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Anzeige

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


eye home zur Startseite

Kommentieren



Anzeige

Stellenmarkt
  1. HELUKABEL GmbH, Hemmingen
  2. ROHDE & SCHWARZ GmbH & Co. KG, München
  3. GENTHERM GmbH, Odelzhausen
  4. Wirecard Technologies GmbH, Aschheim bei München


Anzeige
Spiele-Angebote
  1. 49,99€
  2. 49,99€ (Vorbesteller-Preisgarantie)

Folgen Sie uns
       


  1. Vorstandard

    Nokia will bereits ein 5G-fähiges Netz haben

  2. Vielfliegerprogramm

    Hacker stehlen Millionen Air-India-Meilen

  3. Funknetz

    BVG bietet offenes WLAN auf vielen U-Bahnhöfen

  4. Curiosity

    Weitere Hinweise auf einst sauerstoffreiche Mars-Atmosphäre

  5. Helium

    Neues Gas aus Tansania

  6. Streaming

    Netflix arbeitet intensiv an einer Sprachsuche

  7. Millionenrückzahlung

    Gericht erklärt Happy Birthday für gemeinfrei

  8. Trials of the Blood Dragon im Test

    Motorräder im B-Movie-Rausch

  9. Raumfahrt

    Kepler Communications baut Internet für Satelliten

  10. Klage zum Leistungsschutzrecht

    Verlage ziehen gegen Google in die nächste Runde



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Schulunterricht: "Wir zocken die ganze Zeit Minecraft"
Schulunterricht
"Wir zocken die ganze Zeit Minecraft"
  1. Firaxis Games Lernen und prüfen mit Civilization Edu
  2. MCreator für Arduino Mit Klötzchen LEDs steuern
  3. Lifeboat-Community Minecraft-Spieler müssen sich neues Passwort craften

Oneplus Three im Test: Ein Alptraum für die Android-Konkurrenz
Oneplus Three im Test
Ein Alptraum für die Android-Konkurrenz
  1. Android-Smartphone Diskussionen um Speichermanagement beim Oneplus Three
  2. Smartphones Oneplus soll keine günstigeren Modellreihen mehr planen
  3. Ohne Einladung Oneplus Three kommt mit 6 GByte RAM für 400 Euro

Smart City: Der Bürger gestaltet mit
Smart City
Der Bürger gestaltet mit
  1. Vernetztes Fahren Bosch will (fast) alle Parkplatzprobleme lösen

  1. Re: Weshalb gibt Tesla keine PS mehr im...

    ldlx | 18:34

  2. Re: Selbst mit Subvention ~ 5¤ - kaum glaubwürdig.

    Rulf | 18:32

  3. Re: 4,9 Mio Euro in der ersten Ausbaustufe?

    Freiheit | 18:27

  4. Re: Und was wollen die jetzt genau damit??

    Der Held vom... | 18:26

  5. Re: endliche Ressourcen

    robinx999 | 18:25


  1. 18:25

  2. 18:17

  3. 17:03

  4. 16:53

  5. 16:44

  6. 15:33

  7. 14:47

  8. 14:00


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel