Abo
  • Services:
Anzeige
Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline: Amazon organisiert Daten, nicht nur in der Cloud

Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Anzeige

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


eye home zur Startseite



Anzeige

Stellenmarkt
  1. IAV GmbH - Ingenieurgesellschaft Auto und Verkehr, Gifhorn, Berlin
  2. Rentschler Biopharma SE, Laupheim
  3. Teambank AG, Nürnberg
  4. Bertrandt Ingenieurbüro GmbH, Köln


Anzeige
Hardware-Angebote
  1. ASUS-Gaming-Produkt kaufen und bis zu 150€ Cashback erhalten

Folgen Sie uns
       


  1. Monopol

    Qualcomm muss 1 Milliarde Euro Strafe an EU zahlen

  2. Eagle EG6330K

    Die Isetta wird elektrisch

  3. Alexa und Google Assistant im Test

    Okay Google, es ist Zeit für einen Sprachkurs

  4. SOS

    Pubg plus Dschungelcamp

  5. Ohne Abomodell

    Google bietet im Play Store Hörbücher an

  6. Dating-App

    Tinder-Apps übertragen Bilder unverschlüsselt

  7. Atos Bull Sequana X1000

    Jülich bekommt schnellsten deutschen Supercomputer

  8. Erneuerbare Energien

    Energieunternehmen verdient gut mit Teslas Netzspeicher

  9. Hydrogen One

    REDs Holo-Smartphone soll im Sommer 2018 erscheinen

  10. Pocketstar

    Mini-Mini-Game-Boy für den Schlüsselbund



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Matthias Maurer: Ein Astronaut taucht unter
Matthias Maurer
Ein Astronaut taucht unter
  1. Raumfahrt Nasa wählt zwei Missionen in unserem Sonnensystem aus
  2. Stratolaunch Systems Corporation Stratolaunch Carrier absolviert ersten Taxitest
  3. Kilopower Ein Kernreaktor für Raumsonden

Zahlungsverkehr: Das Bankkonto wird offener
Zahlungsverkehr
Das Bankkonto wird offener
  1. Gerichtsurteil Internet- und Fernsehkunden müssen bei Umzug weiterzahlen
  2. Breitbandmessung Provider halten versprochene Geschwindigkeit fast nie ein
  3. EU-Verordnung Verbraucherschützer gegen Netzsperren zum Verbraucherschutz

Indiegames-Rundschau: Krawall mit Knetmännchen und ein Mann im Fass
Indiegames-Rundschau
Krawall mit Knetmännchen und ein Mann im Fass
  1. Games 2017 Die besten Indiespiele des Jahres
  2. Indiegames-Rundschau Von Weltraumpiraten und dem Wunderdoktor

  1. Re: Preis bei Abo bei Audible

    Combo | 12:44

  2. Re: Abschlussnote 1,0 Dipl.-Inf. (Uni) ... ich...

    a user | 12:43

  3. Re: Erinnerungen im Kalender und SmartHome...

    Wanderdüne | 12:43

  4. Re: 9000 Euro pro MWh?

    Misel | 12:42

  5. Vorab Test per EMail - nie wieder!

    velo | 12:42


  1. 12:54

  2. 12:45

  3. 12:18

  4. 12:06

  5. 11:48

  6. 11:43

  7. 11:38

  8. 11:28


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel