Abo
  • Services:
Anzeige
Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline: Amazon organisiert Daten, nicht nur in der Cloud

Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Anzeige

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


eye home zur Startseite



Anzeige

Stellenmarkt
  1. technotrans AG, Münsterland, Warendorf, Sassenberg, Ostwestfalen-Lippe
  2. Columbus McKinnon Industrial Products GmbH, Wuppertal
  3. Schwarz Zentrale Dienste KG, Neckarsulm
  4. Continental AG, Frankfurt


Anzeige
Top-Angebote
  1. (u. a. Game of Thrones, Supernatural, The Big Bang Theory)
  2. (u. a. Blade Runner, Inception, Erlösung, Mad Max Fury Road, Creed, Legend of Zarzan)
  3. (u. a. Arrow, Pretty Little Liars, The Big Bang Theory, The 100)

Folgen Sie uns
       


  1. Purism Librem 13 im Test

    Freiheit hat ihren Preis

  2. Andy Rubin

    Drastischer Preisnachlass beim Essential Phone

  3. Sexismus

    US-Spielforum Neogaf offenbar abgeschaltet

  4. Kiyo und Seiren X

    Razer bringt Ringlicht-Webcam für Streamer

  5. Pixel 2 XL

    Google untersucht Einbrennen des Displays

  6. Max-Planck-Gesellschaft

    Amazon eröffnet AI-Center mit 100 Jobs in Deutschland

  7. Windows 10

    Trueplay soll Cheating beim Spielen verhindern

  8. Foto-App

    Weboberfläche von Google Fotos hat Bilderlücken

  9. Fahrzeugsicherheit

    Wenn das Auto seinen Fahrer erpresst

  10. Mate 10 Pro im Test

    Starkes Smartphone mit noch unauffälliger KI



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
APFS in High Sierra 10.13 im Test: Apple hat die MacOS-Dateisystem-Werkzeuge vergessen
APFS in High Sierra 10.13 im Test
Apple hat die MacOS-Dateisystem-Werkzeuge vergessen
  1. MacOS 10.13 Apple gibt High Sierra frei
  2. MacOS 10.13 High Sierra Wer eine SSD hat, muss auf APFS umstellen

Elex im Test: Schroffe Schale und postapokalyptischer Kern
Elex im Test
Schroffe Schale und postapokalyptischer Kern

Xperia Touch im Test: Sonys coolem Android-Projektor fehlt das Killerfeature
Xperia Touch im Test
Sonys coolem Android-Projektor fehlt das Killerfeature
  1. Roboter Sony lässt Aibo als Alexa-Konkurrenten wieder auferstehen
  2. Sony Xperia XZ1 Compact im Test Alternativlos für Freunde kleiner Smartphones
  3. Sony Xperia XZ1 und XZ1 Compact sind erhältlich

  1. Wurde gefixed

    PaulEwe | 14:06

  2. ein aktuelles ThinkPad T470s

    weberjn | 14:05

  3. Re: Katastrophale UX

    der_wahre_hannes | 14:05

  4. Re: Tesla geht das Geld aus, daher kommt jetzt...

    NoE | 14:00

  5. Re: Ich wäre ja mal froh wenn Golem sein...

    Grauer Wurm | 13:59


  1. 12:02

  2. 11:47

  3. 11:40

  4. 11:29

  5. 10:50

  6. 10:40

  7. 10:30

  8. 10:15


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel