Abo
  • Services:
Anzeige
Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline: Amazon organisiert Daten, nicht nur in der Cloud

Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Anzeige

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


eye home zur Startseite



Anzeige

Stellenmarkt
  1. Landeshauptstadt München, München
  2. Flottweg SE, Vilsbiburg Raum Landshut
  3. Dirk Rossmann GmbH, Burgwedel
  4. Wilhelm Geiger GmbH & Co. KG, Oberstdorf


Anzeige
Top-Angebote
  1. 219,90€ + 7,98€ Versand (Vergleichspreis 269€)
  2. ab 179,99€

Folgen Sie uns
       


  1. Smartphone

    Apple könnte iPhone X verspätet ausliefern

  2. C't-Editorial kopiert

    Bundeswahlleiter stellt Strafanzeige gegen Brieffälscher

  3. Bundestagswahl 2017

    Viagra, Datenbankpasswörter und uralte Sicherheitslücken

  4. Auto

    Tesla will eigene Hardware für seine autonom fahrenden Autos

  5. Pipewire

    Fedora bekommt neues Multimedia-Framework

  6. Security

    Nest stellt komplette Alarmanlage vor

  7. Creators Update

    "Das zuverlässigste und sicherste Windows seit jeher"

  8. Apple iOS 11

    Wer WLAN und Bluetooth abschaltet, benutzt es weiter

  9. Minecraft

    Eine Server-Farm für (fast) alle Klötzchenbauer

  10. Kabelnetz

    Unitymedia bringt neue Connect App, Booster und Sprachsuche



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Wireless Qi: Wie die Ikealampe das iPhone lädt
Wireless Qi
Wie die Ikealampe das iPhone lädt
  1. Noch kein Standard Proprietäre Airpower-Matte für mehrere Apple-Geräte

E-Paper-Tablet im Test: Mit Remarkable machen digitale Notizen Spaß
E-Paper-Tablet im Test
Mit Remarkable machen digitale Notizen Spaß
  1. Smartphone Yotaphone 3 kommt mit großem E-Paper-Display
  2. Display E-Ink-Hülle für das iPhone 7

Lenovo Thinkstation P320 Tiny im Test: Viel Leistung in der Zigarrenschachtel
Lenovo Thinkstation P320 Tiny im Test
Viel Leistung in der Zigarrenschachtel
  1. Adware Lenovo zahlt Millionenstrafe wegen Superfish
  2. Lenovo Smartphone- und Servergeschäft sorgen für Verlust
  3. Lenovo Patent beschreibt selbstheilendes Smartphone-Display

  1. Re: Ja? Wieso funktioniert dann mein Edge und die...

    ckerazor | 12:49

  2. Re: Fakenews: Am 01.01.2023 wird das UKW-Radio...

    booyakasha | 12:49

  3. Re: Strafbar

    Christian72D | 12:49

  4. 197 MBit/s über vodafone.de Speedtest - 30 Mbit/s...

    andreasm | 12:49

  5. Re: Straftatbestand?

    Tantalus | 12:48


  1. 12:45

  2. 12:33

  3. 12:05

  4. 12:02

  5. 11:58

  6. 11:36

  7. 11:21

  8. 11:06


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel