Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline Amazon organisiert Daten, nicht nur in der Cloud

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Anzeige

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


Kommentieren



Anzeige

  1. Senior Technical Director Internet Backbone (m/w)
    Deutsche Telekom Technik GmbH, Münster
  2. Inhouse Sharepoint Consultant (m/w)
    ElringKlinger AG, Dettingen an der Erms
  3. Produktmanager (m/w)
    BRUNATA Wärmemesser-Ges. Schultheiss GmbH + Co., Hürth
  4. Prozessmanager (m/w)
    Versicherungskammer Bayern, München

Detailsuche


Spiele-Angebote
  1. Xbox One The Witcher: Wild Hunt Bundle
    399,00€
  2. Mafia III
    59,99€ mit Vorbesteller-Preisgarantie
  3. VORBESTELLBAR: PlayStation 4 - Konsole (1TB) Star Wars Battlefront Limited Edition
    499,00€ (Vorbesteller-Preisgarantie)

Weitere Angebote


Folgen Sie uns
       


  1. Sony Xperia Z5 Premium

    Ein 4K-Display macht noch längst kein 4K-Smartphone

  2. Ifa-Ausblick im Video

    Notebook mit Wasserkühlung, ein Smartphone und eine Uhr

  3. Samsung Gear S2 im Hands on

    Drehbarer Ring schlägt Touchscreen

  4. Mobiles Internet

    Vodafone überbrückt Warten auf DSL-Anschluss mit Surfstick

  5. Alienware X51 R3

    Mini-PC setzt auf interne WaKü und externe Grafikkarten-Box

  6. Cross-Site-Scripting

    Netflix stellt Tool zum Auffinden von Sicherheitslücken vor

  7. Asynchronous Shader

    Nvidias Grafikkarten soll eine wichtige DX12-Funktion fehlen

  8. Huawei G8

    Neues Smartphone mit Fingerabdrucksensor für 400 Euro

  9. Pioneer XDP-100R

    Android-basierter Hi-Res-Audio-Player

  10. Verbraucherschützer

    Nicht über neue Hardware bei All-IP-Umstellung informiert



Haben wir etwas übersehen?

E-Mail an news@golem.de



Primove in der Hauptstadt: Berlin hat wieder eine E-Bus-Linie
Primove in der Hauptstadt
Berlin hat wieder eine E-Bus-Linie
  1. Berliner Verkehrsbetriebe Update legt elektronischen Echtzeit-Fahrplan tagelang lahm
  2. Bombardier Primove Eine E-Busfahrt, die ist lustig
  3. Bombardier Primove Erste Tests mit Induktionsbussen in Berlin

Digiskopie ausprobiert: Ich schau dir in die Augen, Wildes!
Digiskopie ausprobiert
Ich schau dir in die Augen, Wildes!
  1. Modulo Neue Kamera belichtet nie über
  2. Obstruction-Free Photography Algorithmus entfernt störende Elemente aus Fotos
  3. Flir One Hochauflösende Wärmebildkamera für iOS und Android

TempleOS im Test: Göttlicher Hardcore
TempleOS im Test
Göttlicher Hardcore
  1. Windows-10-Updates Microsoft intensiviert die Geheimniskrämerei
  2. Windows-Insider-Programm Chrome hat Probleme mit Windows 10 Build 10525
  3. Microsoft Erster Insider-Build seit dem Erscheinen von Windows 10

  1. Re: Gerade mal soviel Aufloesung wie ein Handy ...

    elidor | 07:48

  2. Re: Einfach dumm

    violator | 07:47

  3. Re: Interessant da denkt noch jemand über das UI nach

    violator | 07:44

  4. Re: Erster Gedanke

    elidor | 07:41

  5. Re: Owncloud auf 1&1 Server?

    chefin | 07:36


  1. 07:00

  2. 22:52

  3. 19:00

  4. 18:14

  5. 18:09

  6. 17:34

  7. 16:42

  8. 16:33


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel