Anzeige
Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline Amazon organisiert Daten, nicht nur in der Cloud

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Anzeige

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


Kommentieren



Anzeige

  1. Softwareentwickler (m/w) Missionsplanungssystem
    FERCHAU Engineering GmbH, Großraum München/Ingolstadt
  2. Teamleiter IT-Applications (m/w)
    Bosch Communication Center Magdeburg GmbH, Magdeburg
  3. Embedded Software-Entwickler (Model Based) (m/w)
    MBtech Group GmbH & Co. KGaA, Sindelfingen, Stuttgart
  4. Kundendienstleiter (m/w)
    ASSA ABLOY Sicherheitstechnik GmbH, Berlin

Detailsuche


Hardware-Angebote
  1. Google Nexus 6P
    549,00€ statt 649,00€
  2. TIPP: Alternate Schnäppchen Outlet
    (täglich neue Deals)
  3. EVGA GeForce GTX 980 Superclocked ACX 2.0
    479,00€ statt 629,90€

Weitere Angebote


Folgen Sie uns
       


  1. Social Media

    Twitter verliert aktive Nutzer

  2. LG G5

    Semitransparente Klapphülle mit Touch-Funktion

  3. Geforce GTX 980 Ti

    EVGAs neue Karte wird mit VR-Zubehör ausgeliefert

  4. Office-Suite

    Libreoffice 5.1 mit überarbeiteter Oberfläche freigegeben

  5. Letzte Meile

    Telekom und Netzbetreiber streiten sich um neue TAL-Miete

  6. Eve Online

    Erfahrung ist eine galaktische Ware

  7. Datenschutzpanne

    Karnevalisten werfen mit Patientenakten um sich

  8. Gravitationswellen

    Ab heute wird alles anders!

  9. Staatliche Überwachung

    Die Regierung liest jeden Post

  10. Windows Insider

    Microsoft startet Release Previews von Windows 10



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
IMHO: Amazon krempelt den Spielemarkt um
IMHO
Amazon krempelt den Spielemarkt um
  1. Lumberyard Amazon veröffentlicht Engine auf Basis der Cryengine

Howto: Windows-Boot-Partitionen mit Veracrypt absichern
Howto
Windows-Boot-Partitionen mit Veracrypt absichern
  1. Verschlüsselung Nach Truecrypt kommt Veracrypt

Time Lab: Großes Kino
Time Lab
Großes Kino
  1. Forscher des IIS Sensoren am Körper bald ganz selbstverständlich
  2. Arbeitsschutz Deutscher Roboter schlägt absichtlich Menschen

  1. Re: Controller

    RayBlackX | 11:43

  2. Gravitonen Teleskop

    CraWler | 11:42

  3. Re: Ideale CPU

    DY | 11:41

  4. Re: Angabe der Akkukapazität wichtiger als Reichweite

    stiGGG | 11:39

  5. Gibts doch schon für andere Geräte

    TrollNo1 | 11:38


  1. 11:42

  2. 11:34

  3. 11:29

  4. 11:10

  5. 10:59

  6. 10:40

  7. 10:19

  8. 09:49


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel