Anzeige
Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline Amazon organisiert Daten, nicht nur in der Cloud

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Anzeige

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


eye home zur Startseite

Kommentieren



Anzeige

  1. Qualitätsmanager (m/w)
    HECTEC GmbH, Landshut-Altdorf
  2. UX Designer für Mobile Apps (m/w)
    Daimler AG, Ulm
  3. Automatisierungstechniker / Programmierer (m/w)
    Vogt-Plastic GmbH, Rheinfelden
  4. IT Infrastruktur Support (m/w)
    RATIONAL AG, Landsberg am Lech

Detailsuche



Anzeige
Hardware-Angebote
  1. TIPP: Amazon-Sale
    (reduzierte Überstände, Restposten & Co.)
  2. TIPP: PCGH i7-6700K Overclocking Aufrüst Kit @ 4,5 GHz
    nur 799,90€
  3. Bis zu 100 EUR Cashback beim Kauf einer Drohne von Parrot

Weitere Angebote


Folgen Sie uns
       


  1. Die Woche im Video

    Die Schoko-Burger-Woche bei Golem.de - mmhhhh!

  2. Zcryptor

    Neue Ransomware verbreitet sich auch über USB-Sticks

  3. LTE-Nachfolger

    Huawei schließt praktische Tests für Zukunftsmobilfunk ab

  4. Beam

    Neues Modul für Raumstation klemmt

  5. IT-Sicherheit

    SWIFT-Hack vermutlich größer als bislang angenommen

  6. Windows 10

    Microsoft bringt verdoppelten Virenschutz

  7. Audience Network

    Facebook trackt auch Nichtnutzer für Werbezwecke

  8. Statt Fernsehen

    Ministerrat will europaweite 700-MHz-Freigabe für Breitband

  9. Gran Turismo Sport

    Ein Bündnis mit der Realität

  10. Fensens Parksensor

    Einparken mit dem Smartphone



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Privacy-Boxen im Test: Trügerische Privatheit
Privacy-Boxen im Test
Trügerische Privatheit
  1. Hack von Rüstungskonzern Schweizer Cert gibt Security-Tipps für Unternehmen
  2. APT28 Hackergruppe soll CDU angegriffen haben
  3. Veröffentlichung privater Daten AfD sucht mit Kopfgeld nach "Datendieb"

Traceroute: Wann ist ein Nerd ein Nerd?
Traceroute
Wann ist ein Nerd ein Nerd?

Formel E: Monaco-Feeling beim E-Prix in Berlin-Mitte
Formel E
Monaco-Feeling beim E-Prix in Berlin-Mitte
  1. Hewlett Packard Enterprise "IT wird beim Autorennen immer wichtiger"
  2. Roborace Roboterrennwagen fahren mit Nvidia-Computer
  3. Elektromobilität BMW und Nissan wollen in die Formel E

  1. Re: Wieso denn so teuer?

    Prinzeumel | 09:47

  2. Re: was ist eigentlich mit

    seizethecheesl | 09:39

  3. Re: MS warnt? Die Unterstützen das doch.

    longthinker | 09:27

  4. Re: Adblocker sind die besseren Antiviren

    medium_quelle | 09:25

  5. Ja und? Es gibt reichlich Straßen wo ein LKW...

    derdiedas | 09:25


  1. 09:01

  2. 17:09

  3. 16:15

  4. 15:51

  5. 15:21

  6. 15:12

  7. 14:28

  8. 14:17


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel