Abo
  • Services:
Anzeige
Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline: Amazon organisiert Daten, nicht nur in der Cloud

Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Anzeige

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


eye home zur Startseite



Anzeige

Stellenmarkt
  1. Plansee Group Service GmbH, Reutte (Österreich)
  2. T-Systems International GmbH, Leinfelden-Echterdingen, München, Hamburg, Bremen, Bonn
  3. Landeskreditbank Baden-Württemberg -Förderbank-, Karlsruhe
  4. T-Systems International GmbH, Leinfelden-Echterdingen, Bonn, Bremen, Hamburg, München


Anzeige
Hardware-Angebote
  1. 18,99€ inkl. Versand

Folgen Sie uns
       


  1. Verizon Communications

    Yahoo hat einen Käufer gefunden

  2. Deutschland

    Preiserhöhung bei Netflix jetzt auch für Bestandskunden

  3. Künstliche Intelligenz

    Softbank und Honda wollen sprechendes Auto bauen

  4. Alternatives Android

    Cyanogen soll zahlreiche Mitarbeiter entlassen

  5. Update

    Onedrive erstellt automatisierte Alben und erkennt Pokémon

  6. Die Woche im Video

    Ausgesperrt, ausprobiert, ausgetüftelt

  7. 100 MBit/s

    Zusagen der Bundesnetzagentur drücken Preis für Vectoring

  8. Insolvenz

    Unister Holding mit 39 Millionen Euro verschuldet

  9. Radeons RX 480

    Die Designs von AMDs Partnern takten höher - und konstanter

  10. Koelnmesse

    Tagestickets für Gamescom ausverkauft



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Dirror angeschaut: Der digitale Spiegel, der ein Tablet ist
Dirror angeschaut
Der digitale Spiegel, der ein Tablet ist
  1. Bluetooth 5 Funktechnik sendet mehr Daten auch ohne Verbindungsaufbau
  2. Smarter Schalter Wenn Github mit dem Lichtschalter klingelt
  3. Tony Fadell Nest-Gründer macht keine Omeletts mehr

Xiaomi Mi Band 2 im Hands on: Fitness-Preisbrecher mit Hack-App
Xiaomi Mi Band 2 im Hands on
Fitness-Preisbrecher mit Hack-App
  1. Xiaomi Hugo Barra verkündet Premium-Smartphone
  2. Redmi 3S Xiaomis neues Smartphone kostet umgerechnet 95 Euro
  3. Mi Band 2 Xiaomis neues Fitness-Armband mit Pulsmesser kostet 20 Euro

Geforce GTX 1060 im Test: Knapper Konter
Geforce GTX 1060 im Test
Knapper Konter
  1. Grafikkarte Nvidia bringt neue Titan X mit GP102-Chip für 1200 US-Dollar
  2. Notebooks Nvidia bringt Pascal-Grafikchips für Mobile im August
  3. Geforce GTX 1060 Schneller und sparsamer als die RX 480 - aber teurer

  1. Yahoo, AOL, Verizon

    Sharra | 14:32

  2. Re: WinZip?

    picaschaf | 14:29

  3. Kritik verstehe ich nicht

    ubuntu_user | 14:28

  4. Re: Die Leute mögen auch den kleinen Katalog nicht

    tehabe | 14:22

  5. Re: Ein Bezahlmodell pro Volumen wäre doch sinnvoll

    LH | 14:04


  1. 14:13

  2. 12:52

  3. 15:17

  4. 14:19

  5. 13:08

  6. 09:01

  7. 18:26

  8. 18:00


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel