Abo
  • Services:
Anzeige
Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline: Amazon organisiert Daten, nicht nur in der Cloud

Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Anzeige

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


eye home zur Startseite



Anzeige

Stellenmarkt
  1. Circular Economy Solutions GmbH, Karlsruhe
  2. Diakonie-Klinikum Stuttgart Diakonissenkrankenhaus und Paulinenhilfe gGmbH, Stuttgart
  3. TUI Deutschland GmbH, Hannover
  4. ALDI SOUTH group, Mülheim an der Ruhr


Anzeige
Top-Angebote
  1. (50% Rabatt!)
  2. 219,00€ (Bestpreis!)
  3. (u. a. Gear VR 66,00€, Gear S3 277,00€)

Folgen Sie uns
       


  1. Komplett-PC

    In Nvidias Battleboxen steckt AMDs Ryzen

  2. Internet

    Cloudflare macht IPv6 parallel zu IPv4 jetzt Pflicht

  3. Square Enix

    Neustart für das Final Fantasy 7 Remake

  4. Agesa 1006

    Ryzen unterstützt DDR4-4000

  5. Telekom Austria

    Nokia erreicht 850 MBit/s im LTE-Netz

  6. Star Trek Bridge Crew im Test

    Festgetackert im Holodeck

  7. Quantenalgorithmen

    "Morgen könnte ein Physiker die Quantenmechanik widerlegen"

  8. Astra

    ZDF bleibt bis zum Jahr 2020 per Satellit in SD verfügbar

  9. Kubic

    Opensuse startet Projekt für Container-Plattform

  10. Frühstart

    Kabelnetzbetreiber findet keine Modems für Docsis 3.1



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Sphero Lightning McQueen: Erst macht es Brummbrumm, dann verdreht es die Augen
Sphero Lightning McQueen
Erst macht es Brummbrumm, dann verdreht es die Augen

Quantencomputer: Nano-Kühlung für Qubits
Quantencomputer
Nano-Kühlung für Qubits
  1. IBM Q Mehr Qubits von IBM
  2. Quantencomputer Was sind diese Qubits?
  3. Verschlüsselung Kryptographie im Quantenzeitalter

XPS 13 (9365) im Test: Dells Convertible zeigt alte Stärken und neue Schwächen
XPS 13 (9365) im Test
Dells Convertible zeigt alte Stärken und neue Schwächen
  1. Prozessor Intel wird Thunderbolt 3 in CPUs integrieren
  2. Schnittstelle Intel pflegt endlich Linux-Treiber für Thunderbolt
  3. Asus B9440 im Test Leichtes Geschäftsnotebook liefert zu wenig Business

  1. Re: Priv

    interlingueX | 21:00

  2. Re: Turk Telekom als Vergleich

    sneaker | 20:56

  3. Re: Meine Erfahrung als Störungssucher in Luxemburg

    Ovaron | 20:54

  4. Re: Geht einfacher.

    Der Held vom... | 20:49

  5. Re: Als Trekkie rollen sich mir da...

    ArcherV | 20:47


  1. 18:08

  2. 17:37

  3. 16:55

  4. 16:46

  5. 16:06

  6. 16:00

  7. 14:21

  8. 13:56


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel