Abo
  • Services:
Anzeige
Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline: Amazon organisiert Daten, nicht nur in der Cloud

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Anzeige

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


eye home zur Startseite



Anzeige

Stellenmarkt
  1. Daimler AG, Stuttgart-Wangen
  2. Daimler AG, Sindelfingen
  3. Daimler AG, Stuttgart
  4. Robert Bosch GmbH, Leonberg


Anzeige
Hardware-Angebote
  1. 126.99$/115,01€ mit Gutscheincode: Leecocde
  2. 229,99€
  3. bei Caseking

Folgen Sie uns
       


  1. taz

    Strafbefehl in der Keylogger-Affäre

  2. Respawn Entertainment

    Live Fire soll in Titanfall 2 zünden

  3. Bootcode

    Freie Firmware für Raspberry Pi startet Linux-Kernel

  4. Brandgefahr

    Akku mit eingebautem Feuerlöscher

  5. Javascript und Node.js

    NPM ist weltweit größtes Paketarchiv

  6. Verdacht der Bestechung

    Staatsanwalt beantragt Haftbefehl gegen Samsung-Chef

  7. Nintendo Switch im Hands on

    Die Rückkehr der Fuchtel-Ritter

  8. Raspberry Pi

    Compute Module 3 ist verfügbar

  9. Microsoft

    Hyper-V bekommt Schnellassistenten und Speicherfragmente

  10. Airbus-Chef

    Fliegen ohne Piloten rückt näher



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
U Ultra und U Play im Hands on: HTCs intelligente Smartphones hören immer zu
U Ultra und U Play im Hands on
HTCs intelligente Smartphones hören immer zu
  1. VR-Headset HTC stellt Kopfhörerband und Tracker für Vive vor
  2. HTC 10 Evo im Kurztest HTCs eigenwillige Evolution
  3. Virtual Reality HTC stellt Drahtlos-Kit für Vive vor

Taps im Test: Aufsatz versagt bei den meisten Fingerabdrucksensoren
Taps im Test
Aufsatz versagt bei den meisten Fingerabdrucksensoren
  1. Glas Der Wunderwerkstoff
  2. Smartphone-Prognosen Das Scheitern der Marktforscher
  3. Studie Smartphones und Tablets können den Körper belasten

Dienste, Programme und Unternehmen: Was 2016 eingestellt und geschlossen wurde
Dienste, Programme und Unternehmen
Was 2016 eingestellt und geschlossen wurde
  1. Kabel Mietminderung wegen defektem Internetkabel zulässig
  2. Grundversorgung Kanada macht Drosselung illegal
  3. Internetzugänge 50 MBit/s günstiger als 16 MBit/s

  1. Re: Bei Supermarkt-Kassen schon länger möglich

    BLi8819 | 18:05

  2. Re: Für das gebotene ist der Preis einfach zu hoch.

    motzerator | 18:04

  3. Re: Ich glaube das grundliegende Problem von...

    ark | 18:04

  4. Re: Erstaunliches Line-Up für das erste Jahr...

    eXXogene | 18:03

  5. Liste aller angekündigten Switch Games

    x00x | 18:01


  1. 18:02

  2. 17:38

  3. 17:13

  4. 14:17

  5. 13:21

  6. 12:30

  7. 12:08

  8. 12:01


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel