Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline Amazon organisiert Daten, nicht nur in der Cloud

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Anzeige

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


Kommentieren



Anzeige

  1. Softwareentwickler (m/w) Web Frontend
    PTV Planung Transport Verkehr AG, Karlsruhe
  2. Software-Entwickler (m/w) / Software-Ingenieur (m/w) für Mess- und Analysesysteme
    Müller-BBM VibroAkustik Systeme GmbH, Planegg bei München
  3. Mitarbeiter (m/w) im Bereich Vorentwicklung Fahrerassistenzsysteme und hochautomatisiertes Fahren
    Robert Bosch Car Multimedia GmbH, Hildesheim
  4. Senior Software-Entwickler Java (m/w)
    über Personalstrategie GmbH, Raum München

 

Detailsuche


Spiele-Angebote
  1. PlayStation 4 - Konsole Ultimate Player 1TB Edition
    395,00€
  2. Aktion: Batman: Arkham Knight PS 4 kaufen und 10€ Gutschein auf Seasonpass erhalten
  3. NEU: Spiele für Nintendo 3DS reduziert

 

Weitere Angebote


Folgen Sie uns
       


  1. Tor-Netzwerk

    Öffentliche Bibliotheken sollen Exit-Relays werden

  2. Bitcoin

    Mt.-Gox-Gründer Mark Karpelès verhaftet

  3. Windows 10

    Microsoft gibt Enterprise-Version frei

  4. Schwachstellen

    Fernzugriff öffnet Autotüren

  5. Die Woche im Video

    Windows 10 bis zum Abwinken

  6. Oneplus 2 im Hands On

    Das Flagship-Killerchen

  7. #Landesverrat

    Range stellt Ermittlungen gegen Netzpolitik.org vorerst ein

  8. Biomimetik

    Roboter kann über das Wasser laufen

  9. Worms

    Kampfwürmer für zu Hause und die Hosentasche

  10. SQL-Dump aufgetaucht

    Generalbundesanwalt.de gehackt



Haben wir etwas übersehen?

E-Mail an news@golem.de



Microsoft: Die Neuerungen von Windows 10
Microsoft
Die Neuerungen von Windows 10
  1. Microsoft Über 14 Millionen sind bereits auf Windows 10 gewechselt
  2. Neuer Windows Store Windows 10 erlaubt deutlich weniger Parallelinstallationen
  3. Microsoft DVD-Player-App für Windows 10 nicht für jeden gratis

SIOD: Wenn die Anzeige auch in der Zeitung blinkt
SIOD
Wenn die Anzeige auch in der Zeitung blinkt
  1. Electric Skin Nanoforscher entwickeln hautähnliches Farbdisplay
  2. Panasonic FZ300 Superzoom-Kamera arbeitet mit f/2,8-Objektiv und 4K-Auflösung
  3. Panasonic Lumix GX8 Systemkamera ermöglicht Scharfstellung nach der Aufnahme

Windows 10 im Tablet-Test: Ein sinnvolles Windows für Tablets
Windows 10 im Tablet-Test
Ein sinnvolles Windows für Tablets
  1. Windows 10 Startmenü macht nach 512 Einträgen schlapp
  2. Windows 10 Erzwungene Updates können Treiberfehler verursachen
  3. Microsoft Pro-Lizenz von Windows 10 kostet 280 Euro

  1. gibts schon ein true- / ghost- image von einem...

    %username% | 09:57

  2. Re: Ist "immer mehr" (bzw. weniger) in dem Fall...

    neustart | 09:47

  3. Re: Wie kann man sich selbst 1 Millionen Dollar...

    Tzven | 09:31

  4. Re: Das wäre das Ende von Tor

    dudida | 09:26

  5. One million dollars...

    unknown75 | 09:25


  1. 12:40

  2. 12:00

  3. 11:22

  4. 10:34

  5. 09:37

  6. 18:46

  7. 17:49

  8. 17:26


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel