Anzeige
Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline Amazon organisiert Daten, nicht nur in der Cloud

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Anzeige

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


eye home zur Startseite

Kommentieren



Anzeige

  1. Solution Inhouse Consultant PLM (m/w)
    Phoenix Contact GmbH & Co. KG, Blomberg
  2. Head of Software Development / Leiter Softwareentwicklung (m/w)
    Hella Gutmann Solutions GmbH, Ihringen
  3. Erfahrener Berater "IT Strategy & IT Efficiency" (m/w)
    Detecon International GmbH, Köln, Frankfurt am Main
  4. ERP-Betreuer (m/w)
    Schafferer & Co. KG, Freiburg im Breisgau

Detailsuche



Anzeige
Top-Angebote
  1. XCOM 2 - [PC]
    24,99€
  2. TIPP: Sandisk Extreme 500 Portable 120-GB-SSD, USB 3.0
    49,99€ inkl. Versand (Vergleichspreis ab 55€)
  3. NEU: PlayStation 4 - Konsole (1TB) + Uncharted 4: A Thief's End
    369,00€

Weitere Angebote


Folgen Sie uns
       


  1. USA

    Furcht vor Popcorn Time auf Set-Top-Boxen

  2. Unplugged

    Youtube will Fernsehprogramm anbieten

  3. Festnetz

    Telekom-Chef verspricht 500 MBit/s im Kupfernetz

  4. Uncharted 4 im Test

    Meisterdieb in Meisterwerk

  5. Konkurrenz für Bandtechnik

    EMC will Festplatten abschalten

  6. Mobilfunk

    Telekom will bei eSIM keinen Netzwechsel zulassen

  7. Gründung von Algorithm Watch

    Achtgeben auf Algorithmen

  8. Mobilfunk

    Störung zwischen E-Plus-Netz und Telekom

  9. Bug-Bounty-Programm

    Facebooks jüngster Hacker

  10. Taxidienst

    Mytaxi-Bestellungen jetzt per Whatsapp möglich



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Snapchat: Wir kommen in Frieden
Snapchat
Wir kommen in Frieden
  1. O2-Mobilfunknetz Snapchat-Nutzer in Deutschland sind Schüler
  2. Snapchat-Update Fließender Wechsel zwischen Text, Video und Audio
  3. Messaging Snapchat kauft Bitstrips für über 100 Millionen US-Dollar

Gardena Smart Garden im Test: Plug and Spray mit Hindernissen
Gardena Smart Garden im Test
Plug and Spray mit Hindernissen
  1. Revolv Google macht Heimautomatisierung kaputt
  2. Intelligentes Heim Alphabet könnte sich von Nest trennen
  3. You-Rista Kaffeemaschine mit App-Anschluss

Netzpolitik: Edward Snowden ist genervt
Netzpolitik
Edward Snowden ist genervt
  1. Snowden Natural Born Knüller
  2. NSA-Affäre BND-Chef Schindler muss offenbar gehen
  3. Panama-Papers 2,6 TByte Daten zu dubiosen Offshore-Firmen

  1. Re: Audio

    laoladabamba | 23:37

  2. Re: Hauptproblem Massenmarkt!!!

    Unfug | 23:33

  3. Re: Popcorn Time? Ernsthaft?

    Wallbreaker | 23:30

  4. Re: ... verspricht 500 Mbit/s bei unter 100 Meter ...

    HibikiTaisuna | 23:24

  5. Re: Set-Top-Boxen und Kopien

    tingelchen | 23:16


  1. 13:08

  2. 11:31

  3. 09:32

  4. 09:01

  5. 19:01

  6. 16:52

  7. 16:07

  8. 15:26


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel