Abo
  • Services:
Anzeige
Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

AWS Data Pipeline: Amazon organisiert Daten, nicht nur in der Cloud

Amazon-Chef Jeff Bezos auf der AWS re:invent
Amazon-Chef Jeff Bezos auf der AWS re:invent (Bild: Richard Brian/Reuters)

Mit der AWS Data Pipeline hat Amazon einen Dienst vorgestellt, der Daten automatisch von einem zum anderen System verschieben und auch verarbeiten kann. Das funktioniert mit Daten in Amazons Cloud ebenso wie mit Daten auf anderen Rechnern.

Amazon will mit AWS Data Pipeline die wachsenden Datenmengen, die auf unterschiedlichen Systemen in unterschiedlichen Formaten liegen, einfacher handhabbar machen. Der Dienst kann beispielsweise Logfiles von Amazons EC2-Servern einsammeln und in S3 speichern, aber auch deutlich komplexere Aufgaben abwickeln.

Anzeige

Dazu lassen sich in der AWS Management Console beliebige Pipelines definieren, die aus mehreren Datenquellen, Bedingungen, Zielen, Verarbeitungsschritten und Zeitplänen bestehen. Es wird also festgelegt, welche Daten von welchen Systemen wann und unter welchen Bedingungen geholt werden sollen, wie diese zu verarbeiten sind und wo die Ergebnisse landen sollen. Solche Pipeline-Definitionen können aber auch extern in Textform angelegt werden.

Die Pipelines werden dann entsprechend den eingestellten Zeitplänen ausgeführt, beispielsweise stündlich, täglich oder einmal in der Woche, vorausgesetzt, die definierten Bedingungen sind erfüllt. So kann unter anderem festgelegt werden, dass der Prozess nur anlaufen soll, wenn eine bestimmte Datei auch vorhanden ist.

Die dabei vorzunehmende Datenverarbeitung kann in Amazons Cloud auf EC2-Instanzen oder einem Elastic-Mapreduce-Cluster abgewickelt werden, aber auch auf Systemen, die physisch beim Kunden stehen. Dazu stellt Amazon mit Task Runner ein Open-Source-Werkzeug zur Verfügung, das sich Aufgaben aus der AWS Data Pipeline holt und abarbeitet. Es muss dazu auf den Systemen laufen, auf denen Daten verarbeitet werden sollen.

Derzeit steht AWS Data Pipeline allerdings nur in Form eines beschränkten Betatests zur Verfügung, demnächst soll der Dienst aber regulär starten.


eye home zur Startseite



Anzeige

Stellenmarkt
  1. HORNBACH, Großraum Mannheim/Karlsruhe
  2. MAHLE Powertrain GmbH, Ingolstadt
  3. Robert Bosch GmbH, Reutlingen
  4. Gebr. Bode GmbH & Co. KG, Kassel


Anzeige
Hardware-Angebote
  1. (reduzierte Überstände, Restposten & Co.)
  2. 120,99€

Folgen Sie uns
       


  1. Alternatives Betriebssystem

    Jolla will Sailfish OS auf Sony-Smartphones bringen

  2. Gamesbranche

    PC-Plattform ist bei Spielentwicklern am beliebtesten

  3. Digitale Assistenten

    Google und Amazon kämpfen um Vorherrschaft

  4. Xperia Touch im Hands on

    Projektor macht jeden Tisch Android-tauglich

  5. RetroPie

    Distribution hat keine Rechte mehr am eigenen Namen

  6. Nokia 3310 im Hands on

    Der Nokia-Knochen mit Hipsterpotenzial

  7. Auto

    Macchina M2 bietet Zugriff auf Fahrzeugelektronik

  8. Pro x2 G2

    HPs Surface-Konkurrent bekommt neue Hardware

  9. Security

    Bluetooth-Skimming an der Supermarktkasse

  10. Windows 10 Creators Update

    Optionale Einstellung erlaubt nur noch Apps aus dem Store



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Galaxy-A-Serie vs. P8 Lite (2017): Samsungs und Huaweis Kampf um die Mittelklasse
Galaxy-A-Serie vs. P8 Lite (2017)
Samsungs und Huaweis Kampf um die Mittelklasse
  1. Wettbewerbsverstoß Google soll Tizen behindert haben
  2. Strafverfahren De-facto-Chef von Samsung wegen Korruption verhaftet
  3. Samsung Preisliches Niveau der QLED-Fernseher in der Nähe der OLEDs

Fire TV Stick 2 mit Alexa im Hands on: Amazons attraktiver Einstieg in die Streaming-Welt
Fire TV Stick 2 mit Alexa im Hands on
Amazons attraktiver Einstieg in die Streaming-Welt
  1. Fernsehstreaming Fire-TV-App von Waipu TV bietet alle Kanäle kostenlos
  2. Fire TV Amazon bringt Downloader-App wieder zurück
  3. Amazon Downloader-App aus dem Fire-TV-Store entfernt

Bodyhacking: Ich, einfach unverbesserlich
Bodyhacking
Ich, einfach unverbesserlich

  1. Re: Bargeld lacht

    Tantalus | 15:05

  2. Re: Erstaunlich klarer VR Favorit?

    Dwalinn | 15:03

  3. Re: Bezahlte Leistungen einzufordern und Angebote...

    DAUVersteher | 15:03

  4. Re: Liegeposition

    gadthrawn | 15:02

  5. Newcomer?

    Serenity | 15:01


  1. 14:31

  2. 14:21

  3. 14:16

  4. 13:30

  5. 12:49

  6. 12:02

  7. 12:00

  8. 11:44


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel