Elastic MapReduce - Amazon vermietet Hadoop-Cluster

Neuer Webservice von Amazon nutzt EC2 und S3

Amazon bietet mit seinem neuen Dienst Amazon Elastic MapReduce einen Hadoop-Cluster zum Mieten an. Damit lassen sich große Datenmengen auf verteilten Systemen verarbeiten.

Wer bislang einen Hadoop-Cluster auf Amazons Infrastruktur betreiben wollte, musste entsprechende EC2-Instanzen recht aufwendig konfigurieren. Mit Elastic MapReduce will Amazon solche Nutzungsszenarien nun deutlich vereinfachen und stellt einen Hadoop-Cluster bereit.

Das Apache-Projekt Hadoop entwickelt eine freie Implementierung des von Google entwickelten MapReduce, das unter anderem auch von Yahoo genutzt wird. Damit lassen sich große Datenmengen, wie sie beispielsweise bei Suchmaschinen anfallen, auf verteilten Systemen verarbeiten. Das System eignet sich unter anderem für Datamining, Logfileanalyse, maschinelles Lernen, Finanzanalyse und wissenschaftliche Simulationen.

Amazon kombiniert seinen Elastic MapReduce mit seinen Webservices Elastic Compute Cloud (EC2) und Simple Storage Service (S3). Wie bei diesen Diensten wird auch Elastic MapReduce nach Nutzung abgerechnet. Amazon verlangt 1,5 bis 12 Cent pro Stunde Rechenleistung zusätzlich zu den anfallenden EC2-Gebühren. Wird mehr Rechenleistung benötigt, lassen sich leicht weitere Hadoop-Knoten starten. Die Ergebnisse landen in S3.