Mapreduce: Apache Hadoop 1.0 veröffentlicht
"Apache Hadoop ist ein Framework, das die verteilte Verarbeitung großer Datenmengen auf Clustern mit vielen einzelnen Knoten mit einem einfachen Programmiermodell erlaubt", so beschreibt das Projekt Apache Hadoop(öffnet im neuen Fenster) seine Software. Hadoop ist darauf ausgelegt, von einem einzelnen Server bis hin zu tausenden Maschinen zu skalieren, bei denen jeder einzelne Knoten lokalen Speicher und Rechenleistung beisteuert. Das System wurde dabei so ausgelegt, dass es den Ausfall einzelner Knoten erkennt und handhaben kann, so dass ein hochverfügbarer Dienst entsteht.
Apache Hadoop kommt unter anderem bei Facebook, a9.com, AOL, IBM, Imageshack und Yahoo zum Einsatz. Facebook speichert nach eigenen Angaben Kopien seiner internen Log-Dateien und Dimensionsdatenquellen in Hadoop und benutzt das System für Reporting- und Analysezwecke sowie für maschinelles Lernen. Dabei kommen derzeit zwei große Hadoop-Cluster zum Einsatz, der größere verfügt über 1.100 Maschinen und 8.800 CPU-Kerne sowie rund 12 Petabyte an Speicherplatz.
Yahoo betreibt mehrere große Hadoop-Cluster mit insgesamt mehr als 100.000 CPUs in rund 40.000 Computern. Der größte Cluster verfügt über 4.500 Nodes. Eingesetzt wird Hadoop hier für das Werbesystem und die Websuche.
Apache Hadoop 1.0.0 umfasst neben den Basiswerkzeugen Hadoop Common auch das Hadoop Distributed File System (HDFS) und Hadoop Mapreduce. HDFS ist ein verteiltes Dateisystem, das auf hohen Datendurchsatz getrimmt ist. Daneben gibt es weitere Apache-Projekte, die in Verbindung mit Hadoop stehen, darunter das einst von Facebook entwickelte Hive(öffnet im neuen Fenster), eine Data-Warehouse-Infrastruktur, die Daten aggegriert und Ad-hoc-Abfragen ermöglicht sowie HBase(öffnet im neuen Fenster), eine skalierbare verteilte Datenbank, die das Speichern strukturierter Daten erlaubt. Yahoo steuerte einst die parallele Programmiersprache Pig(öffnet im neuen Fenster) bei. Mit Mahout(öffnet im neuen Fenster) gibt es zudem eine Bibliothek für maschinelles Lernen auf Basis von Hadoop.
Hadoop 1.0.0 basiert auf der stabilen Serie 0.20 und steht unter hadoop.apache.org(öffnet im neuen Fenster) zum Download bereit.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.