Abo
  • Services:

Mapreduce: Apache Hadoop 1.0 veröffentlicht

Die Apache Software Foundation hat Apache Hadoop in der Version 1.0.0 veröffentlicht. Hadoop basiert auf dem Mapreduce-Algorithmus von Google und erlaubt es, sehr große Datenmengen im Petabyte-Bereich auf Clustern aus vielen Einzelrechnern zu verarbeiten.

Artikel veröffentlicht am ,
Hadoop 1.0.0 mit HDFS und Mapreduce
Hadoop 1.0.0 mit HDFS und Mapreduce (Bild: Apache Software Foundation)

"Apache Hadoop ist ein Framework, das die verteilte Verarbeitung großer Datenmengen auf Clustern mit vielen einzelnen Knoten mit einem einfachen Programmiermodell erlaubt", so beschreibt das Projekt Apache Hadoop seine Software. Hadoop ist darauf ausgelegt, von einem einzelnen Server bis hin zu tausenden Maschinen zu skalieren, bei denen jeder einzelne Knoten lokalen Speicher und Rechenleistung beisteuert. Das System wurde dabei so ausgelegt, dass es den Ausfall einzelner Knoten erkennt und handhaben kann, so dass ein hochverfügbarer Dienst entsteht.

Stellenmarkt
  1. M-net Telekommunikations GmbH, München
  2. McService GmbH, München

Apache Hadoop kommt unter anderem bei Facebook, a9.com, AOL, IBM, Imageshack und Yahoo zum Einsatz. Facebook speichert nach eigenen Angaben Kopien seiner internen Log-Dateien und Dimensionsdatenquellen in Hadoop und benutzt das System für Reporting- und Analysezwecke sowie für maschinelles Lernen. Dabei kommen derzeit zwei große Hadoop-Cluster zum Einsatz, der größere verfügt über 1.100 Maschinen und 8.800 CPU-Kerne sowie rund 12 Petabyte an Speicherplatz.

Yahoo betreibt mehrere große Hadoop-Cluster mit insgesamt mehr als 100.000 CPUs in rund 40.000 Computern. Der größte Cluster verfügt über 4.500 Nodes. Eingesetzt wird Hadoop hier für das Werbesystem und die Websuche.

Apache Hadoop 1.0.0 umfasst neben den Basiswerkzeugen Hadoop Common auch das Hadoop Distributed File System (HDFS) und Hadoop Mapreduce. HDFS ist ein verteiltes Dateisystem, das auf hohen Datendurchsatz getrimmt ist. Daneben gibt es weitere Apache-Projekte, die in Verbindung mit Hadoop stehen, darunter das einst von Facebook entwickelte Hive, eine Data-Warehouse-Infrastruktur, die Daten aggegriert und Ad-hoc-Abfragen ermöglicht sowie HBase, eine skalierbare verteilte Datenbank, die das Speichern strukturierter Daten erlaubt. Yahoo steuerte einst die parallele Programmiersprache Pig bei. Mit Mahout gibt es zudem eine Bibliothek für maschinelles Lernen auf Basis von Hadoop.

Hadoop 1.0.0 basiert auf der stabilen Serie 0.20 und steht unter hadoop.apache.org zum Download bereit.



Anzeige
Hardware-Angebote
  1. 1.299,00€
  2. (reduzierte Überstände, Restposten & Co.)
  3. 119,90€

Folgen Sie uns
       


Fallout 76 - Fazit

Fallout 76 ist in vielerlei Hinsicht nicht wie seine Vorgänger. Warum, erklären wir im Test-Video.

Fallout 76 - Fazit Video aufrufen
Red Dead Online angespielt: Schweigsam auf der Schindmähre
Red Dead Online angespielt
Schweigsam auf der Schindmähre

Der Multiplayermodus von Red Dead Redemption 2 schickt uns als ehemaligen Strafgefangenen in den offenen Wilden Westen. Golem.de hat den handlungsgetriebenen Einstieg angespielt - und einen ersten Onlineüberfall gemeinsam mit anderen Banditen unternommen.

  1. Spielbalance Updates für Red Dead Online und Battlefield 5 angekündigt
  2. Rockstar Games Red Dead Redemption 2 geht schrittweise online
  3. Games US-Spielemarkt erreicht Rekordumsätze

IT: Frauen, die programmieren und Bier trinken
IT
Frauen, die programmieren und Bier trinken

Fest angestellte Informatiker sind oft froh, nach Feierabend nicht schon wieder in ein Get-together zu müssen. Doch was ist, wenn man kein Team hat und sich selbst Programmieren beibringt? Women Who Code veranstaltet Programmierabende für Frauen, denen es so geht. Golem.de war dort.
Von Maja Hoock

  1. Job-Porträt Die Cobol Cowboys auf wichtiger Mission
  2. Software-Entwickler CDU will Online-Weiterbildung à la Netflix
  3. Job-Porträt Cyber-Detektiv "Ich musste als Ermittler über 1.000 Onanie-Videos schauen"

Autonome Schiffe: Und abends geht der Kapitän nach Hause
Autonome Schiffe
Und abends geht der Kapitän nach Hause

Weite Reisen in ferne Länder, eine Braut in jedem Hafen: Klischees über die Seefahrt täuschen darüber hinweg, dass diese ein Knochenjob ist. Doch in wenigen Jahren werden Schiffe ohne Besatzung fahren, überwacht von Steuerleuten, die nach dem Dienst zur Familie zurückkehren. Daran arbeitet etwa Rolls Royce.
Ein Bericht von Werner Pluta

  1. Elektromobilität San Francisco soll ein Brennstoffzellenschiff bekommen
  2. Yara Birkeland Autonome Schiffe sind eine neue Art von Transportsystem
  3. Power Pac Strom aus dem Container für Ozeanriesen

    •  /