Abo
  • Services:

Mapreduce: Apache Hadoop 1.0 veröffentlicht

Die Apache Software Foundation hat Apache Hadoop in der Version 1.0.0 veröffentlicht. Hadoop basiert auf dem Mapreduce-Algorithmus von Google und erlaubt es, sehr große Datenmengen im Petabyte-Bereich auf Clustern aus vielen Einzelrechnern zu verarbeiten.

Artikel veröffentlicht am ,
Hadoop 1.0.0 mit HDFS und Mapreduce
Hadoop 1.0.0 mit HDFS und Mapreduce (Bild: Apache Software Foundation)

"Apache Hadoop ist ein Framework, das die verteilte Verarbeitung großer Datenmengen auf Clustern mit vielen einzelnen Knoten mit einem einfachen Programmiermodell erlaubt", so beschreibt das Projekt Apache Hadoop seine Software. Hadoop ist darauf ausgelegt, von einem einzelnen Server bis hin zu tausenden Maschinen zu skalieren, bei denen jeder einzelne Knoten lokalen Speicher und Rechenleistung beisteuert. Das System wurde dabei so ausgelegt, dass es den Ausfall einzelner Knoten erkennt und handhaben kann, so dass ein hochverfügbarer Dienst entsteht.

Stellenmarkt
  1. vwd - Vereinigte Wirtschaftsdienste GmbH, Rimpar, Kaiserslautern, Frankfurt
  2. über experteer GmbH, deutschlandweit (Home-Office möglich)

Apache Hadoop kommt unter anderem bei Facebook, a9.com, AOL, IBM, Imageshack und Yahoo zum Einsatz. Facebook speichert nach eigenen Angaben Kopien seiner internen Log-Dateien und Dimensionsdatenquellen in Hadoop und benutzt das System für Reporting- und Analysezwecke sowie für maschinelles Lernen. Dabei kommen derzeit zwei große Hadoop-Cluster zum Einsatz, der größere verfügt über 1.100 Maschinen und 8.800 CPU-Kerne sowie rund 12 Petabyte an Speicherplatz.

Yahoo betreibt mehrere große Hadoop-Cluster mit insgesamt mehr als 100.000 CPUs in rund 40.000 Computern. Der größte Cluster verfügt über 4.500 Nodes. Eingesetzt wird Hadoop hier für das Werbesystem und die Websuche.

Apache Hadoop 1.0.0 umfasst neben den Basiswerkzeugen Hadoop Common auch das Hadoop Distributed File System (HDFS) und Hadoop Mapreduce. HDFS ist ein verteiltes Dateisystem, das auf hohen Datendurchsatz getrimmt ist. Daneben gibt es weitere Apache-Projekte, die in Verbindung mit Hadoop stehen, darunter das einst von Facebook entwickelte Hive, eine Data-Warehouse-Infrastruktur, die Daten aggegriert und Ad-hoc-Abfragen ermöglicht sowie HBase, eine skalierbare verteilte Datenbank, die das Speichern strukturierter Daten erlaubt. Yahoo steuerte einst die parallele Programmiersprache Pig bei. Mit Mahout gibt es zudem eine Bibliothek für maschinelles Lernen auf Basis von Hadoop.

Hadoop 1.0.0 basiert auf der stabilen Serie 0.20 und steht unter hadoop.apache.org zum Download bereit.



Anzeige
Spiele-Angebote
  1. 2,99€
  2. 31,99€
  3. 7,77€
  4. 59,99€/69,99€ mit Vorbesteller-Preisgarantie (Release 28.09.)

Folgen Sie uns
       


Chuwi Higame im Test

Auf Indiegogo hat das Chuwi Higame bereits mehr als 400.000 US-Dollar erhalten. Der Mini-PC hat dank Kaby Lake G auch das Potenzial zu einem kleinen Multimediawürfel. Allerdings nerven die Lautstärke und ein paar Treiberprobleme.

Chuwi Higame im Test Video aufrufen
Yara Birkeland: Autonome Schiffe sind eine neue Art von Transportsystem
Yara Birkeland
Autonome Schiffe sind eine neue Art von Transportsystem

Die Yara Birkeland wird das erste elektrisch angetriebene Schiff, das autonom fahren soll. Das ist aber nicht das einzige Ungewöhnliche daran. Diese Schiffe seien ein ganz neues Transportmittel, das nicht nur von den üblichen Akteuren eingesetzt werde, sagt ein Experte.
Ein Interview von Werner Pluta

  1. Power Pac Strom aus dem Container für Ozeanriesen
  2. Yara Birkeland Norwegische Werft baut den ersten autonomen E-Frachter
  3. SAVe Energy Rolls-Royce bringt Akku zur Elektrifizierung von Schiffen

Grafikkarten: Das kann Nvidias Turing-Architektur
Grafikkarten
Das kann Nvidias Turing-Architektur

Zwei Jahre nach Pascal folgt Turing: Die GPU-Architektur führt Tensor-Cores und RT-Kerne für Spieler ein. Die Geforce RTX haben mächtige Shader-Einheiten, große Caches sowie GDDR6-Videospeicher für Raytracing, für Deep-Learning-Kantenglättung und für mehr Leistung.
Ein Bericht von Marc Sauter

  1. Tesla T4 Nvidia bringt Googles Cloud auf Turing
  2. Battlefield 5 mit Raytracing Wenn sich der Gegner in unserem Rücken spiegelt
  3. Nvidia Turing Geforce RTX 2080 rechnet 50 Prozent schneller

Oldtimer-Rakete: Ein Satellit noch - dann ist Schluss
Oldtimer-Rakete
Ein Satellit noch - dann ist Schluss

Ursprünglich sollte sie Atombomben auf Moskau schießen, dann kam sie in die Raumfahrt. Die Delta-II-Rakete hat am Samstag ihren letzten Flug.
Von Frank Wunderlich-Pfeiffer

  1. Stratolaunch Riesenflugzeug bekommt eigene Raketen
  2. Chang'e 4 China stellt neuen Mondrover vor
  3. Raumfahrt Cubesats sollen unhackbar werden

    •  /