Abo
  • Services:

Mapreduce: Apache Hadoop 1.0 veröffentlicht

Die Apache Software Foundation hat Apache Hadoop in der Version 1.0.0 veröffentlicht. Hadoop basiert auf dem Mapreduce-Algorithmus von Google und erlaubt es, sehr große Datenmengen im Petabyte-Bereich auf Clustern aus vielen Einzelrechnern zu verarbeiten.

Artikel veröffentlicht am ,
Hadoop 1.0.0 mit HDFS und Mapreduce
Hadoop 1.0.0 mit HDFS und Mapreduce (Bild: Apache Software Foundation)

"Apache Hadoop ist ein Framework, das die verteilte Verarbeitung großer Datenmengen auf Clustern mit vielen einzelnen Knoten mit einem einfachen Programmiermodell erlaubt", so beschreibt das Projekt Apache Hadoop seine Software. Hadoop ist darauf ausgelegt, von einem einzelnen Server bis hin zu tausenden Maschinen zu skalieren, bei denen jeder einzelne Knoten lokalen Speicher und Rechenleistung beisteuert. Das System wurde dabei so ausgelegt, dass es den Ausfall einzelner Knoten erkennt und handhaben kann, so dass ein hochverfügbarer Dienst entsteht.

Stellenmarkt
  1. Landeshauptstadt München, München
  2. Viega Holding GmbH & Co. KG, Attendorn

Apache Hadoop kommt unter anderem bei Facebook, a9.com, AOL, IBM, Imageshack und Yahoo zum Einsatz. Facebook speichert nach eigenen Angaben Kopien seiner internen Log-Dateien und Dimensionsdatenquellen in Hadoop und benutzt das System für Reporting- und Analysezwecke sowie für maschinelles Lernen. Dabei kommen derzeit zwei große Hadoop-Cluster zum Einsatz, der größere verfügt über 1.100 Maschinen und 8.800 CPU-Kerne sowie rund 12 Petabyte an Speicherplatz.

Yahoo betreibt mehrere große Hadoop-Cluster mit insgesamt mehr als 100.000 CPUs in rund 40.000 Computern. Der größte Cluster verfügt über 4.500 Nodes. Eingesetzt wird Hadoop hier für das Werbesystem und die Websuche.

Apache Hadoop 1.0.0 umfasst neben den Basiswerkzeugen Hadoop Common auch das Hadoop Distributed File System (HDFS) und Hadoop Mapreduce. HDFS ist ein verteiltes Dateisystem, das auf hohen Datendurchsatz getrimmt ist. Daneben gibt es weitere Apache-Projekte, die in Verbindung mit Hadoop stehen, darunter das einst von Facebook entwickelte Hive, eine Data-Warehouse-Infrastruktur, die Daten aggegriert und Ad-hoc-Abfragen ermöglicht sowie HBase, eine skalierbare verteilte Datenbank, die das Speichern strukturierter Daten erlaubt. Yahoo steuerte einst die parallele Programmiersprache Pig bei. Mit Mahout gibt es zudem eine Bibliothek für maschinelles Lernen auf Basis von Hadoop.

Hadoop 1.0.0 basiert auf der stabilen Serie 0.20 und steht unter hadoop.apache.org zum Download bereit.



Anzeige
Top-Angebote
  1. (u. a. Resident Evil 7 biohazard für 14,99€, Dungeons 3 für 13,99€, Tom Clancy's Ghost Recon...
  2. (u. a. PSN Card 50 Euro für 43,99€)
  3. 27,99€ + 5,99€ Versand (Vergleichspreis 44,95€)

Folgen Sie uns
       


Nokia 3 und 5 (2018) - Hands on

HMD Global hat die Nachfolger des Nokia 3 und Nokia 5 vorgestellt. Beide Smartphones haben ein Display im 2:1-Format und laufen mit Android One. Das Nokia 3.1 soll Ende Juni 2018 erscheinen, das Nokia 5.1 soll im Juli 2018 folgen.

Nokia 3 und 5 (2018) - Hands on Video aufrufen
Volocopter 2X: Das Flugtaxi, das noch nicht abheben darf
Volocopter 2X
Das Flugtaxi, das noch nicht abheben darf

Cebit 2018 Der Volocopter ist fertig - bleibt in Hannover aber noch am Boden. Im zweisitzigen Fluggerät stecken jede Menge Ideen, die autonomes Fliegen als Ergänzung zu anderen Nahverkehrsmitteln möglich machen soll. Golem.de hat Platz genommen und mit den Entwicklern gesprochen.
Von Nico Ernst

  1. Ingolstadt Flugtaxis sollen in Deutschland erprobt werden
  2. Urban Air Mobility Airbus gründet neuen Geschäftsbereich für Lufttaxis
  3. Cityairbus Mit Siemens soll das Lufttaxi abheben

CD Projekt Red: So spielt sich Cyberpunk 2077
CD Projekt Red
So spielt sich Cyberpunk 2077

E3 2018 Hacker statt Hexer, Ich-Sicht statt Dritte-Person-Perspektive und Auto statt Pferd: Die Witcher-Entwickler haben ihr neues Großprojekt Cyberpunk 2077 im Detail vorgestellt.
Von Peter Steinlechner


    IT-Jobs: Fünf neue Mitarbeiter in fünf Wochen?
    IT-Jobs
    Fünf neue Mitarbeiter in fünf Wochen?

    Startups müssen oft kurzfristig viele Stellen besetzen. Wir waren bei dem Berliner Unternehmen Next Big Thing dabei, als es auf einen Schlag Bewerber für fünf Jobs suchte.
    Ein Bericht von Juliane Gringer

    1. Frauen in IT-Berufen Programmierte Klischees
    2. Bitkom Research Höherer Frauenanteil in der deutschen IT-Branche
    3. Recruiting IT-Experten brauchen harte Fakten

      •  /