Abo
  • IT-Karriere:

M45 - Hadoop-Installation mit 4.000 Prozessoren für Forscher

Yahoo startet Programm zur Verbesserung von Open Source für Internet Computing

Yahoo legt ein Programm auf, um die Forschung und Entwicklung von Open-Source-System-Software für verteiltes Rechnen zu fördern. Dabei folgt Yahoo einem ähnlichen Plan von Google und IBM, stellt aber eine deutlich größere Hardware-Installation zur Verfügung.

Artikel veröffentlicht am ,

Dabei setzt Yahoo auf Apache Hadoop, eine freie Implementierung von Googles MapReduce, die Yahoo seit geraumer Zeit unterstützt und im Rahmen des Programms Forschern auf einer Supercomputer-Installation mit 4.000 Prozessoren zur Verfügung stellt. So will Yahoo Forschern vor allem eine Hardware-Plattform in entsprechender Größenordnung zur Verfügung stellen, wie sie auch bei großen Internetplattformen genutzt wird.

Stellenmarkt
  1. THD - Technische Hochschule Deggendorf, Deggendorf
  2. Modis GmbH, Berlin

Yahoos Hadoop-Cluster M45 verfügt dabei über rund 3 TByte Arbeitsspeicher, 1,5 PByte Festplattenkapazität und erreicht eine Spitzenleistung von 27 TFlop/s, womit das System den Sprung unter die ersten 50 der Top 500 schafft. Auf dieser Hardware soll die jeweils aktuellste Version von Hadoop laufen, einem verteilten Dateisystem, das es erlaubt, Rechenaufgaben möglichst nah an den jeweiligen Daten abzuwickeln. So lassen sich beispielsweise die bei Internet-Suchmaschinen anfallenden Daten auf einem verteilten Cluster auswerten. Daneben soll weitere Open-Source-Software eingesetzt werden, die Yahoo unterstützt. Darunter die "Pig", eine von Yahoo-Research entwickelte parallele Programmiersprache.

Als erste Universität soll die Carnegie Mellon Universität von M45 profitieren. De Dateisystem-Forscher Garth Gibson und Greg Ganger sollen die Leistung des Systems austesten. Parallel dazu sollen Jamie Callan und Christos Faloutsos den Cluster für anspruchsvolle Aufgaben im Bereich Text- und Web-Mining nutzen und Alexei Efros, Noah Smith und Stephan Vogel ihn für Fragen in den Bereichen Computergrafik, Verarbeitung natürlicher Sprache und Maschinenübersetzung nutzen.

In der Zukunft will Yahoo M45 auch Forschern anderer Universitäten zur Verfügung stellen.



Anzeige
Spiele-Angebote
  1. 69,99€ (Release am 25. Oktober)
  2. (-67%) 3,30€
  3. 4,99€
  4. 0,49€

Alf 13. Nov 2007

... abgesehen davon, daß der Rechner es weder startet noch darstellen kann! Erst denken...


Folgen Sie uns
       


Golem-Akademie - Trainer Stefan stellt sich vor

Rund 20 Jahre Erfahrung als Manager und Mitglied der Geschäftsleitung im internationalen Kontext sowie als Berater sind die Basis seiner Trainings. Der Diplom-Ingenieur Stefan Bayer hat als Mitarbeiter der ersten Stunde bei Amazon.de den Servicegedanken in der kompletten Supply Chain in Deutschland entscheidend mitgeprägt und bis zu 4.500 Menschen geführt. Er ist als Trainer und Coach spezialisiert auf die Begleitung von Führungskräften und Management-Teams sowie auf prozessorientierte Trainings.

Golem-Akademie - Trainer Stefan stellt sich vor Video aufrufen
iPad 7 im Test: Nicht nur für Einsteiger lohnenswert
iPad 7 im Test
Nicht nur für Einsteiger lohnenswert

Auch mit der siebten Version des klassischen iPads richtet sich Apple wieder an Nutzer im Einsteigersegment. Dennoch ist das Tablet sehr leistungsfähig und kommt mit Smart-Keyboard-Unterstützung. Wer ein gutes, lange unterstütztes Tablet sucht, kann sich freuen - ärgerlich sind die Preise fürs Zubehör.
Ein Test von Tobias Költzsch

  1. iPad Einschränkungen für Apples Sidecar-Funktion
  2. Apple Microsoft Office auf neuem iPad nicht mehr kostenlos nutzbar
  3. Tablet Apple bringt die 7. Generation des iPads

Internetprovider: P(y)ures Chaos
Internetprovider
P(y)ures Chaos

95 Prozent der Kunden des Internetproviders Pyur bewerten die Leistung auf renommierten Bewertungsportalen mit der Schulnote 6. Ein Negativrekord in der Branche. Was steckt hinter der desaströsen Kunden(un)zufriedenheit bei der Marke von Tele Columbus? Ein Selbstversuch.
Ein Erfahrungsbericht von Tarik Ahmia

  1. Bundesnetzagentur Nur 13 Prozent bekommen im Festnetz die volle Datenrate

Alexa: Das allgegenwärtige Ohr Amazons
Alexa
Das allgegenwärtige Ohr Amazons

Die kürzlich angekündigten Echo-Produkte bringen Amazons Sprachassistentin Alexa auf die Straße und damit Datenschutzprobleme in die U-Bahn oder in bisher Alexa-freie Wohnzimmer. Mehrere Landesdatenschutzbeauftragte haben Golem.de erklärt, ob und wie die Geräte eingesetzt werden dürfen.
Von Moritz Tremmel

  1. Digitaler Assistent Amazon bringt neue Funktionen für Alexa
  2. Echo Frames und Echo Loop Amazon zeigt eine Brille und einen Ring mit Alexa
  3. Alexa Answers Nutzer smarter Lautsprecher sollen Alexa Wissen beibringen

    •  /