Abo
  • Services:

M45 - Hadoop-Installation mit 4.000 Prozessoren für Forscher

Yahoo startet Programm zur Verbesserung von Open Source für Internet Computing

Yahoo legt ein Programm auf, um die Forschung und Entwicklung von Open-Source-System-Software für verteiltes Rechnen zu fördern. Dabei folgt Yahoo einem ähnlichen Plan von Google und IBM, stellt aber eine deutlich größere Hardware-Installation zur Verfügung.

Artikel veröffentlicht am ,

Dabei setzt Yahoo auf Apache Hadoop, eine freie Implementierung von Googles MapReduce, die Yahoo seit geraumer Zeit unterstützt und im Rahmen des Programms Forschern auf einer Supercomputer-Installation mit 4.000 Prozessoren zur Verfügung stellt. So will Yahoo Forschern vor allem eine Hardware-Plattform in entsprechender Größenordnung zur Verfügung stellen, wie sie auch bei großen Internetplattformen genutzt wird.

Stellenmarkt
  1. Einkaufsallianz Nord GmbH, Berlin
  2. Personalwerk Holding GmbH, Wiesbaden

Yahoos Hadoop-Cluster M45 verfügt dabei über rund 3 TByte Arbeitsspeicher, 1,5 PByte Festplattenkapazität und erreicht eine Spitzenleistung von 27 TFlop/s, womit das System den Sprung unter die ersten 50 der Top 500 schafft. Auf dieser Hardware soll die jeweils aktuellste Version von Hadoop laufen, einem verteilten Dateisystem, das es erlaubt, Rechenaufgaben möglichst nah an den jeweiligen Daten abzuwickeln. So lassen sich beispielsweise die bei Internet-Suchmaschinen anfallenden Daten auf einem verteilten Cluster auswerten. Daneben soll weitere Open-Source-Software eingesetzt werden, die Yahoo unterstützt. Darunter die "Pig", eine von Yahoo-Research entwickelte parallele Programmiersprache.

Als erste Universität soll die Carnegie Mellon Universität von M45 profitieren. De Dateisystem-Forscher Garth Gibson und Greg Ganger sollen die Leistung des Systems austesten. Parallel dazu sollen Jamie Callan und Christos Faloutsos den Cluster für anspruchsvolle Aufgaben im Bereich Text- und Web-Mining nutzen und Alexei Efros, Noah Smith und Stephan Vogel ihn für Fragen in den Bereichen Computergrafik, Verarbeitung natürlicher Sprache und Maschinenübersetzung nutzen.

In der Zukunft will Yahoo M45 auch Forschern anderer Universitäten zur Verfügung stellen.



Anzeige
Blu-ray-Angebote
  1. 9,99€
  2. 4,25€
  3. (2 Monate Sky Ticket für nur 4,99€)

Alf 13. Nov 2007

... abgesehen davon, daß der Rechner es weder startet noch darstellen kann! Erst denken...


Folgen Sie uns
       


Ark Survival Evolved für Smartphones - angespielt

Wir spielen Ark Survival Evolved auf einem Google Pixel 2.

Ark Survival Evolved für Smartphones - angespielt Video aufrufen
Volocopter 2X: Das Flugtaxi, das noch nicht abheben darf
Volocopter 2X
Das Flugtaxi, das noch nicht abheben darf

Cebit 2018 Der Volocopter ist fertig - bleibt in Hannover aber noch am Boden. Im zweisitzigen Fluggerät stecken jede Menge Ideen, die autonomes Fliegen als Ergänzung zu anderen Nahverkehrsmitteln möglich machen soll. Golem.de hat Platz genommen und mit den Entwicklern gesprochen.
Von Nico Ernst

  1. Urban Air Mobility Airbus gründet neuen Geschäftsbereich für Lufttaxis
  2. Cityairbus Mit Siemens soll das Lufttaxi abheben
  3. Verkehr Porsche entwickelt Lufttaxi

Anthem angespielt: Action in fremder Welt und Abkühlung im Wasserfall
Anthem angespielt
Action in fremder Welt und Abkühlung im Wasserfall

E3 2018 Eine interessante Welt, schicke Grafik und ein erstaunlich gutes Fluggefühl: Golem.de hat das Actionrollenspiel Anthem von Bioware ausprobiert.

  1. Control Remedy Entertainment mit übersinnlichen Räumen
  2. Smach Z ausprobiert Neuer Blick auf das Handheld für PC-Spieler
  3. The Division 2 angespielt Action rund um Air Force One

CD Projekt Red: So spielt sich Cyberpunk 2077
CD Projekt Red
So spielt sich Cyberpunk 2077

E3 2018 Hacker statt Hexer, Ich-Sicht statt Dritte-Person-Perspektive und Auto statt Pferd: Die Witcher-Entwickler haben ihr neues Großprojekt Cyberpunk 2077 im Detail vorgestellt.
Von Peter Steinlechner


      •  /