M45 - Hadoop-Installation mit 4.000 Prozessoren für Forscher

Yahoo startet Programm zur Verbesserung von Open Source für Internet Computing

Yahoo legt ein Programm auf, um die Forschung und Entwicklung von Open-Source-System-Software für verteiltes Rechnen zu fördern. Dabei folgt Yahoo einem ähnlichen Plan von Google und IBM, stellt aber eine deutlich größere Hardware-Installation zur Verfügung.

Artikel veröffentlicht am ,

Dabei setzt Yahoo auf Apache Hadoop, eine freie Implementierung von Googles MapReduce, die Yahoo seit geraumer Zeit unterstützt und im Rahmen des Programms Forschern auf einer Supercomputer-Installation mit 4.000 Prozessoren zur Verfügung stellt. So will Yahoo Forschern vor allem eine Hardware-Plattform in entsprechender Größenordnung zur Verfügung stellen, wie sie auch bei großen Internetplattformen genutzt wird.

Stellenmarkt
  1. Telekommunikationsingenieur/- in o. ä. (w/m/d)
    DLR Deutsches Zentrum für Luft- und Raumfahrt e.V., München
  2. IT-Techniker (w/m/d) Floorwalker Fieldservice
    Computacenter AG & Co. oHG, München
Detailsuche

Yahoos Hadoop-Cluster M45 verfügt dabei über rund 3 TByte Arbeitsspeicher, 1,5 PByte Festplattenkapazität und erreicht eine Spitzenleistung von 27 TFlop/s, womit das System den Sprung unter die ersten 50 der Top 500 schafft. Auf dieser Hardware soll die jeweils aktuellste Version von Hadoop laufen, einem verteilten Dateisystem, das es erlaubt, Rechenaufgaben möglichst nah an den jeweiligen Daten abzuwickeln. So lassen sich beispielsweise die bei Internet-Suchmaschinen anfallenden Daten auf einem verteilten Cluster auswerten. Daneben soll weitere Open-Source-Software eingesetzt werden, die Yahoo unterstützt. Darunter die "Pig", eine von Yahoo-Research entwickelte parallele Programmiersprache.

Als erste Universität soll die Carnegie Mellon Universität von M45 profitieren. De Dateisystem-Forscher Garth Gibson und Greg Ganger sollen die Leistung des Systems austesten. Parallel dazu sollen Jamie Callan und Christos Faloutsos den Cluster für anspruchsvolle Aufgaben im Bereich Text- und Web-Mining nutzen und Alexei Efros, Noah Smith und Stephan Vogel ihn für Fragen in den Bereichen Computergrafik, Verarbeitung natürlicher Sprache und Maschinenübersetzung nutzen.

In der Zukunft will Yahoo M45 auch Forschern anderer Universitäten zur Verfügung stellen.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Alf 13. Nov 2007

... abgesehen davon, daß der Rechner es weder startet noch darstellen kann! Erst denken...



Aktuell auf der Startseite von Golem.de
20 Jahre Windows XP
Der letzte XP-Fan

Windows XP wird 20 Jahre alt - und nur wenige nutzen es noch täglich. Golem.de hat einen dieser Anwender besucht.
Ein Interview von Martin Wolf

20 Jahre Windows XP: Der letzte XP-Fan
Artikel
  1. Pixel 6 und 6 Pro im Test: Google hat es endlich geschafft
    Pixel 6 und 6 Pro im Test
    Google hat es endlich geschafft

    Das Pixel 6 und Pixel 6 Pro werden endlich Googles Rang als Android-Macher gerecht: Die Smartphones bieten starke Hardware und sinnvolle Software.
    Ein Test von Tobias Költzsch

  2. Bemannte Raumfahrt: Gleicht die ISS einer Rumpelkammer?
    Bemannte Raumfahrt
    Gleicht die ISS einer Rumpelkammer?

    Der Platz auf der Internationalen Raumstation ISS ist knapp. Das musste bereits Alexander Gerst feststellen.

  3. Guardians of the Galaxy im Test: Quasselnd und kämpfend durchs All
    Guardians of the Galaxy im Test
    Quasselnd und kämpfend durchs All

    Die Witze sind besser als die Waffen: Guardians of the Galaxy entpuppt sich als nicht ganz perfektes Spiel - das dennoch super unterhält.
    Von Peter Steinlechner

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Bosch Professional günstiger • Punkte sammeln bei MM für Club-Mitglieder: 1.000 Punkte geschenkt • Alternate (u. a. Apacer 1TB SATA 86,90€ & Team Group 1TB PCIe 4.0 159,90€) • Echo Show 8 (1. Gen.) 64,99€ • Halloween Sale bei Gamesplanet • Smart Home von Eufy günstiger [Werbung]
    •  /