Abo
  • Services:

M45 - Hadoop-Installation mit 4.000 Prozessoren für Forscher

Yahoo startet Programm zur Verbesserung von Open Source für Internet Computing

Yahoo legt ein Programm auf, um die Forschung und Entwicklung von Open-Source-System-Software für verteiltes Rechnen zu fördern. Dabei folgt Yahoo einem ähnlichen Plan von Google und IBM, stellt aber eine deutlich größere Hardware-Installation zur Verfügung.

Artikel veröffentlicht am ,

Dabei setzt Yahoo auf Apache Hadoop, eine freie Implementierung von Googles MapReduce, die Yahoo seit geraumer Zeit unterstützt und im Rahmen des Programms Forschern auf einer Supercomputer-Installation mit 4.000 Prozessoren zur Verfügung stellt. So will Yahoo Forschern vor allem eine Hardware-Plattform in entsprechender Größenordnung zur Verfügung stellen, wie sie auch bei großen Internetplattformen genutzt wird.

Stellenmarkt
  1. Bosch Gruppe, Abstatt
  2. BWI GmbH, Bonn

Yahoos Hadoop-Cluster M45 verfügt dabei über rund 3 TByte Arbeitsspeicher, 1,5 PByte Festplattenkapazität und erreicht eine Spitzenleistung von 27 TFlop/s, womit das System den Sprung unter die ersten 50 der Top 500 schafft. Auf dieser Hardware soll die jeweils aktuellste Version von Hadoop laufen, einem verteilten Dateisystem, das es erlaubt, Rechenaufgaben möglichst nah an den jeweiligen Daten abzuwickeln. So lassen sich beispielsweise die bei Internet-Suchmaschinen anfallenden Daten auf einem verteilten Cluster auswerten. Daneben soll weitere Open-Source-Software eingesetzt werden, die Yahoo unterstützt. Darunter die "Pig", eine von Yahoo-Research entwickelte parallele Programmiersprache.

Als erste Universität soll die Carnegie Mellon Universität von M45 profitieren. De Dateisystem-Forscher Garth Gibson und Greg Ganger sollen die Leistung des Systems austesten. Parallel dazu sollen Jamie Callan und Christos Faloutsos den Cluster für anspruchsvolle Aufgaben im Bereich Text- und Web-Mining nutzen und Alexei Efros, Noah Smith und Stephan Vogel ihn für Fragen in den Bereichen Computergrafik, Verarbeitung natürlicher Sprache und Maschinenübersetzung nutzen.

In der Zukunft will Yahoo M45 auch Forschern anderer Universitäten zur Verfügung stellen.



Anzeige
Spiele-Angebote
  1. 7,48€
  2. 31,99€
  3. 33,99€
  4. 14,02€

Alf 13. Nov 2007

... abgesehen davon, daß der Rechner es weder startet noch darstellen kann! Erst denken...


Folgen Sie uns
       


Casio WSD-F30 - Hands on (Ifa 2018)

Die WSD-F30 von Casio ist eine Smartwatch, die sich besonders gut fürs Wandern eignen soll. Sie zeigt verschiedene Messwerte an - auch auf einem zweiten LC-Display.

Casio WSD-F30 - Hands on (Ifa 2018) Video aufrufen
Zahlen mit Smartphones im Alltagstest: Sparkassenkunden müssen nicht auf Google Pay neidisch sein
Zahlen mit Smartphones im Alltagstest
Sparkassenkunden müssen nicht auf Google Pay neidisch sein

In Deutschland gibt es mittlerweile mehrere Möglichkeiten, drahtlos mit dem Smartphone zu bezahlen. Wir haben Google Pay mit der Sparkassen-App Mobiles Bezahlen verglichen und festgestellt: In der Handhabung gleichen sich die Apps zwar, doch in den Details gibt es einige Unterschiede.
Ein Test von Tobias Költzsch

  1. Smartphone Auch Volksbanken führen mobiles Bezahlen ein
  2. Bezahldienst ausprobiert Google Pay startet in Deutschland mit vier Finanzdiensten

SpaceX: Milliardär will Künstler mit zum Mond nehmen
SpaceX
Milliardär will Künstler mit zum Mond nehmen

Ein japanischer Milliardär ist der mysteriöse erste Kunde von SpaceX, der um den Mond fliegen will. Er will eine Gruppe von Künstlern zu dem Flug einladen. Die Pläne für das Raumschiff stehen kurz vor der Fertigstellung.
Von Frank Wunderlich-Pfeiffer

  1. Mondwettbewerb Niemand gewinnt den Google Lunar X-Prize

Segelflug: Die Höhenflieger
Segelflug
Die Höhenflieger

In einem Experimental-Segelflugzeug von Airbus wollen Flugenthusiasten auf gigantischen Luftwirbeln am Rande der Antarktis fast 30 Kilometer hoch aufsteigen - ganz ohne Motor. An Bord sind Messinstrumente, die neue und unverfälschte Daten für die Klimaforschung liefern.
Ein Bericht von Daniel Hautmann

  1. Luftfahrt Nasa testet leise Überschallflüge
  2. Low-Boom Flight Demonstrator Lockheed baut leises Überschallflugzeug
  3. Elektroflieger Norwegen will elektrisch fliegen

    •  /