Abo
  • Services:

M45 - Hadoop-Installation mit 4.000 Prozessoren für Forscher

Yahoo startet Programm zur Verbesserung von Open Source für Internet Computing

Yahoo legt ein Programm auf, um die Forschung und Entwicklung von Open-Source-System-Software für verteiltes Rechnen zu fördern. Dabei folgt Yahoo einem ähnlichen Plan von Google und IBM, stellt aber eine deutlich größere Hardware-Installation zur Verfügung.

Artikel veröffentlicht am ,

Dabei setzt Yahoo auf Apache Hadoop, eine freie Implementierung von Googles MapReduce, die Yahoo seit geraumer Zeit unterstützt und im Rahmen des Programms Forschern auf einer Supercomputer-Installation mit 4.000 Prozessoren zur Verfügung stellt. So will Yahoo Forschern vor allem eine Hardware-Plattform in entsprechender Größenordnung zur Verfügung stellen, wie sie auch bei großen Internetplattformen genutzt wird.

Stellenmarkt
  1. Siltronic AG, Burghausen
  2. Laetus GmbH, Bensheim

Yahoos Hadoop-Cluster M45 verfügt dabei über rund 3 TByte Arbeitsspeicher, 1,5 PByte Festplattenkapazität und erreicht eine Spitzenleistung von 27 TFlop/s, womit das System den Sprung unter die ersten 50 der Top 500 schafft. Auf dieser Hardware soll die jeweils aktuellste Version von Hadoop laufen, einem verteilten Dateisystem, das es erlaubt, Rechenaufgaben möglichst nah an den jeweiligen Daten abzuwickeln. So lassen sich beispielsweise die bei Internet-Suchmaschinen anfallenden Daten auf einem verteilten Cluster auswerten. Daneben soll weitere Open-Source-Software eingesetzt werden, die Yahoo unterstützt. Darunter die "Pig", eine von Yahoo-Research entwickelte parallele Programmiersprache.

Als erste Universität soll die Carnegie Mellon Universität von M45 profitieren. De Dateisystem-Forscher Garth Gibson und Greg Ganger sollen die Leistung des Systems austesten. Parallel dazu sollen Jamie Callan und Christos Faloutsos den Cluster für anspruchsvolle Aufgaben im Bereich Text- und Web-Mining nutzen und Alexei Efros, Noah Smith und Stephan Vogel ihn für Fragen in den Bereichen Computergrafik, Verarbeitung natürlicher Sprache und Maschinenübersetzung nutzen.

In der Zukunft will Yahoo M45 auch Forschern anderer Universitäten zur Verfügung stellen.



Anzeige
Spiele-Angebote
  1. 9,95€
  2. 19,99€
  3. 4,99€

Alf 13. Nov 2007

... abgesehen davon, daß der Rechner es weder startet noch darstellen kann! Erst denken...


Folgen Sie uns
       


Intel NUC7 June Canyon - Test

Wir mögen Intels NUC7: Er hat volle PC-Funktionalität in kleinem Formfaktor zu einem niedrigen Preis.

Intel NUC7 June Canyon - Test Video aufrufen
Resident Evil 2 angespielt: Neuer Horror mit altbekannten Helden
Resident Evil 2 angespielt
Neuer Horror mit altbekannten Helden

Eigentlich ein Remake - tatsächlich aber fühlt sich Resident Evil 2 an wie ein neues Spiel: Golem.de hat mit Leon und Claire gegen Zombies und andere Schrecken von Raccoon City gekämpft.
Von Peter Steinlechner

  1. Resident Evil Monster und Mafia werden neu aufgelegt

Need for Speed 3 Hot Pursuit (1998): El Nino, Polizeifunk und Lichtgewitter in Rot-Blau
Need for Speed 3 Hot Pursuit (1998)
El Nino, Polizeifunk und Lichtgewitter in Rot-Blau

Golem retro_ Electronic Arts ist berühmt und berüchtigt für jährliche Updates und Neuveröffentlichungen. Was der Publisher aber 1998 für digitale Raser auffuhr, ist in puncto Dramatik bei Verfolgungsjagden bis heute unerreicht.
Von Michael Wieczorek

  1. Playstation Classic im Test Sony schlampt, aber Rettung naht

Machine Learning: Wie Technik jede Stimme stehlen kann
Machine Learning
Wie Technik jede Stimme stehlen kann

Ein Unternehmen aus Südkorea arbeitet daran, Stimmen reproduzierbar und neu generierbar zu machen. Was für viele Branchen enorme Kosteneinsparungen bedeutet, könnte auch eine neue Dimension von Fake News werden.
Ein Bericht von Felix Lill

  1. AWS Amazon bietet seine Machine-Learning-Tutorials kostenlos an
  2. Random Forest, k-Means, Genetik Machine Learning anhand von drei Algorithmen erklärt
  3. Machine Learning Amazon verwirft sexistisches KI-Tool für Bewerber

    •  /