Abo
  • Services:
Anzeige

M45 - Hadoop-Installation mit 4.000 Prozessoren für Forscher

Yahoo startet Programm zur Verbesserung von Open Source für Internet Computing

Yahoo legt ein Programm auf, um die Forschung und Entwicklung von Open-Source-System-Software für verteiltes Rechnen zu fördern. Dabei folgt Yahoo einem ähnlichen Plan von Google und IBM, stellt aber eine deutlich größere Hardware-Installation zur Verfügung.

Dabei setzt Yahoo auf Apache Hadoop, eine freie Implementierung von Googles MapReduce, die Yahoo seit geraumer Zeit unterstützt und im Rahmen des Programms Forschern auf einer Supercomputer-Installation mit 4.000 Prozessoren zur Verfügung stellt. So will Yahoo Forschern vor allem eine Hardware-Plattform in entsprechender Größenordnung zur Verfügung stellen, wie sie auch bei großen Internetplattformen genutzt wird.

Anzeige

Yahoos Hadoop-Cluster M45 verfügt dabei über rund 3 TByte Arbeitsspeicher, 1,5 PByte Festplattenkapazität und erreicht eine Spitzenleistung von 27 TFlop/s, womit das System den Sprung unter die ersten 50 der Top 500 schafft. Auf dieser Hardware soll die jeweils aktuellste Version von Hadoop laufen, einem verteilten Dateisystem, das es erlaubt, Rechenaufgaben möglichst nah an den jeweiligen Daten abzuwickeln. So lassen sich beispielsweise die bei Internet-Suchmaschinen anfallenden Daten auf einem verteilten Cluster auswerten. Daneben soll weitere Open-Source-Software eingesetzt werden, die Yahoo unterstützt. Darunter die "Pig", eine von Yahoo-Research entwickelte parallele Programmiersprache.

Als erste Universität soll die Carnegie Mellon Universität von M45 profitieren. De Dateisystem-Forscher Garth Gibson und Greg Ganger sollen die Leistung des Systems austesten. Parallel dazu sollen Jamie Callan und Christos Faloutsos den Cluster für anspruchsvolle Aufgaben im Bereich Text- und Web-Mining nutzen und Alexei Efros, Noah Smith und Stephan Vogel ihn für Fragen in den Bereichen Computergrafik, Verarbeitung natürlicher Sprache und Maschinenübersetzung nutzen.

In der Zukunft will Yahoo M45 auch Forschern anderer Universitäten zur Verfügung stellen.


eye home zur Startseite
Alf 13. Nov 2007

... abgesehen davon, daß der Rechner es weder startet noch darstellen kann! Erst denken...



Anzeige

Stellenmarkt
  1. Zurich Gruppe, Köln
  2. Robert Bosch GmbH, Stuttgart-Feuerbach
  3. Robert Bosch GmbH, Plochingen
  4. Bertrandt Technikum GmbH, Ehningen bei Stuttgart


Anzeige
Hardware-Angebote
  1. (reduzierte Überstände, Restposten & Co.)

Folgen Sie uns
       

  1. Augmented Reality

    Google stellt Project Tango ein

  2. Uber vs. Waymo

    Uber spionierte Konkurrenten aus

  3. Die Woche im Video

    Amerika, Amerika, BVG, Amerika, Security

  4. HTTPS

    Fritzbox bekommt Let's Encrypt-Support und verrät Hostnamen

  5. Antec P110 Silent

    Gedämmter Midi-Tower hat austauschbare Staubfilter

  6. Pilotprojekt am Südkreuz

    De Maizière plant breiten Einsatz von Gesichtserkennung

  7. Spielebranche

    WW 2 und Battlefront 2 gewinnen im November-Kaufrausch

  8. Bauern

    Deutlich über 80 Prozent wollen FTTH

  9. Linux

    Bolt bringt Thunderbolt-3-Security für Linux

  10. Streit mit Bundesnetzagentur

    Telekom droht mit Ende von kostenlosem Stream On



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
E-Ticket Deutschland bei der BVG: Bewegungspunkt am Straßenstrich
E-Ticket Deutschland bei der BVG
Bewegungspunkt am Straßenstrich
  1. Handy-Ticket in Berlin BVG will Check-in/Be-out-System in Bussen testen
  2. VBB Schwarzfahrer trotz Handy-Ticket

LG 32UD99-W im Test: Monitor mit beeindruckendem Bild - trotz unausgereiftem HDR
LG 32UD99-W im Test
Monitor mit beeindruckendem Bild - trotz unausgereiftem HDR
  1. Android-Updates Krack-Patches für Android, aber nicht für Pixel-Telefone
  2. Check Point LGs smarter Staubsauger lässt sich heimlich fernsteuern

Vorratsdatenspeicherung: Die Groko funktioniert schon wieder
Vorratsdatenspeicherung
Die Groko funktioniert schon wieder
  1. Dieselgipfel Regierung fördert Elektrobusse mit 80 Prozent
  2. Gutachten Quote für E-Autos und Stop der Diesel-Subventionen gefordert
  3. Sackgasse EU-Industriekommissarin sieht Diesel am Ende

  1. Re: Sich zu verstecken nutzt auch nichts

    My1 | 14:01

  2. Re: Mal wieder typisch oberflächlich Anti-Telekom

    Faksimile | 13:56

  3. Re: Einfach nur schlimm!

    Slurpee | 13:54

  4. Re: Bei voller Leistung reicht das Netzteil nicht...

    Arhey | 13:52

  5. Re: Custom-domainname

    Arhey | 13:50


  1. 12:47

  2. 11:39

  3. 09:03

  4. 17:47

  5. 17:38

  6. 16:17

  7. 15:50

  8. 15:25


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel