Abo
  • Services:
Anzeige

M45 - Hadoop-Installation mit 4.000 Prozessoren für Forscher

Yahoo startet Programm zur Verbesserung von Open Source für Internet Computing

Yahoo legt ein Programm auf, um die Forschung und Entwicklung von Open-Source-System-Software für verteiltes Rechnen zu fördern. Dabei folgt Yahoo einem ähnlichen Plan von Google und IBM, stellt aber eine deutlich größere Hardware-Installation zur Verfügung.

Dabei setzt Yahoo auf Apache Hadoop, eine freie Implementierung von Googles MapReduce, die Yahoo seit geraumer Zeit unterstützt und im Rahmen des Programms Forschern auf einer Supercomputer-Installation mit 4.000 Prozessoren zur Verfügung stellt. So will Yahoo Forschern vor allem eine Hardware-Plattform in entsprechender Größenordnung zur Verfügung stellen, wie sie auch bei großen Internetplattformen genutzt wird.

Anzeige

Yahoos Hadoop-Cluster M45 verfügt dabei über rund 3 TByte Arbeitsspeicher, 1,5 PByte Festplattenkapazität und erreicht eine Spitzenleistung von 27 TFlop/s, womit das System den Sprung unter die ersten 50 der Top 500 schafft. Auf dieser Hardware soll die jeweils aktuellste Version von Hadoop laufen, einem verteilten Dateisystem, das es erlaubt, Rechenaufgaben möglichst nah an den jeweiligen Daten abzuwickeln. So lassen sich beispielsweise die bei Internet-Suchmaschinen anfallenden Daten auf einem verteilten Cluster auswerten. Daneben soll weitere Open-Source-Software eingesetzt werden, die Yahoo unterstützt. Darunter die "Pig", eine von Yahoo-Research entwickelte parallele Programmiersprache.

Als erste Universität soll die Carnegie Mellon Universität von M45 profitieren. De Dateisystem-Forscher Garth Gibson und Greg Ganger sollen die Leistung des Systems austesten. Parallel dazu sollen Jamie Callan und Christos Faloutsos den Cluster für anspruchsvolle Aufgaben im Bereich Text- und Web-Mining nutzen und Alexei Efros, Noah Smith und Stephan Vogel ihn für Fragen in den Bereichen Computergrafik, Verarbeitung natürlicher Sprache und Maschinenübersetzung nutzen.

In der Zukunft will Yahoo M45 auch Forschern anderer Universitäten zur Verfügung stellen.


eye home zur Startseite
Alf 13. Nov 2007

... abgesehen davon, daß der Rechner es weder startet noch darstellen kann! Erst denken...



Anzeige

Stellenmarkt
  1. Deloitte GmbH Wirtschaftsprüfungsgesellschaft, verschiedene Standorte
  2. comemso GmbH, Ostfildern
  3. Landesbetrieb IT.Niedersachsen, Hannover
  4. Robert Bosch GmbH, Stuttgart-Feuerbach


Anzeige
Spiele-Angebote
  1. 57,99€/69,99€ (Vorbesteller-Preisgarantie)
  2. 47,99€
  3. 7,49€

Folgen Sie uns
       

Anzeige
Whitepaper
  1. Data Center-Modernisierung für mehr Performance und

  1. Interview auf Youtube

    Merkel verteidigt Ziel von 1 Million Elektroautos bis 2020

  2. Ransomware

    Not-Petya-Angriff kostet Maersk 200 Millionen US-Dollar

  3. Spielebranche

    Mikrotransaktionen boomen zulasten der Kaufspiele

  4. Autonomes Fahren

    Fiat Chrysler kooperiert mit BMW und Intel

  5. Auto

    Toyota will Fahrzeugsäulen unsichtbar machen

  6. Amazon Channels

    Prime-Kunden erhalten Fußball-Bundesliga für 5 Euro im Monat

  7. Dex-Bytecode

    Google zeigt Vorschau auf neuen Android-Compiler

  8. Prozessor

    Intels Ice Lake wird in 10+ nm gefertigt

  9. Callya Flex

    Vodafone eifert dem Congstar-Prepaid-Tarif nach

  10. Datenbank

    MongoDB bereitet offenbar Börsengang vor



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Sysadmin Day 2017: Zum Admin-Sein fehlen mir die Superkräfte
Sysadmin Day 2017
Zum Admin-Sein fehlen mir die Superkräfte

Orange Pi 2G IoT ausprobiert: Wir bauen uns ein 20-Euro-Smartphone
Orange Pi 2G IoT ausprobiert
Wir bauen uns ein 20-Euro-Smartphone
  1. Odroid HC-1 Bastelrechner besser stapeln im NAS
  2. Bastelrechner Nano Pi im Test Klein, aber nicht unbedingt oho

Mitmachprojekt: HTTPS vermiest uns den Wetterbericht
Mitmachprojekt
HTTPS vermiest uns den Wetterbericht

  1. Re: Bei Amazon = 60 Euro im Jahr, sonst 30 Euro?!

    genussge | 21:38

  2. Re: Immerhin ne alternative zu hd+

    XDKOwner | 21:34

  3. Re: traurige entwicklung

    Hotohori | 21:34

  4. Re: Haut ab mit euren beschissenen 20 Sekunden...

    Bluejanis | 21:34

  5. Re: Und 18:00 bricht dann das Stromnetz zusammen..

    Stefan99 | 21:34


  1. 16:57

  2. 16:25

  3. 16:15

  4. 15:32

  5. 15:30

  6. 15:02

  7. 14:49

  8. 13:50


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel