Abo
  • Services:
Anzeige
Große Datenmengen können dank neuer Generationen von Analysetools immer schneller berechnet werden.
Große Datenmengen können dank neuer Generationen von Analysetools immer schneller berechnet werden. (Bild: Indranil Mukherjee/Afp/Getty Images)

Rekord: Startup sortiert 100 Terabyte in 23 Minuten

Große Datenmengen können dank neuer Generationen von Analysetools immer schneller berechnet werden.
Große Datenmengen können dank neuer Generationen von Analysetools immer schneller berechnet werden. (Bild: Indranil Mukherjee/Afp/Getty Images)

Das US-Startup Databricks hat einen neuen Rekord in der Berechnung von Daten aufgestellt. Die Computer der Firma ordneten 100 Terabyte in nur 23 Minuten. Zuvor hatte Yahoo den Rekord gehalten.

Anzeige

Das US-Startup Databricks hat einen neuen Weltrekord aufgestellt und 100 Terabyte in nur 23 Minuten verarbeitet. Das Startup verwendete dafür 206 virtuelle Maschinen mit 6.592 Prozessorkernen. Der Weltrekord wurde beim Benchmarking-Wettbewerb GraySort erreicht.

Databricks stellt damit einen Rekord von Yahoo ein. Der Internetkonzern hatte mit Hilfe eines Hadoop-Clusters mit 2.100 virtuellen Maschinen 70 Minuten für die gleiche Datenmenge gebraucht. Databricks verwendete für die Berechnung das eigene Datentool Spark.

1 Petabyte in 234 Minuten

Nach eigenen Angaben berechnete das Startup zusätzlich außer Konkurrenz 1 Petabyte an Daten mit 190 Rechnern in 234 Minuten. Auch dies sei schneller als bisherige Ergebnisse mit dem Hadoop-Tool Mapreduce. "Databricks und die Open-Source-Community haben viel in die Optimierung von On-disk-Performance, deren Skalierbarkeit und Stabilität investiert", sagte Databricks-Chef Ion Stoica. "Der Rekord zeigt nicht nur, dass sich die Arbeit gelohnt hat, sondern auch, dass Spark seine Versprechen hält." Die Datenmenge in dem Wettbewerb sei größer als das meiste, was Unternehmen im Alltag berechnen müssten. Ein Vorteil von Spark sei es, dass Daten nicht nur auf Festplatten, sondern auch im Arbeitsspeicher verarbeitet werden könnten.

Spark wurde ursprünglich von der University of California Berkeley als Open-Source-Tool entwickelt und wird nun mit Hilfe von Databricks vertrieben. Neben Spark gibt es ähnliche Tools auch von anderen Firmen, darunter Impala von dem kalifornischen Startup Cloudera und Drill von MapR.

Das Analyseprojekt Hadoop wird noch immer von den meisten großen Internetunternehmen für die Datenanalyse verwendet, darunter Facebook, Twitter, Ebay und Intel. Neuere Tools wie Dremel können jedoch anders als Hadoop große Datenmengen auch in Echtzeit berechnen. Laut Databricks verwendete das Team für seinen Weltrekord das Analysetool Apache Spark in Kombination mit Hadoop File System (HDFS). Das Datencluster wurde dabei von Amazons Cloud-Dienst EC2 gehostet.


eye home zur Startseite
neocron 15. Okt 2014

was war ein Argument? hier war kein Argument benannt vorher, wie kann es da "auch" ein...

Cerdo 15. Okt 2014

Die Fragen sind trotzdem gerechtfertigt. Wenn das nicht jedes Mal der gleiche Datensatz...

johann1979 15. Okt 2014

Ich habe es geschafft, 1 Petabyte Daten in nur 233 Minuten zu sortieren...und zwar...

s1ou 15. Okt 2014

Bei Startup denke ich an ein Unternehmen kleiner Größe, dass keinen Umsatz macht und noch...

DanielSchulz 15. Okt 2014

Ich finde auch, dass es ein Framework und kein Projekt ist. Zudem kann man auf Hadoop...



Anzeige

Stellenmarkt
  1. Südwolle GmbH & Co. KG, Schwaig
  2. ING-DiBa AG, Nürnberg
  3. Wüstenrot Bank AG Pfandbriefbank, Ludwigsburg
  4. State Street Global Exchange, Frankfurt


Anzeige
Blu-ray-Angebote
  1. (u. a. 25 % Rabatt beim Kauf von drei Neuheiten, Box-Sets im Angebot)
  2. (u. a. Forrest Gump 9,97€, Gods of Egypt 9,97€, Creed 8,99€, Cloud Atlas 8,94€)
  3. 29,99€ (Vorbesteller-Preisgarantie)

Folgen Sie uns
       

Anzeige
Whitepaper
  1. Leitfaden für den gezielten Einsatz von SAP HANA
  2. Wissens-Guide und Kaufberatung für Cloud-Sicherheit
  3. Mehr dazu im aktuellen Whitepaper von Freudenberg IT

  1. Hoversurf

    Hoverbike Scorpion-3 ist ein Motorradcopter

  2. Rubbelcard

    Freenet-TV-Guthabenkarten gehen in den Verkauf

  3. Nintendo

    Interner Speicher von Switch offenbar schon jetzt zu klein

  4. Noch 100 Tage

    Unitymedia schaltet Analogfernsehen schrittweise ab

  5. Routerfreiheit

    Tagelange Störung bei Aktivierungsportal von Vodafone

  6. Denverton

    Intel plant Atom C3000 mit bis zu 16 Goldmont-CPU-Kernen

  7. Trotz Weiterbildung

    Arbeitslos als Fachinformatiker

  8. Klage gegen Steuernachzahlung

    Apple beruft sich auf europäische Grundrechte

  9. 3D Studio

    Nvidia spendiert Qt Hunderttausende Zeilen Code

  10. Horizon Zero Dawn im Test

    Abenteuer im Land der Maschinenmonster



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
XPS 13 (9360) im Test: Wieder ein tolles Ultrabook von Dell
XPS 13 (9360) im Test
Wieder ein tolles Ultrabook von Dell
  1. Die Woche im Video Die Selbstzerstörungssequenz ist aktiviert
  2. XPS 13 Convertible im Hands on Dells 2-in-1 ist kompakter und kaum langsamer

Mechanische Tastatur Poker 3 im Test: "Kauf dir endlich Dämpfungsringe!"
Mechanische Tastatur Poker 3 im Test
"Kauf dir endlich Dämpfungsringe!"
  1. Patentantrag Apple denkt über Tastatur mit Siri-, Emoji- und Teilen-Taste nach
  2. Kanex Faltbare Bluetooth-Tastatur für mehrere Geräte gleichzeitig
  3. Surface Ergonomic Keyboard Microsofts Neuauflage der Mantarochen-Tastatur

Hyperloop-Challenge: Der Kompressor macht den Unterschied
Hyperloop-Challenge
Der Kompressor macht den Unterschied
  1. Arrivo Die neuen alten Hyperlooper
  2. SpaceX Die Bayern hyperloopen am schnellsten und weitesten
  3. Hyperloop HTT baut ein Forschungszentrum in Toulouse

  1. Re: und es geht noch günstiger

    ve2000 | 02:27

  2. Suchen Web-Entwickler in Braunschweig

    JörgLudwig | 02:23

  3. Re: Aussichten Windows/ Linux Admin im Zeitalter...

    amagol | 02:22

  4. Re: Jemanden zu finden der weiß was er tut ist...

    theonlyone | 02:11

  5. Re: Positiv betrachtet: preiswert Speicher erweitern

    theonlyone | 02:05


  1. 18:30

  2. 18:14

  3. 16:18

  4. 15:53

  5. 15:29

  6. 15:00

  7. 14:45

  8. 14:13


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel