Hadoop von Intel 1 TByte Daten in 7 Minuten statt 4 Stunden analysieren

Der Chiphersteller Intel hat eine eigene Hadoop-Distribution veröffentlicht, die speziell für die eigenen Prozessoren angepasst ist. Sie soll Daten deutlich schneller analysieren, vor allem, wenn sie aus Gründen der Datensicherheit verschlüsselt gespeichert werden.

Anzeige

Intel bietet ab sofort eine eigene Distribution auf Basis von Apache Hadoop an. Sie ist speziell für neue Funktionen in Intels Prozessoren zugeschnitten, was die Analyse großer Datenmengen deutlich beschleunigen soll. Die von Intel dazu entwickelten Hadoop-Anpassungen will das Unternehmen dem Projekt als Open Source zur Verfügung stellen, so dass sie sich wohl bald auch in anderen Hadoop-Distributionen finden werden.

Konkret unterstützt Intels Hadoop-Distribution die Kryptographie-Funktionen in Intels aktuellen Xeon-Prozessoren - AES New Instructions, kurz AES-NI genannt. So können im Hadoop Distributed File System verschlüsselt gespeicherte Daten deutlich schneller analysiert werden.

Zudem hat Intel Anpassungen am Netzwerk- und IO-Code vorgenommen, um die Möglichkeiten der aktuellen Xeon-Chips auszunutzen. Auch das soll den Datendurchsatz erhöhen. Benötigte die Analyse von 1 TByte Daten bislang 4 Stunden, soll sie nun in 7 Minuten möglich sein, so Intel.

Der Intel Manager for Apache Hadoop soll zudem die Verwaltung eines Hadoop-Clusters vereinfachen und der Intel Active Tuner for Apache Hadoop soll die Systeme zudem automatisch auf maximale Leistung konfigurieren.

An weiteren Hadoop-Werkzeugen wird in den Intel Labs derzeit gearbeitet, darunter der Intel Graph Builder for Apache Hadoop. Die Software soll große Datenmengen in Graphen umwandeln, um so Beziehungen zwischen Daten zu visualisieren.

Details zur Intel Distribution for Apache Hadoop stehen unter hadoop.intel.com zur Verfügung.


iRofl 27. Feb 2013

Natürlich wurden die Tests und die Zeilen schön gestaltet. Sagen wir im besten Fall...

Kommentieren



Anzeige

  1. IT-Trainee (m/w)
    Allianz Deutschland AG, Stuttgart
  2. Business Project Expert (m/w) Production Planning
    Fresenius Medical Care Deutschland GmbH, Bad Homburg
  3. Entwic­kler Con­trol­ling­sys­teme (m/w)
    Bitburger Braugruppe GmbH, Bitburg
  4. Bauingenieur / Bauingenieurin - Baubetrieb
    Ed. Züblin AG, Stuttgart

 

Detailsuche


Folgen Sie uns
       


  1. Kitkat-Smartphone

    Samsungs Galaxy Ace Style kommt früher

  2. Netmundial-Konferenz

    Netzaktivisten frustriert über "Farce" der Internetkontrolle

  3. Zalando

    Onlinekleiderhändler schließt einen Standort

  4. Apple vs. Samsung

    Google versprach Samsung Hilfe im Patentstreit mit Apple

  5. Deadcore

    Indiegames-Turmbesteigung für PC, Mac und Linux

  6. Reprap

    "Waschmaschinen werden auch nur 5% der Lebenszeit verwendet"

  7. Spam

    AOL bekämpft Spam mit Verschärfung der DMARC-Einstellung

  8. Mac OS X

    Sicherheitsupdate und Beta-Versionen für alle

  9. Onlinemodus

    Civ 3 und 4 sowie Borderlands ziehen um

  10. Grafikkarte

    Radeon R9 295X2 für 1.500 Euro verfügbar



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
25 Jahre Gameboy: Nintendos kultisch verehrte Daddelkiste
25 Jahre Gameboy
Nintendos kultisch verehrte Daddelkiste

Der Gameboy ist gut gealtert - heute wird mit der Konsole Musik gemacht, und selbst Spieleprogrammierer werden beim Anblick des grauen 8-Bit-Klotzes nostalgisch.

  1. Satoru Iwata Nintendo will Handhelds und stationäre Konsolen vereinen
  2. Nintendo Yamauchi-Clan will Anteile abstoßen
  3. Mario Nintendo macht Apps und gesund

Digitalkamera: Panono macht Panoramen im Flug
Digitalkamera
Panono macht Panoramen im Flug

Wenn Jonas Pfeil ein Panorama aufnimmt, stellt er nicht Kamera, Stativ und Panoramakopf auf, sondern wirft einen Ball in die Höhe. Um das Panorama anschließend zu betrachten, hantiert er mit einem Tablet. Der Berliner hat Golem.de seine Entwicklung erklärt.

  1. Nachfolger von Google Glass Google patentiert Kontaktlinsen mit Kameras
  2. Pentax 645Z Mittelformatkamera mit 51 Megapixeln und ISO 204.800
  3. Coolpix S810C Spielen und Surfen mit der Nikon-Kamera

Windows 8.1 Update 1 im Test: Ein lohnenswertes Miniupdate
Windows 8.1 Update 1 im Test
Ein lohnenswertes Miniupdate

Microsoft geht wieder einen Schritt zurück in die Zukunft. Mit dem Update 1 baut der Konzern erneut Funktionen ein, die vor allem für Mausschubser gedacht sind. Wir haben uns das Miniupdate für Windows 8.1 pünktlich zur Veröffentlichung angesehen.

  1. Microsoft Installationsprobleme beim Windows 8.1 Update 1
  2. Windows 8.1 Update 1 Wieder mehr minimieren und schließen
  3. Microsoft Windows 8.1 Update 1 vorab verfügbar

    •  / 
    Zum Artikel