Hadoop von Intel 1 TByte Daten in 7 Minuten statt 4 Stunden analysieren

Der Chiphersteller Intel hat eine eigene Hadoop-Distribution veröffentlicht, die speziell für die eigenen Prozessoren angepasst ist. Sie soll Daten deutlich schneller analysieren, vor allem, wenn sie aus Gründen der Datensicherheit verschlüsselt gespeichert werden.

Anzeige

Intel bietet ab sofort eine eigene Distribution auf Basis von Apache Hadoop an. Sie ist speziell für neue Funktionen in Intels Prozessoren zugeschnitten, was die Analyse großer Datenmengen deutlich beschleunigen soll. Die von Intel dazu entwickelten Hadoop-Anpassungen will das Unternehmen dem Projekt als Open Source zur Verfügung stellen, so dass sie sich wohl bald auch in anderen Hadoop-Distributionen finden werden.

Konkret unterstützt Intels Hadoop-Distribution die Kryptographie-Funktionen in Intels aktuellen Xeon-Prozessoren - AES New Instructions, kurz AES-NI genannt. So können im Hadoop Distributed File System verschlüsselt gespeicherte Daten deutlich schneller analysiert werden.

Zudem hat Intel Anpassungen am Netzwerk- und IO-Code vorgenommen, um die Möglichkeiten der aktuellen Xeon-Chips auszunutzen. Auch das soll den Datendurchsatz erhöhen. Benötigte die Analyse von 1 TByte Daten bislang 4 Stunden, soll sie nun in 7 Minuten möglich sein, so Intel.

Der Intel Manager for Apache Hadoop soll zudem die Verwaltung eines Hadoop-Clusters vereinfachen und der Intel Active Tuner for Apache Hadoop soll die Systeme zudem automatisch auf maximale Leistung konfigurieren.

An weiteren Hadoop-Werkzeugen wird in den Intel Labs derzeit gearbeitet, darunter der Intel Graph Builder for Apache Hadoop. Die Software soll große Datenmengen in Graphen umwandeln, um so Beziehungen zwischen Daten zu visualisieren.

Details zur Intel Distribution for Apache Hadoop stehen unter hadoop.intel.com zur Verfügung.


iRofl 27. Feb 2013

Natürlich wurden die Tests und die Zeilen schön gestaltet. Sagen wir im besten Fall...

Kommentieren



Anzeige

  1. Entwicklungsingenieur (m/w) Systemarchitektur / Systems Engineering
    Diehl BGT Defence GmbH & Co. KG, Überlingen am Bodensee
  2. Netzwerk Administrator (m/w)
    Loyalty Partner Solutions GmbH, keine Angabe
  3. Business Intelligence Experte (m/w)
    Sparkassen Rating und Risikosysteme GmbH, Berlin
  4. Senior Softwareentwickler (m/w) Java EE
    Faktor Zehn AG, München und Köln

 

Detailsuche


Folgen Sie uns
       


  1. MPAA und RIAA

    Film- und Musikindustrie nutzte Megaupload intensiv

  2. F-Secure

    David Hasselhoff spricht auf der Re:publica in Berlin

  3. "Leicht zu verdauen"

    SAP bietet Ratenkauf und kündigt vereinfachte GUI an

  4. Test The Elder Scrolls Online

    Skyrim meets Standard-MMORPG

  5. AMD-Vize Lisa Su

    Geringe Chancen für 20-Nanometer-GPUs von AMD für 2014

  6. Bärbel Höhn

    Smartphone-Hersteller zu Diebstahl-Sperre zwingen

  7. Taxi-App

    Uber will trotz Verbot in weitere deutsche Städte

  8. First-Person-Walker

    Wie viel Gameplay braucht ein Spiel?

  9. Finanzierungsrunde

    Startup Airbnb ist zehn Milliarden US-Dollar wert

  10. Spähaffäre

    Snowden erklärt seine Frage an Putin



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
IMHO - Heartbleed und die Folgen: TLS entrümpeln
IMHO - Heartbleed und die Folgen
TLS entrümpeln

Die Spezifikation der TLS-Verschlüsselung ist ein Gemischtwarenladen aus exotischen Algorithmen und nie benötigten Erweiterungen. Es ist Zeit für eine große Entrümpelungsaktion.

  1. Bleichenbacher-Angriff TLS-Probleme in Java
  2. Revocation Zurückziehen von Zertifikaten bringt wenig
  3. TLS-Bibliotheken Fehler finden mit fehlerhaften Zertifikaten

Owncloud: Dropbox-Alternative fürs Heimnetzwerk
Owncloud
Dropbox-Alternative fürs Heimnetzwerk

Kaputte Zertifikate durch Heartbleed und der NSA-Skandal: Es gibt genügend Gründe, seinen eigenen Cloud-Speicher einzurichten. Wir erklären mit Owncloud auf einem Raspberry Pi, wie das funktioniert.


Test LG L40: Android 4.4.2 macht müde Smartphones munter
Test LG L40
Android 4.4.2 macht müde Smartphones munter

Mit dem L40 präsentiert LG eines der ersten Smartphones mit der aktuellen Android-Version 4.4.2, das unter 100 Euro kostet. Dank der Optimierungen von Kitkat überrascht die Leistung des kleinen Gerätes - und es dürfte nicht nur für Einsteiger interessant sein.

  1. LG G3 5,5-Zoll-Smartphone mit 1440p-Display und Kitkat
  2. LG L35 Smartphone mit Android 4.4 für 80 Euro
  3. Programmierbare LED-Lampe LG kündigt Alternative zur Philips Hue an

    •  / 
    Zum Artikel