Hadoop von Intel: 1 TByte Daten in 7 Minuten statt 4 Stunden analysieren
Intel setzt auf Big Data. (Bild: Intel)

Hadoop von Intel 1 TByte Daten in 7 Minuten statt 4 Stunden analysieren

Der Chiphersteller Intel hat eine eigene Hadoop-Distribution veröffentlicht, die speziell für die eigenen Prozessoren angepasst ist. Sie soll Daten deutlich schneller analysieren, vor allem, wenn sie aus Gründen der Datensicherheit verschlüsselt gespeichert werden.

Anzeige

Intel bietet ab sofort eine eigene Distribution auf Basis von Apache Hadoop an. Sie ist speziell für neue Funktionen in Intels Prozessoren zugeschnitten, was die Analyse großer Datenmengen deutlich beschleunigen soll. Die von Intel dazu entwickelten Hadoop-Anpassungen will das Unternehmen dem Projekt als Open Source zur Verfügung stellen, so dass sie sich wohl bald auch in anderen Hadoop-Distributionen finden werden.

Konkret unterstützt Intels Hadoop-Distribution die Kryptographie-Funktionen in Intels aktuellen Xeon-Prozessoren - AES New Instructions, kurz AES-NI genannt. So können im Hadoop Distributed File System verschlüsselt gespeicherte Daten deutlich schneller analysiert werden.

Zudem hat Intel Anpassungen am Netzwerk- und IO-Code vorgenommen, um die Möglichkeiten der aktuellen Xeon-Chips auszunutzen. Auch das soll den Datendurchsatz erhöhen. Benötigte die Analyse von 1 TByte Daten bislang 4 Stunden, soll sie nun in 7 Minuten möglich sein, so Intel.

Der Intel Manager for Apache Hadoop soll zudem die Verwaltung eines Hadoop-Clusters vereinfachen und der Intel Active Tuner for Apache Hadoop soll die Systeme zudem automatisch auf maximale Leistung konfigurieren.

An weiteren Hadoop-Werkzeugen wird in den Intel Labs derzeit gearbeitet, darunter der Intel Graph Builder for Apache Hadoop. Die Software soll große Datenmengen in Graphen umwandeln, um so Beziehungen zwischen Daten zu visualisieren.

Details zur Intel Distribution for Apache Hadoop stehen unter hadoop.intel.com zur Verfügung.


iRofl 27. Feb 2013

Natürlich wurden die Tests und die Zeilen schön gestaltet. Sagen wir im besten Fall...

Kommentieren



Anzeige

  1. Sachbearbeiter (m/w) IT-Revision
    Sparkasse Mittelthüringen, Mittelthüringen
  2. IT-Consultant (m/w) Inhouse System Engineering
    Mediengruppe RTL Deutschland GmbH, Köln
  3. Datenbank-Entwickler MS SQL Server / Oracle (m/w) Automatisierungssysteme für die Automobilentwicklung
    KRATZER AUTOMATION AG, Unterschleißheim (bei München)
  4. SAP Application Manager (m/w) SD, CS, GTS
    über p3b, Winterthur (Schweiz)

 

Detailsuche


Folgen Sie uns
       


  1. Tiger and Dragon II

    Netflix bietet ersten Kinofilm gleichzeitig zur Premiere

  2. Darkfield VR

    Kickstart für Dogfights mit Oculus Rift

  3. Neue Red-Tarife

    Vodafone bucht Datenvolumen automatisch nach

  4. Freies Betriebssystem

    FreeBSD-Kernel könnte in Debian Jessie entfallen

  5. Kontonummerncheck

    Netflix akzeptiert Kunden einiger Sparkassen nicht

  6. Mittelerde Mordors Schatten

    6 GByte VRAM für scharfe Ultra-Texturen notwendig

  7. Ressl

    LibreSSL-Projekt erstellt nutzerfreundliches SSL-API

  8. Ausgründung

    Ebay und Paypal trennen sich

  9. OS X

    Apple liefert Patch für Shellshock

  10. Elektromagnetik

    Der Dietrich für den Dieb von heute



Haben wir etwas übersehen?

E-Mail an news@golem.de



Deutsche Telekom: 300.000 von Umstellung auf VoIP oder Kündigung betroffen
Deutsche Telekom
300.000 von Umstellung auf VoIP oder Kündigung betroffen
  1. Deutsche Telekom Umstellung auf VoIP oder Kündigung
  2. Entlassungen Telekom verkleinert Online-Innovationsabteilung stark
  3. Mobile Encryption App angeschaut Telekom verschlüsselt Telefonie

Nicholas Carr: Automatisierung macht uns das Leben schwer
Nicholas Carr
Automatisierung macht uns das Leben schwer
  1. HP Proliant m400 Moonshot-Microserver mit 64-Bit-ARM-Prozessoren
  2. Entwicklung vorerst eingestellt Notebooks mit Touch-Displays sind nicht gefragt
  3. Computerchip IBM stellt künstliches Gehirn vor

Bash-Lücke: Die Hintergründe zu Shellshock
Bash-Lücke
Die Hintergründe zu Shellshock
  1. Shellshock Immer mehr Lücken in Bash
  2. Linux-Shell Bash-Sicherheitslücke ermöglicht Codeausführung auf Servern

    •  / 
    Zum Artikel