Hadoop von Intel: 1 TByte Daten in 7 Minuten statt 4 Stunden analysieren
Intel setzt auf Big Data. (Bild: Intel)

Hadoop von Intel 1 TByte Daten in 7 Minuten statt 4 Stunden analysieren

Der Chiphersteller Intel hat eine eigene Hadoop-Distribution veröffentlicht, die speziell für die eigenen Prozessoren angepasst ist. Sie soll Daten deutlich schneller analysieren, vor allem, wenn sie aus Gründen der Datensicherheit verschlüsselt gespeichert werden.

Anzeige

Intel bietet ab sofort eine eigene Distribution auf Basis von Apache Hadoop an. Sie ist speziell für neue Funktionen in Intels Prozessoren zugeschnitten, was die Analyse großer Datenmengen deutlich beschleunigen soll. Die von Intel dazu entwickelten Hadoop-Anpassungen will das Unternehmen dem Projekt als Open Source zur Verfügung stellen, so dass sie sich wohl bald auch in anderen Hadoop-Distributionen finden werden.

Konkret unterstützt Intels Hadoop-Distribution die Kryptographie-Funktionen in Intels aktuellen Xeon-Prozessoren - AES New Instructions, kurz AES-NI genannt. So können im Hadoop Distributed File System verschlüsselt gespeicherte Daten deutlich schneller analysiert werden.

Zudem hat Intel Anpassungen am Netzwerk- und IO-Code vorgenommen, um die Möglichkeiten der aktuellen Xeon-Chips auszunutzen. Auch das soll den Datendurchsatz erhöhen. Benötigte die Analyse von 1 TByte Daten bislang 4 Stunden, soll sie nun in 7 Minuten möglich sein, so Intel.

Der Intel Manager for Apache Hadoop soll zudem die Verwaltung eines Hadoop-Clusters vereinfachen und der Intel Active Tuner for Apache Hadoop soll die Systeme zudem automatisch auf maximale Leistung konfigurieren.

An weiteren Hadoop-Werkzeugen wird in den Intel Labs derzeit gearbeitet, darunter der Intel Graph Builder for Apache Hadoop. Die Software soll große Datenmengen in Graphen umwandeln, um so Beziehungen zwischen Daten zu visualisieren.

Details zur Intel Distribution for Apache Hadoop stehen unter hadoop.intel.com zur Verfügung.


iRofl 27. Feb 2013

Natürlich wurden die Tests und die Zeilen schön gestaltet. Sagen wir im besten Fall...

Kommentieren



Anzeige

  1. Senior Network Engineer - Voice Projects (m/w)
    Bayer Business Services GmbH, Leverkusen
  2. Project Manager / Project Consultant E-Commerce (m/w)
    Wirecard Technologies GmbH, Aschheim bei München
  3. IT-Spezialist (m/w) Analytik / Labor
    Phytolab GmbH & Co. KG, Vestenbergsgreuth (Großraum Nürnberg)
  4. Lead Software Architect (m/w)
    über eTec Consult GmbH, Mittelhessen

 

Detailsuche


Folgen Sie uns
       


  1. Wartungspanne

    Totalausfall bei Time Warners Internetzugängen

  2. AGB

    Amazon.de verschlechtert Bedingungen für Kreditkarte

  3. Rockstar Games

    GTA 5 wird zu groß für 12-GByte-Playstation

  4. Nach 36 Jahren

    Bundesdatenschutz wird unabhängige Behörde

  5. Lumina

    PC-BSD zeigt Fortschritte des eigenen Desktops

  6. Cloud

    Niedrigerer Preis und neue Funktionen bei Dropbox

  7. Dragon Age Inquisition

    Multiplayer mit Mikrotransaktionen

  8. Lyft

    Uber soll Konkurrenten mit unsauberen Methoden bekämpfen

  9. Enlightenment

    E19 bekommt offiziell neuen Wayland-Compositor

  10. Cybercrime

    BKA fordert Gesetze zur Ermittlung von Tor-Nutzern



Haben wir etwas übersehen?

E-Mail an news@golem.de



IPv6: Der holprige Weg zu neuen IP-Adressen
IPv6
Der holprige Weg zu neuen IP-Adressen
  1. Containerverwaltung Docker 1.2 erlaubt Regelung von Containerneustarts
  2. Stellenanzeige Facebook will Linux-Netzwerkstack wie in FreeBSD
  3. Für Azure Microsoft gehen US-IPv4-Adressen aus

Formel E: Motorsport zum Zuhören
Formel E
Motorsport zum Zuhören

Raspberry B+ im Test: Sparsamer Nachfolger für mehr Bastelspaß
Raspberry B+ im Test
Sparsamer Nachfolger für mehr Bastelspaß
  1. Erweiterungsplatinen Der Raspberry Pi bekommt Hüte
  2. Odroid W Raspberry Pi-Klon für Fortgeschrittene
  3. Eric Anholt Langsamer Fortschritt bei Raspberry-Pi-Grafiktreiber

    •  / 
    Zum Artikel