Abo
  • Services:

Hadoop von Intel: 1 TByte Daten in 7 Minuten statt 4 Stunden analysieren

Der Chiphersteller Intel hat eine eigene Hadoop-Distribution veröffentlicht, die speziell für die eigenen Prozessoren angepasst ist. Sie soll Daten deutlich schneller analysieren, vor allem, wenn sie aus Gründen der Datensicherheit verschlüsselt gespeichert werden.

Artikel veröffentlicht am ,
Intel setzt auf Big Data.
Intel setzt auf Big Data. (Bild: Intel)

Intel bietet ab sofort eine eigene Distribution auf Basis von Apache Hadoop an. Sie ist speziell für neue Funktionen in Intels Prozessoren zugeschnitten, was die Analyse großer Datenmengen deutlich beschleunigen soll. Die von Intel dazu entwickelten Hadoop-Anpassungen will das Unternehmen dem Projekt als Open Source zur Verfügung stellen, so dass sie sich wohl bald auch in anderen Hadoop-Distributionen finden werden.

Stellenmarkt
  1. BWI GmbH, deutschlandweit
  2. Controlware GmbH, Ingolstadt

Konkret unterstützt Intels Hadoop-Distribution die Kryptographie-Funktionen in Intels aktuellen Xeon-Prozessoren - AES New Instructions, kurz AES-NI genannt. So können im Hadoop Distributed File System verschlüsselt gespeicherte Daten deutlich schneller analysiert werden.

Zudem hat Intel Anpassungen am Netzwerk- und IO-Code vorgenommen, um die Möglichkeiten der aktuellen Xeon-Chips auszunutzen. Auch das soll den Datendurchsatz erhöhen. Benötigte die Analyse von 1 TByte Daten bislang 4 Stunden, soll sie nun in 7 Minuten möglich sein, so Intel.

Der Intel Manager for Apache Hadoop soll zudem die Verwaltung eines Hadoop-Clusters vereinfachen und der Intel Active Tuner for Apache Hadoop soll die Systeme zudem automatisch auf maximale Leistung konfigurieren.

An weiteren Hadoop-Werkzeugen wird in den Intel Labs derzeit gearbeitet, darunter der Intel Graph Builder for Apache Hadoop. Die Software soll große Datenmengen in Graphen umwandeln, um so Beziehungen zwischen Daten zu visualisieren.

Details zur Intel Distribution for Apache Hadoop stehen unter hadoop.intel.com zur Verfügung.



Anzeige
Blu-ray-Angebote
  1. 34,99€

iRofl 27. Feb 2013

Natürlich wurden die Tests und die Zeilen schön gestaltet. Sagen wir im besten Fall...


Folgen Sie uns
       


Analyse zum Apple-Event - Golem.de live

Die Golem.de-Redakteure Tobias Költzsch und Michael Wieczorek besprechen die drei neuen iPhones und die Neuerungen bei der Apple Watch 4.

Analyse zum Apple-Event - Golem.de live Video aufrufen
Energietechnik: Die Verlockung der Lithium-Luft-Akkus
Energietechnik
Die Verlockung der Lithium-Luft-Akkus

Ein Akku mit der Energiekapazität eines Benzintanks würde viele Probleme lösen. In der Theorie ist das möglich. In der Praxis ist noch viel Arbeit nötig.
Von Frank Wunderlich-Pfeiffer

  1. Elektroautos CDU will Bau von Akkuzellenfabriken subventionieren
  2. Brine4Power EWE will Strom unter der Erde speichern
  3. Forschung Akku für Elektroautos macht es sich im Winter warm

Oldtimer-Rakete: Ein Satellit noch - dann ist Schluss
Oldtimer-Rakete
Ein Satellit noch - dann ist Schluss

Ursprünglich sollte sie Atombomben auf Moskau schießen, dann kam sie in die Raumfahrt. Die Delta-II-Rakete hat am Samstag ihren letzten Flug.
Von Frank Wunderlich-Pfeiffer

  1. Stratolaunch Riesenflugzeug bekommt eigene Raketen
  2. Chang'e 4 China stellt neuen Mondrover vor
  3. Raumfahrt Cubesats sollen unhackbar werden

iOS 12 im Test: Auch Apple will es Nutzern leichter machen
iOS 12 im Test
Auch Apple will es Nutzern leichter machen

Apple setzt mit iOS 12 weniger auf aufsehenerregende Funktionen als auf viele kleine Verbesserungen für den Alltag. Das erinnert an Google und Android 9, was nicht zwingend schlecht ist.
Ein Test von Tobias Költzsch

  1. Apple iOS 12.1 verrät neues iPad Pro
  2. Apple Siri-Kurzbefehle-App für iOS 12 verfügbar

    •  /