• IT-Karriere:
  • Services:

Hadoop von Intel: 1 TByte Daten in 7 Minuten statt 4 Stunden analysieren

Der Chiphersteller Intel hat eine eigene Hadoop-Distribution veröffentlicht, die speziell für die eigenen Prozessoren angepasst ist. Sie soll Daten deutlich schneller analysieren, vor allem, wenn sie aus Gründen der Datensicherheit verschlüsselt gespeichert werden.

Artikel veröffentlicht am ,
Intel setzt auf Big Data.
Intel setzt auf Big Data. (Bild: Intel)

Intel bietet ab sofort eine eigene Distribution auf Basis von Apache Hadoop an. Sie ist speziell für neue Funktionen in Intels Prozessoren zugeschnitten, was die Analyse großer Datenmengen deutlich beschleunigen soll. Die von Intel dazu entwickelten Hadoop-Anpassungen will das Unternehmen dem Projekt als Open Source zur Verfügung stellen, so dass sie sich wohl bald auch in anderen Hadoop-Distributionen finden werden.

Stellenmarkt
  1. Polizeipräsidium Oberbayern Nord, Ingolstadt, Fürstenfeldbruck
  2. Deloitte, verschiedene Standorte

Konkret unterstützt Intels Hadoop-Distribution die Kryptographie-Funktionen in Intels aktuellen Xeon-Prozessoren - AES New Instructions, kurz AES-NI genannt. So können im Hadoop Distributed File System verschlüsselt gespeicherte Daten deutlich schneller analysiert werden.

Zudem hat Intel Anpassungen am Netzwerk- und IO-Code vorgenommen, um die Möglichkeiten der aktuellen Xeon-Chips auszunutzen. Auch das soll den Datendurchsatz erhöhen. Benötigte die Analyse von 1 TByte Daten bislang 4 Stunden, soll sie nun in 7 Minuten möglich sein, so Intel.

Der Intel Manager for Apache Hadoop soll zudem die Verwaltung eines Hadoop-Clusters vereinfachen und der Intel Active Tuner for Apache Hadoop soll die Systeme zudem automatisch auf maximale Leistung konfigurieren.

An weiteren Hadoop-Werkzeugen wird in den Intel Labs derzeit gearbeitet, darunter der Intel Graph Builder for Apache Hadoop. Die Software soll große Datenmengen in Graphen umwandeln, um so Beziehungen zwischen Daten zu visualisieren.

Details zur Intel Distribution for Apache Hadoop stehen unter hadoop.intel.com zur Verfügung.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Spiele-Angebote
  1. (-79%) 5,99€
  2. 18,99€
  3. 4,32€
  4. 2,99€

iRofl 27. Feb 2013

Natürlich wurden die Tests und die Zeilen schön gestaltet. Sagen wir im besten Fall...


Folgen Sie uns
       


Amazons FireTV Cube mit Sprachsteuerung - Test

Der Fire TV Cube ist mehr als ein Fire-TV-Modell. Er kann auf Zuruf gesteuert werden und wir zeigen im Video, wie gut das gelöst ist.

Amazons FireTV Cube mit Sprachsteuerung - Test Video aufrufen
Interview: Die Liebe für den Flight Simulator war immer da
Interview
"Die Liebe für den Flight Simulator war immer da"

Die prozedural erstellte Erde, der Quellcode vom letzten MS-Flugsimulator und eine Gemeinsamkeit mit Star Citizen: Golem.de hat mit Jörg Neumann über Technik und das Fliegen gesprochen. Neumann leitet bei Microsoft die Entwicklung des Flight Simulator.
Ein Interview von Peter Steinlechner

  1. Flug-Simulation Microsoft bereitet Alphatest des Flight Simulator vor
  2. Microsoft Neuer Flight Simulator soll Fokus auf Simulation legen

Geforce GTX 1650 Super im Test: Kleine Super-Karte hat große Konkurrenz
Geforce GTX 1650 Super im Test
Kleine Super-Karte hat große Konkurrenz

Mit der Geforce GTX 1650 Super positioniert Nvidia ein weiteres Modell für unter 200 Euro. Dort trifft die Turing-Grafikkarte allerdings auf AMDs Radeon RX 580, die zwar ziemlich alt und stromhungrig, aber immer noch schnell ist. Zudem erscheint bald die sparsame Radeon RX 5500 als Nachfolger.
Ein Test von Marc Sauter

  1. Nvidia-Grafikkarte Geforce GTX 1650 Super erscheint Ende November
  2. Geforce GTX 1660 Super im Test Nvidias 250-Euro-Grafikkarte macht es AMD schwer
  3. Geforce-Treiber 436.02 Integer-Scaling macht Pixel-Art hübscher

Männer und Frauen in der IT: Gibt es wirklich Chancengleichheit in Deutschland?
Männer und Frauen in der IT
Gibt es wirklich Chancengleichheit in Deutschland?

Der Mann arbeitet, die Frau macht den Haushalt und zieht die Kinder groß - ein Bild aus längst vergangenen westdeutschen Zeiten? Nein, zeigen uns die aktuellen Zahlen. Nach wie vor sind die Rollenbilder stark, und das hat auch Auswirkungen auf den Anteil von Frauen in der IT-Branche.
Von Valerie Lux

  1. HR-Analytics Weshalb Mitarbeiter kündigen
  2. Frauen in der IT Ist Logik von Natur aus Männersache?
  3. IT-Jobs Gibt es den Fachkräftemangel wirklich?

    •  /