Hadoop von Intel: 1 TByte Daten in 7 Minuten statt 4 Stunden analysieren

Der Chiphersteller Intel hat eine eigene Hadoop-Distribution veröffentlicht, die speziell für die eigenen Prozessoren angepasst ist. Sie soll Daten deutlich schneller analysieren, vor allem, wenn sie aus Gründen der Datensicherheit verschlüsselt gespeichert werden.

Artikel veröffentlicht am ,
Intel setzt auf Big Data.
Intel setzt auf Big Data. (Bild: Intel)

Intel bietet ab sofort eine eigene Distribution auf Basis von Apache Hadoop an. Sie ist speziell für neue Funktionen in Intels Prozessoren zugeschnitten, was die Analyse großer Datenmengen deutlich beschleunigen soll. Die von Intel dazu entwickelten Hadoop-Anpassungen will das Unternehmen dem Projekt als Open Source zur Verfügung stellen, so dass sie sich wohl bald auch in anderen Hadoop-Distributionen finden werden.

Stellenmarkt
  1. Leiter*in der IT-Abteilung (m/w/d) Bereich IT-Service-Management
    THOST Projektmanagement GmbH, Pforzheim
  2. Senior Frontend Developer (m/w/d)
    Hays AG, Frankfurt am Main
Detailsuche

Konkret unterstützt Intels Hadoop-Distribution die Kryptographie-Funktionen in Intels aktuellen Xeon-Prozessoren - AES New Instructions, kurz AES-NI genannt. So können im Hadoop Distributed File System verschlüsselt gespeicherte Daten deutlich schneller analysiert werden.

Zudem hat Intel Anpassungen am Netzwerk- und IO-Code vorgenommen, um die Möglichkeiten der aktuellen Xeon-Chips auszunutzen. Auch das soll den Datendurchsatz erhöhen. Benötigte die Analyse von 1 TByte Daten bislang 4 Stunden, soll sie nun in 7 Minuten möglich sein, so Intel.

Der Intel Manager for Apache Hadoop soll zudem die Verwaltung eines Hadoop-Clusters vereinfachen und der Intel Active Tuner for Apache Hadoop soll die Systeme zudem automatisch auf maximale Leistung konfigurieren.

Golem Karrierewelt
  1. First Response auf Security Incidents: Ein-Tages-Workshop
    14.11.2022, Virtuell
  2. IT-Grundschutz-Praktiker mit Zertifikat: Drei-Tage-Workshop
    04.-06.07.2022, Virtuell
Weitere IT-Trainings

An weiteren Hadoop-Werkzeugen wird in den Intel Labs derzeit gearbeitet, darunter der Intel Graph Builder for Apache Hadoop. Die Software soll große Datenmengen in Graphen umwandeln, um so Beziehungen zwischen Daten zu visualisieren.

Details zur Intel Distribution for Apache Hadoop stehen unter hadoop.intel.com zur Verfügung.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


iRofl 27. Feb 2013

Natürlich wurden die Tests und die Zeilen schön gestaltet. Sagen wir im besten Fall...



Aktuell auf der Startseite von Golem.de
Wissenschaft
LHC hat drei neue exotische Teilchen entdeckt

Der sogenannte Teilchenzoo der Physik ist noch größer geworden. Die Wissenschaft hofft auf Bestätigung der Modelle zu deren internen Aufbau.

Wissenschaft: LHC hat drei neue exotische Teilchen entdeckt
Artikel
  1. Superior Continuous Torque: E-Motor von Mahle für Dauerbetrieb unter Stress
    Superior Continuous Torque
    E-Motor von Mahle für Dauerbetrieb unter Stress

    Mahle hat einen neuen Auto-Elektromotor entwickelt, der unbegrenzt lange unter hoher Last betrieben werden kann. Dies wird durch ein neues Kühlkonzept im Motor erreicht.

  2. Security: BSI beginnt Zertifizierung für 5G-Komponenten
    Security
    BSI beginnt Zertifizierung für 5G-Komponenten

    Eine schnelle und zuverlässige IT-Sicherheitsaussage für die geprüften Produkte, das verspricht das BSI. Doch welche Produkte sind betroffen?

  3. VW.OS: VW-Software soll einfach updatefähig und bezahlbar sein
    VW.OS
    VW-Software soll "einfach updatefähig" und bezahlbar sein

    Mit seiner Softwaresparte Cariad will VW ein einheitliches System mit vereinfachter Architektur erstellen.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • PS5 bestellbar • HP HyperX Gaming-Headset -40% • Corsair Wakü 234,90€ • Samsung Galaxy S20 128GB -36% • Audible -70% • MSI RTX 3080 12GB günstig wie nie: 948€ • AMD Ryzen 7 günstig wie nie: 259€ • Der beste 2.000€-Gaming-PC • CM 34" UWQHD 144 Hz günstig wie nie: 467,85€ [Werbung]
    •  /