Apache Hadoop

Der Chiphersteller Intel hat eine eigene Hadoop-Distribution veröffentlicht, die speziell für die eigenen Prozessoren angepasst ist. Sie soll Daten deutlich schneller analysieren, vor allem, wenn sie aus Gründen der Datensicherheit verschlüsselt gespeichert werden.

27.02.20139 Kommentare

Welche Probleme mussten Facebooks Entwickler lösen, um das Wachstum auf mehr als 1 Milliarde aktive Nutzer zu bewerkstelligen, und was waren die daraus resultierenden größten technischen Errungenschaften? Andere, als die meisten denken, sagt Robert Johnson, der fünf Jahre lang Facebooks Infrastruktur-Software-Team leitete.

28.01.201357 Kommentare

Meint ein Nutzer, der nach "Bayern" sucht, das Land, seine Bewohner oder den Fußballclub? Und wie können Suchanfragen eingeordnet werden, die erstmals oder in neuem Kontext auftauchen? Wenn Maschinen zu langsam lernen, können Menschen helfen.

10.01.20138 Kommentare

Von HP gibt es zwei neue Rackserver, die sich für aufwendige Berechnungen oder Big-Data-Anwendungen eignen. Der Proliant SL270s G8 kann bis zu 8 GPU-Karten aufnehmen, der Proliant SL4500 G8 dafür bis zu 60 Festplatten. Beide Server liegen preislich im mittleren vierstelligen Bereich.

15.11.20125 Kommentare

2014 sollen sie fertig sein: AMDs erste Prozessoren mit ARM-Kernen. Vorgesehen sind sie für sparsame Server, und nicht nur die AMD-Tochter Seamicro soll sie verbauen. Mit Dell und HP sind bereits starke Partner gefunden.

30.10.201213 Kommentare

SAP will künftig mit Hadoop-Anbietern zusammenarbeiten, um die Integration von Big-Data-Lösungen auf Basis von Hadoop in SAP-Umgebungen zu ermöglichen. Dazu bietet SAP ein neues Big-Data-Bundle an.

25.10.20122 Kommentare

Der Hadoop-Spezialist Cloudera hat mit Impala eine Lösung für Echtzeitabfragen auf Hadoop und HBase vorgestellt. Die Abfragen werden in SQL formuliert und sollen zehnmal schneller sein als mit Hive/Mapreduce.

24.10.20121 Kommentar

Seit rund drei Jahren ist Spanner bei Google im Einsatz, in der vergangenen Woche veröffentlichte Google nun Details zu Spanner, das Google-Systeme wie Bigtable und Megastore ablösen soll. Dabei wird deutlich: Google ist seiner Konkurrenz einen Schritt voraus.

24.09.201227 Kommentare

Mit Drill soll die Abfrage und Analyse riesiger Datenmengen beschleunigt werden. Drill soll ein Incubator-Projekt der ASF werden und basiert auf dem Konzept des Google-Werkzeugs Dremel, welches das Unternehmen intern einsetzt.

22.08.20120 Kommentare

Dass Twitter Open-Source-Software benutzt und selbst entwickelt, ist kein Geheimnis. Wie viel quelloffene Technik der Nachrichtendienst einsetzt und wo, hat der Leiter der Open-Source-Abteilung Chris Aniszczyk jetzt verraten.

14.08.20127 Kommentare

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

10.07.20121 Kommentar

Mit teils massiven Ausfällen hat die Schaltsekunde in der Nacht zum 1. Juli 2012 unter anderem dem Linux-Kernel, MySQL und Java-basierten Anwendungen Probleme bereitet. Betroffen waren unter anderem Qantas, Reddit und Mozilla.

02.07.201285 Kommentare

Mit einem Update für Azure hat Microsoft seine Cloud-Plattform für weitere Open-Source-Software angepasst. Hadoop läuft als Beta. Hadoop-Entwickler Alan Gates beschreibt die Integration in einem Interview mit Golem.de.

07.06.20120 KommentareVideo

Arun Murthy, Release-Manager für Apache Hadoop 2.0, hat eine erste Alphaversion der kommenden Hadoop-Generation veröffentlicht, die unter anderem Hochverfügbarkeit für HDFS bietet und den Mapreduce-Nachfolger Yarn unterstützt.

29.05.20120 Kommentare

In Berlin hat der Linuxtag 2012 begonnen. Die Messe beginnt mit der Verleihung des Univention-Absolventenpreises. Themenschwerpunkte liegen in diesem Jahr in den Bereichen Storage, Android und bei Rechenzentren.

23.05.20120 Kommentare

Die Apache Software Foundation hat ihre NoSQL-Datenbank Cassandra in der Version 1.1 veröffentlicht. Das einst von Facebook entwickelte System bringt in der aktuellen Version einige Neuerungen.

24.04.20120 Kommentare

Das US-Startup Opscode erhält in einer dritten Finanzierungsrunde 19,5 Millionen US-Dollar Risikokapital. Das Unternehmen entwickelt mit Chef eine Open-Source-Software zur Cloud-Automation.

27.03.20120 Kommentare

Hypertable hat eine freie NoSQL-Datenbank entsprechend dem Design von Googles Bigtable entwickelt. Sie ist in C++ implementiert und schlägt das auf Hadoop basierende HBase zumindest in einem von Hypertable durchgeführten Benchmark deutlich.

08.02.201214 Kommentare

Mit reichlich Aktualisierungen, aber ohne die für die finale Version geplanten Neuerungen hat Canonical die zweite Alpha von Ubuntu 12.04 veröffentlicht. Als Basis läuft der Linux-Kernel 3.2.2.

03.02.201213 Kommentare

Laut einer Umfrage planen zahlreiche Oracle-Kunden den Umstieg von Solaris zu Linux. Oracle bietet zwar eine eigene Linux-Lösung an, aber die befragten Kunden bevorzugen Lösungen vom Konkurrenten Red Hat.

06.01.201249 Kommentare

Die Apache Software Foundation hat Apache Hadoop in der Version 1.0.0 veröffentlicht. Hadoop basiert auf dem Mapreduce-Algorithmus von Google und erlaubt es, sehr große Datenmengen im Petabyte-Bereich auf Clustern aus vielen Einzelrechnern zu verarbeiten.

30.12.20110 Kommentare

Das Apache-Projekt Mahout erhält zahlreiche neue Algorithmen. Über den Fortschritt der skalierbaren Implementierung von maschinenlernenden Algorithmen hat Entwickler Grant Ingersoll berichtet.

14.11.20114 Kommentare

Unter dem Namen Precise Pangolin soll im April 2012 Ubuntu 12.04 LTS erscheinen. Die Neuerungen der letzten beiden Ubuntu-Versionen sollen optimiert, die Linux-Distribution selbst soll auf Stabilität getrimmt werden.

24.10.201128 Kommentare

Windows will die NoSQL-Datenbank Hadoop in seine Cloud-Dienste integrieren. Später soll Hadoop auch auf Windows Server laufen.

14.10.20112 Kommentare

Auf seiner Hausmesse Oracle Open World hat Oracle den Big Data Appliance vorgestellt, ein System speziell zur Analyse großer Datenmengen. Dabei kommt neben Hadoop eine NoSQL-Datenbank zum Einsatz: die Oracle NoSQL Database.

04.10.20110 Kommentare

Der ehemalige Debian-Projektleiter Bruce Perens stellt ein Konzept zur Duallizenzierung von Software vor. Demnach soll Code von freien Entwicklern nie ausschließlich proprietär verwendet werden können.

13.09.20110 Kommentare

Twitter will das von Backtype entwickelte System Storm als Open Source freigeben. Dabei handelt es sich um ein verteiltes, verlässliches und fehlertolerantes System zur Verarbeitung von Datenströmen, das Backtype als eine Art Hadoop für Echtzeitdaten bezeichnet.

05.08.20113 Kommentare

O'Reilly startet einen europäischen Ableger seiner Konferenz Velocity in Berlin. Die bisher in den USA und China veranstaltete Konferenz widmet sich den Themen Web Performance und Operations.

28.07.20110 Kommentare

Twitter übernimmt das auf Echtzeitanalysen spezialisierte Unternehmen Backtype. Wie so oft bei solchen Übernahmen werden die Produkte von Backtype nicht länger angeboten.

06.07.20111 Kommentar

Yahoo will um Apache Hadoop eine eigene Firma gründen: Hortonworks soll Hadoop-Entwickler aufnehmen und sich mit Support sowie Training finanzieren. Die Plattform soll weiterhin als Open-Source-Software angeboten werden.

29.06.20110 Kommentare

Der Datenspezialist Lexisnexis will High Performance Computing Cluster (HPCC) als Open Source freigeben und damit eine Alternative zu Apache Hadoop schaffen. HPCC soll Unternehmen helfen, Probleme mit großen Datenmengen zu lösen.

16.06.20113 Kommentare

Ein namhafter Entwickler hat Google verlassen und bezeichnet Softwaretools des Konzerns wie Protocol Buffers, Bigtable und Mapreduce als veraltet. Dhanji Prasanna war im Google-Wave-Team und vertrat Google in mehreren Java-Expertengruppen.

10.06.201178 Kommentare

Yahoo gibt seine eigene Hadoop-Distribution auf und will sich künftig stärker an Apache Hadoop beteiligen.

01.02.20110 Kommentare

Revolution Analytics erweitert seine auf der freien Programmiersprache R basierende statistische Analysesoftware um Unterstützung für große Datenmengen. Damit wird es möglich, mit R Daten aus Hadoop oder NoSQL-Datenbanken gezielt zu analysieren.

03.08.20106 Kommentare

Eine Suchmaschine für die eigenen Daten bietet Q-Sensei mit Boost. Die Technik soll Anwendern helfen, eigene Daten schnell und leicht aufzubereiten und mit anderen zu teilen. Dabei lassen sich auch Daten aus mehreren Quellen zusammenführen.

11.05.201014 Kommentare

Die Apache Software Foundation (ASF) hat auf einen Schlag sechs neue Top-Level-Projekte angekündigt, ein Rekord für die Organisation. Dazu zählt der Apache Traffic Server ebenso wie die Projekte Mahout, Tika, Nutch, Avro und HBase.

05.05.20107 Kommentare

Cassandra-Entwickler Jonathan Ellis hat mit Matt Pfeil das Unternehmen Riptano gegründet, das Dienstleistungen rund um Apaches freies NoSQL-System anbieten soll.

03.05.20103 Kommentare

Das Apache-Projekt Hadoop verstößt möglicherweise gegen ein Patent von Google, doch das will Google nicht gegen die Open-Source-Projekte ins Feld führen. Damit ist ein wesentlicher Unsicherheitsfaktor des Projekts aus der Welt.

28.04.201024 Kommentare

Die von Facebook entwickelte und an die Apache Software Foundation übergebene NoSQL-Datenbank Cassandra wurde in der Version 0.6.0 veröffentlicht. Es ist die erste Cassandra-Ausgabe als Apache-Top-Level-Projekt.

14.04.201018 Kommentare

Auf einer eigens dafür geschaffenen Webseite stellt Twitter die Open-Source-Projekte vor, die der Anbieter für seine Microblogging-Dienste verwendet. Darunter befindet sich Ruby-Gems sowie Java-Anwendungen, die dort auch per Git zum Download freigegeben wurden.

19.02.201018 Kommentare

Singlechip Cloud Computer (SCC) nennt Intel seinen neuen Prozessor, der über 48 Kerne verfügt und den Weg hin zu Many-Core-Prozessoren ebnen soll. Dank feiner Stromsparfunktionen liegt die Leistungsaufnahme des Chips zwischen 25 und 125 Watt.

02.12.2009132 KommentareVideo

Die von Yahoo seit mehreren Jahren entwickelte und eingesetzte Software Traffic Server geht als Spende an die Apache Software Foundation. Die Software kümmert sich um Session-Management, Authentifizierungen, Konfigurationsmanagement, Load-Balancing und Routing für eine komplette Servergruppe, die zu einer Cloud vernetzt wurde.

03.11.200915 Kommentare

Facebook ist groß, in jeder Dimension. Das sagt Jeff Rothschild, Vice President für Technologie bei Facebook bei einer Präsentation an der Universität San Diego und unterlegte dies mit Zahlen. Rothschild erläuterte die Architektur hinter Facebook und sprach über künftige technische Herausforderungen.

21.10.2009134 Kommentare

Der Hadoop-Spezialist Cloudera hat mit dem Cloudera Desktop eine GUI für Apache Hadoop vorgestellt. Mit der kostenlosen Software lassen sich Applikationen auf öffentlichen und privaten Hadoop-Clustern administrieren und überwachen.

02.10.20092 KommentareVideo

Die Zusammenarbeit mit Microsoft, in deren Rahmen Yahoo künftig die eigene Suchmaschine durch Microsofts Bing ersetzen will, soll keine negativen Auswirkungen auf Yahoos Hadoop-Engagement haben. Hadoop sei weiterhin wichtig.

31.07.20090 Kommentare

Die Skalierbarkeit von Hadoop, kombiniert mit der Geschwindigkeit eines parallelen Datenbanksystems. Das soll HadoopDB bieten - ein freies paralleles shared-nothing Datenbanksystem, das mit einer an SQL angelehnten Sprache abgefragt werden kann.

28.07.200938 Kommentare

Yahoo hat eine eigene Distribution von Apache Hadoop angekündigt. Die bei Yahoo intern eingesetzte Hadoop-Version stellt das Unternehmen Dritten im Quelltext zur Verfügung.

11.06.20091 Kommentar

Amazon bietet mit seinem neuen Dienst Amazon Elastic MapReduce einen Hadoop-Cluster zum Mieten an. Damit lassen sich große Datenmengen auf verteilten Systemen verarbeiten.

02.04.20093 Kommentare

Die Installation und Konfiguration von Hadoop ist nicht ganz einfach. Um das zu ändern, bietet Cloudera seine Hadoop-Distribution ab sofort frei zum Download an. Das Apache-Projekt dient zur Verarbeitung großer Datenmengen auf verteilten Systemen und ist an Googles Map/Reduce-Engine angelehnt.

17.03.20090 KommentareVideo

Die OpenSolaris-Community hat eine Live-CD mit einem Hadoop-Cluster veröffentlicht. Vom Start bis zum voll einsatzbereiten Cluster sollen dabei nur etwa 15 Minuten vergehen. Zudem soll sich die Software mit verhältnismäßig geringen Ressourcen ausprobieren lassen.

05.09.200811 Kommentare