Apache Hadoop

Wer sich auch nur oberflächlich mit Big-Data und Echtzeit-Analyse beschäftigt, stößt schnell auf Begriffe und Lösungen, die sich nicht sofort erschließen. Warum brauche ich eine Nachrichten-Queue und was unterscheidet Apache Hadoop von Kafka? Welche Rolle spielt das in einer Kappa-Architektur?
Von George Anadiotis

Seit 2016 gehört Yahoo zur Verizon-Gruppe und darin zu Oath, dem Verizon Digital Network. Oath stellt nun Yahoos in Java verfasste Big-Data-Engine Vespa unter eine Open-Source-Lizenz.

Mit Supercomputing as a Service sollen Kunden Rechenleistung für wissenschaftliche Projekte oder KI-Funktionen mieten können. Dazu verbindet der Hersteller Cray seine Maschinen mit der Infrastruktur des Partners Markley. Der Vorteil für Nutzer: weniger Kosten.

Moderne Hauselektronik nimmt ihren Bewohnern Arbeit ab, sieht Wünsche voraus und macht das Leben insgesamt einfacher - so die Theorie. Bei einem Mann in England ging das aber gründlich schief.

SAP hat Altiscale gekauft, um bei Big Data mehr Möglichkeiten zu haben. Das Startup könnte in dem deutschen Konzern auch eine neue Strategie in dem Bereich schaffen.

Der neue SQL Server 2016 von Microsoft bietet Geschwindigkeitssteigerungen dank In-Memory-Technik, unterstützt die Statistiksoftware R und ermöglicht maschinelles Lernen aus der Datenbank heraus. Für Entwickler ist der SQL-Server kostenlos - für die Zeit der Migration von Oracle ebenfalls.

Der Streamingdienst Spotify migriert sein Backend in den Cloud-Dienst von Google. Das vereinfache die Arbeit der Entwickler langfristig. Vorher müssen aber noch die Analyse-Werkzeuge umgebaut werden.

Microsoft veröffentlicht Produkte für die Sprache R nach einem Kauf nun unter eigenem Namen. Die Unterstützung für Linux, Hadoop und die freie Variante bleiben dabei erhalten. Zudem gibt es kostenlose Angebote.

Die neue Version 9.5 von PostgreSQL kann Einträge per Upsert erstellen oder auch aktualisieren. Die Sicherheit ist verbessert worden, und die Datenbank bietet mehrere Big-Data-Funktionen.

Das neue Office 2016 mit Team-Optionen, neuem Design und neuen Funktionen unter anderem für Excel und Outlook ist da. Office-365-Nutzer können sich die neue Version bereits herunterladen, die Einzelplatzlizenzen folgen morgen.

In Googles Cloud können nun auch sogenannte Preemptible VMs gebucht werden, die nicht länger als 24 Stunden laufen und vielleicht sogar vorher abrupt ausgeschaltet werden. Kunden soll diese Ungewissheit aber besonders wenig kosten.

Bislang hat Google seine Datenbank Bigtable nur intern genutzt. Jetzt lässt sich Bigtable auch als Cloud-Dienst verwenden. Zuvor hatte Google seine Programmierschnittstelle zur Datenanalyse Cloud Dataflow für alle freigegeben.

Ignite 2015 Microsoft hat die öffentliche Preview-Version von Office 2016 vorgestellt. Damit kann jeder die neue Bürosuite ausprobieren, die im Herbst erscheinen soll. Microsoft will ein neues Arbeiten im Team ermöglichen und Benutzer mit neuen Hilfsfunktionen unterstützen.

Um die zunehmende Fragmentierung der Big-Data-Infrastruktur Hadoop zu verhindern, hat sich Hortonworks unter anderem mit IBM und Pivotal zur Open Data Platform zusammengetan. Die Hadoop-Kerne ihrer Big-Data-Lösungen sollen miteinander abgestimmt werden.

Bereits im kommenden Jahr will Huawei Mobilfunkbetreiber mit der nächsten Stufe von LTE ausrüsten. Das neue Zauberwort war heute in London "4,5 G". Besprochen werde dies mit Vodafone und der Deutschen Telekom.

Mit dem Betriebssystem von Mesosphere sollen sich die Server eines gesamten Rechenzentrums wie ein einzelnes Gerät verwalten lassen. Dazu wird Technik verwendet, die unter anderem auch Twitter einsetzt.

Google tut es, Bisnode tut es auch und Facebook erst recht: Sie verdienen Geld mit den Informationen ihrer Nutzer. Viele andere Unternehmen wissen dagegen gar nicht, wie sie ihre Daten verwerten sollen. Sie sollten Daten wie Baumwolle betrachten.
Von Alexander Löser

Der Objektspeicher von Openstack erlaubt in der Version Juno Richtlinien zur einfacheren weltweiten Verwaltung. Die Datenverarbeitung kann nun mit Hadoop und Spark übernommen werden. Die neue Version bietet zudem die Grundlagen für Network Functions Virtualization (NFV).

Was ist der aktuelle Stand der Forschung und Technik für Hauptspeicherdatenbanken? Wie lassen sich disruptive Eigenschaften für Anwendungen im "Immunsystem" des Unternehmens ausnutzen und wann ist der Einsatz dieser Technologie im Unternehmen wirtschaftlich sinnvoll?
Von Alexander Löser

Das US-Startup Databricks hat einen neuen Rekord in der Berechnung von Daten aufgestellt. Die Computer der Firma ordneten 100 Terabyte in nur 23 Minuten. Zuvor hatte Yahoo den Rekord gehalten.

In mehr als 140.000 vernetzten Geräten haben Forscher teils schwerwiegende Sicherheitslücken entdeckt, darunter Zero-Day-Exploits, hartcodierte Passwörter und private Schlüssel.

Wie Küchenschaben soll die Datenbank CockroachDB auch die schlimmsten Ausfälle überleben, daher der Name. Das Team von ehemaligen Google-Entwicklern reimplementiert dafür Ideen von Spanner, das bei Google intern Mapreduce und Bigtable ablöst.

Auf einer Konferenz hat Facebook-Entwickler Jeff Johnson die NoSQL-Datenbank Apollo vorgestellt, an der seit etwa einem Jahr gearbeitet wird. Sie orientiert sich an den Funktionen von Hbase. Ob Apollo Open Source wird, steht noch nicht fest.

Der Hadoop-Distributor Cloudera und der Anbieter der gleichnamigen Datenbank MongoDB haben eine strategische Partnerschaft vereinbart. Insbesondere Big-Data-Kunden sollen davon profitieren.

Schnellere SQL-Abfragen mit Apache Hive, eine verbesserte Mapreduce-Abfrage mit Tez und eine lange geforderte Suche sind die Komponenten, mit denen Hortonworks Hadoop weiterhin als Vorreiter im Bereich Big Data behaupten will. Die Investition Intels in Cloudera schürt die Angst vor einer Fragmentierung.

Microsofts SQL Server 2014 steht ab sofort bereit. Neben einer Integration in Azure und einer Datenplattform für Hadoop 2.2 bietet der SQL Server auch erweiterte In-Memory-Lösungen.

Microsoft macht den Preiskampf in der Cloud mit. Die Preise für Azure sollen um bis zu 65 Prozent fallen.

Nach Google hat auch Amazon die Preise für seine Cloud-Angebote gesenkt. Parallel dazu wurde dessen Angebot für eine virtuelle Desktop-Infrastruktur allgemein verfügbar gemacht.

Erweiterte In-Memory-Lösungen, eine nahtlose Integration mit der Azure-Cloud und eine umfassende Datenplattform für Hadoop 2.2 gehören zu den neuen Features von Microsofts SQL Server 2014.

Das EMC-Spin-off Pivotal hat eine Reihe neuer Produkte rund um Hadoop und sein Konzept eines Business Data Lake vorgestellt.

Der Linux-Distributor Red Hat und Hadoop-Betreuer Hortonworks gehen eine strategische Partnerschaft ein, um große Teile des Big-Data-Frameworks in Red Hats Produkte zu integrieren.

Udacity richtet ein neues Lehrangebot zu Big Data ein. Die Teilnahme daran wird kostenpflichtig sein. Dafür erhält der Teilnehmer Unterstützung durch einen Tutor.

Amazon hat mit Kinesis auf seiner Hausmesse Re:invent einen Dienst zur Analyse von Datenströmen in Echtzeit vorgestellt, mit dem sich pro Stunde mehrere Terabyte an Daten aus mehreren Hunderttausend Datenquellen verarbeiten lassen.

Facebook hat Presto als Open Source veröffentlicht, eine interaktive SQL-Engine für Hadoop, mit der sich große Datenmengen in kurzer Zeit analysieren lassen. Presto soll dabei zehnmal schneller sein als das Gespann aus Hive und Mapreduce.

Quanta nimmt als erster Hersteller Open-Compute-Server und Racks ins Programm. Unter dem Namen Rackgo X können komplette Open-Compute-Racks oder einzelne Server, Storage-Server, Switches und Mainboards bestellt werden, die den Spezifikationen des von Facebook gegründeten Open-Compute-Projekts entsprechen.

Für Fedora 20 soll die ARM-Portierung gleichwertig zu den x86-Versionen gebaut und unterstützt werden. Die Entwickler diskutieren außerdem, ob standardmäßig noch ein Syslog-Daemon installiert werden soll oder nicht.

Die alljährliche simultane Veröffentlichung sämtlicher Eclipse-Projekte steht unter dem Namen Kepler zum Download bereit. Die Anzahl der Projekte ist im Vergleich zum Vorjahr nicht gestiegen.

Der Chiphersteller Intel hat eine eigene Hadoop-Distribution veröffentlicht, die speziell für die eigenen Prozessoren angepasst ist. Sie soll Daten deutlich schneller analysieren, vor allem, wenn sie aus Gründen der Datensicherheit verschlüsselt gespeichert werden.

Welche Probleme mussten Facebooks Entwickler lösen, um das Wachstum auf mehr als 1 Milliarde aktive Nutzer zu bewerkstelligen, und was waren die daraus resultierenden größten technischen Errungenschaften? Andere, als die meisten denken, sagt Robert Johnson, der fünf Jahre lang Facebooks Infrastruktur-Software-Team leitete.

Meint ein Nutzer, der nach "Bayern" sucht, das Land, seine Bewohner oder den Fußballclub? Und wie können Suchanfragen eingeordnet werden, die erstmals oder in neuem Kontext auftauchen? Wenn Maschinen zu langsam lernen, können Menschen helfen.

Von HP gibt es zwei neue Rackserver, die sich für aufwendige Berechnungen oder Big-Data-Anwendungen eignen. Der Proliant SL270s G8 kann bis zu 8 GPU-Karten aufnehmen, der Proliant SL4500 G8 dafür bis zu 60 Festplatten. Beide Server liegen preislich im mittleren vierstelligen Bereich.

2014 sollen sie fertig sein: AMDs erste Prozessoren mit ARM-Kernen. Vorgesehen sind sie für sparsame Server, und nicht nur die AMD-Tochter Seamicro soll sie verbauen. Mit Dell und HP sind bereits starke Partner gefunden.

SAP will künftig mit Hadoop-Anbietern zusammenarbeiten, um die Integration von Big-Data-Lösungen auf Basis von Hadoop in SAP-Umgebungen zu ermöglichen. Dazu bietet SAP ein neues Big-Data-Bundle an.

Der Hadoop-Spezialist Cloudera hat mit Impala eine Lösung für Echtzeitabfragen auf Hadoop und HBase vorgestellt. Die Abfragen werden in SQL formuliert und sollen zehnmal schneller sein als mit Hive/Mapreduce.

Seit rund drei Jahren ist Spanner bei Google im Einsatz, in der vergangenen Woche veröffentlichte Google nun Details zu Spanner, das Google-Systeme wie Bigtable und Megastore ablösen soll. Dabei wird deutlich: Google ist seiner Konkurrenz einen Schritt voraus.

Mit Drill soll die Abfrage und Analyse riesiger Datenmengen beschleunigt werden. Drill soll ein Incubator-Projekt der ASF werden und basiert auf dem Konzept des Google-Werkzeugs Dremel, welches das Unternehmen intern einsetzt.

Dass Twitter Open-Source-Software benutzt und selbst entwickelt, ist kein Geheimnis. Wie viel quelloffene Technik der Nachrichtendienst einsetzt und wo, hat der Leiter der Open-Source-Abteilung Chris Aniszczyk jetzt verraten.

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Mit teils massiven Ausfällen hat die Schaltsekunde in der Nacht zum 1. Juli 2012 unter anderem dem Linux-Kernel, MySQL und Java-basierten Anwendungen Probleme bereitet. Betroffen waren unter anderem Qantas, Reddit und Mozilla.

Mit einem Update für Azure hat Microsoft seine Cloud-Plattform für weitere Open-Source-Software angepasst. Hadoop läuft als Beta. Hadoop-Entwickler Alan Gates beschreibt die Integration in einem Interview mit Golem.de.