Hadoop

Software AG hat mit der angekündigten Übernahme nicht lange gewartet. Auf Streamsets dürften weitere Käufe folgen.

Mit der Mach.2 Exos 2X14 führt Seagate eine Festplatte mit zwei Aktoren für doppelte Geschwindigkeit ein. Der Nachteil ist deren Kapazität.

Seit 2016 gehört Yahoo zur Verizon-Gruppe und darin zu Oath, dem Verizon Digital Network. Oath stellt nun Yahoos in Java verfasste Big-Data-Engine Vespa unter eine Open-Source-Lizenz.

Mit Supercomputing as a Service sollen Kunden Rechenleistung für wissenschaftliche Projekte oder KI-Funktionen mieten können. Dazu verbindet der Hersteller Cray seine Maschinen mit der Infrastruktur des Partners Markley. Der Vorteil für Nutzer: weniger Kosten.

Der Streamingdienst Spotify migriert sein Backend in den Cloud-Dienst von Google. Das vereinfache die Arbeit der Entwickler langfristig. Vorher müssen aber noch die Analyse-Werkzeuge umgebaut werden.

Microsoft veröffentlicht Produkte für die Sprache R nach einem Kauf nun unter eigenem Namen. Die Unterstützung für Linux, Hadoop und die freie Variante bleiben dabei erhalten. Zudem gibt es kostenlose Angebote.

Die neue Version 9.5 von PostgreSQL kann Einträge per Upsert erstellen oder auch aktualisieren. Die Sicherheit ist verbessert worden, und die Datenbank bietet mehrere Big-Data-Funktionen.

Das neue Office 2016 mit Team-Optionen, neuem Design und neuen Funktionen unter anderem für Excel und Outlook ist da. Office-365-Nutzer können sich die neue Version bereits herunterladen, die Einzelplatzlizenzen folgen morgen.

In Googles Cloud können nun auch sogenannte Preemptible VMs gebucht werden, die nicht länger als 24 Stunden laufen und vielleicht sogar vorher abrupt ausgeschaltet werden. Kunden soll diese Ungewissheit aber besonders wenig kosten.

Bislang hat Google seine Datenbank Bigtable nur intern genutzt. Jetzt lässt sich Bigtable auch als Cloud-Dienst verwenden. Zuvor hatte Google seine Programmierschnittstelle zur Datenanalyse Cloud Dataflow für alle freigegeben.

Ignite 2015 Microsoft hat die öffentliche Preview-Version von Office 2016 vorgestellt. Damit kann jeder die neue Bürosuite ausprobieren, die im Herbst erscheinen soll. Microsoft will ein neues Arbeiten im Team ermöglichen und Benutzer mit neuen Hilfsfunktionen unterstützen.

Um die zunehmende Fragmentierung der Big-Data-Infrastruktur Hadoop zu verhindern, hat sich Hortonworks unter anderem mit IBM und Pivotal zur Open Data Platform zusammengetan. Die Hadoop-Kerne ihrer Big-Data-Lösungen sollen miteinander abgestimmt werden.

Bereits im kommenden Jahr will Huawei Mobilfunkbetreiber mit der nächsten Stufe von LTE ausrüsten. Das neue Zauberwort war heute in London "4,5 G". Besprochen werde dies mit Vodafone und der Deutschen Telekom.

Mit dem Betriebssystem von Mesosphere sollen sich die Server eines gesamten Rechenzentrums wie ein einzelnes Gerät verwalten lassen. Dazu wird Technik verwendet, die unter anderem auch Twitter einsetzt.

Der Objektspeicher von Openstack erlaubt in der Version Juno Richtlinien zur einfacheren weltweiten Verwaltung. Die Datenverarbeitung kann nun mit Hadoop und Spark übernommen werden. Die neue Version bietet zudem die Grundlagen für Network Functions Virtualization (NFV).

Das US-Startup Databricks hat einen neuen Rekord in der Berechnung von Daten aufgestellt. Die Computer der Firma ordneten 100 Terabyte in nur 23 Minuten. Zuvor hatte Yahoo den Rekord gehalten.

In mehr als 140.000 vernetzten Geräten haben Forscher teils schwerwiegende Sicherheitslücken entdeckt, darunter Zero-Day-Exploits, hartcodierte Passwörter und private Schlüssel.

Wie Küchenschaben soll die Datenbank CockroachDB auch die schlimmsten Ausfälle überleben, daher der Name. Das Team von ehemaligen Google-Entwicklern reimplementiert dafür Ideen von Spanner, das bei Google intern Mapreduce und Bigtable ablöst.

Auf einer Konferenz hat Facebook-Entwickler Jeff Johnson die NoSQL-Datenbank Apollo vorgestellt, an der seit etwa einem Jahr gearbeitet wird. Sie orientiert sich an den Funktionen von Hbase. Ob Apollo Open Source wird, steht noch nicht fest.

Der Hadoop-Distributor Cloudera und der Anbieter der gleichnamigen Datenbank MongoDB haben eine strategische Partnerschaft vereinbart. Insbesondere Big-Data-Kunden sollen davon profitieren.

Schnellere SQL-Abfragen mit Apache Hive, eine verbesserte Mapreduce-Abfrage mit Tez und eine lange geforderte Suche sind die Komponenten, mit denen Hortonworks Hadoop weiterhin als Vorreiter im Bereich Big Data behaupten will. Die Investition Intels in Cloudera schürt die Angst vor einer Fragmentierung.

Microsofts SQL Server 2014 steht ab sofort bereit. Neben einer Integration in Azure und einer Datenplattform für Hadoop 2.2 bietet der SQL Server auch erweiterte In-Memory-Lösungen.

Microsoft macht den Preiskampf in der Cloud mit. Die Preise für Azure sollen um bis zu 65 Prozent fallen.

Nach Google hat auch Amazon die Preise für seine Cloud-Angebote gesenkt. Parallel dazu wurde dessen Angebot für eine virtuelle Desktop-Infrastruktur allgemein verfügbar gemacht.

Erweiterte In-Memory-Lösungen, eine nahtlose Integration mit der Azure-Cloud und eine umfassende Datenplattform für Hadoop 2.2 gehören zu den neuen Features von Microsofts SQL Server 2014.

Das EMC-Spin-off Pivotal hat eine Reihe neuer Produkte rund um Hadoop und sein Konzept eines Business Data Lake vorgestellt.

Der Linux-Distributor Red Hat und Hadoop-Betreuer Hortonworks gehen eine strategische Partnerschaft ein, um große Teile des Big-Data-Frameworks in Red Hats Produkte zu integrieren.

Udacity richtet ein neues Lehrangebot zu Big Data ein. Die Teilnahme daran wird kostenpflichtig sein. Dafür erhält der Teilnehmer Unterstützung durch einen Tutor.

Amazon hat mit Kinesis auf seiner Hausmesse Re:invent einen Dienst zur Analyse von Datenströmen in Echtzeit vorgestellt, mit dem sich pro Stunde mehrere Terabyte an Daten aus mehreren Hunderttausend Datenquellen verarbeiten lassen.

Facebook hat Presto als Open Source veröffentlicht, eine interaktive SQL-Engine für Hadoop, mit der sich große Datenmengen in kurzer Zeit analysieren lassen. Presto soll dabei zehnmal schneller sein als das Gespann aus Hive und Mapreduce.

Quanta nimmt als erster Hersteller Open-Compute-Server und Racks ins Programm. Unter dem Namen Rackgo X können komplette Open-Compute-Racks oder einzelne Server, Storage-Server, Switches und Mainboards bestellt werden, die den Spezifikationen des von Facebook gegründeten Open-Compute-Projekts entsprechen.

Für Fedora 20 soll die ARM-Portierung gleichwertig zu den x86-Versionen gebaut und unterstützt werden. Die Entwickler diskutieren außerdem, ob standardmäßig noch ein Syslog-Daemon installiert werden soll oder nicht.

Die alljährliche simultane Veröffentlichung sämtlicher Eclipse-Projekte steht unter dem Namen Kepler zum Download bereit. Die Anzahl der Projekte ist im Vergleich zum Vorjahr nicht gestiegen.

Der Chiphersteller Intel hat eine eigene Hadoop-Distribution veröffentlicht, die speziell für die eigenen Prozessoren angepasst ist. Sie soll Daten deutlich schneller analysieren, vor allem, wenn sie aus Gründen der Datensicherheit verschlüsselt gespeichert werden.

Welche Probleme mussten Facebooks Entwickler lösen, um das Wachstum auf mehr als 1 Milliarde aktive Nutzer zu bewerkstelligen, und was waren die daraus resultierenden größten technischen Errungenschaften? Andere, als die meisten denken, sagt Robert Johnson, der fünf Jahre lang Facebooks Infrastruktur-Software-Team leitete.

Meint ein Nutzer, der nach "Bayern" sucht, das Land, seine Bewohner oder den Fußballclub? Und wie können Suchanfragen eingeordnet werden, die erstmals oder in neuem Kontext auftauchen? Wenn Maschinen zu langsam lernen, können Menschen helfen.

Von HP gibt es zwei neue Rackserver, die sich für aufwendige Berechnungen oder Big-Data-Anwendungen eignen. Der Proliant SL270s G8 kann bis zu 8 GPU-Karten aufnehmen, der Proliant SL4500 G8 dafür bis zu 60 Festplatten. Beide Server liegen preislich im mittleren vierstelligen Bereich.