Big Data

Die Telekom hat das US-Cybersecurity-Unternehmen Fireeye als Partner "an Bord geholt". Fireeye wurde über den Risikokapitalgeber In-Q-Tel von der CIA finanziert und beschäftigt seit der Übernahme von Mandiant viele frühere Geheimdienstmitarbeiter. Telekom-Vorstand Clemens nannte diese Partnerschaft "in Europa einzigartig."

Dass die US-Geheimdienste eng mit der Privatwirtschaft verflochten sind, ist kein Geheimnis. Das nebenberufliche Engagement eines hochrangigen Beamten bei seinem Ex-Chef Alexander geht nun aber selbst der NSA zu weit.

In mehr als 140.000 vernetzten Geräten haben Forscher teils schwerwiegende Sicherheitslücken entdeckt, darunter Zero-Day-Exploits, hartcodierte Passwörter und private Schlüssel.

Die Forschungsabteilung von Google erklärt, wie sie die Rechenzentren für das Werbegeschäft weltweit so verbindet, dass diese in nahezu Echtzeit miteinander kommunizieren können. Das eingesetzte System Mesa verwendet dazu bekannte Techniken wieder, aber nicht überall.

Um Daten zur Verkehrsbelastung zu sammeln, sollen die Bürger künftig Gehwege und Straßen filmen. Wie bei vielen Smart-City-Plänen fehlt es aber an Transparenz.

Wie Küchenschaben soll die Datenbank CockroachDB auch die schlimmsten Ausfälle überleben, daher der Name. Das Team von ehemaligen Google-Entwicklern reimplementiert dafür Ideen von Spanner, das bei Google intern Mapreduce und Bigtable ablöst.

Wer wissen will, wie weit die nächste Kita entfernt ist oder wo Baustellen den Weg versperren, muss sich oft durch unübersichtliche Webseiten kämpfen. Das Projekt "Code for Germany" will das ändern.

Auf einer Konferenz hat Facebook-Entwickler Jeff Johnson die NoSQL-Datenbank Apollo vorgestellt, an der seit etwa einem Jahr gearbeitet wird. Sie orientiert sich an den Funktionen von Hbase. Ob Apollo Open Source wird, steht noch nicht fest.

Das britische Gesundheitswesen wird zum Big-Data-Projekt - ohne Zustimmung der Patienten. Ein Lehrstück über die chaotische Umsetzung einer sinnvollen Idee.

Schnellere SQL-Abfragen mit Apache Hive, eine verbesserte Mapreduce-Abfrage mit Tez und eine lange geforderte Suche sind die Komponenten, mit denen Hortonworks Hadoop weiterhin als Vorreiter im Bereich Big Data behaupten will. Die Investition Intels in Cloudera schürt die Angst vor einer Fragmentierung.

Microsofts SQL Server 2014 steht ab sofort bereit. Neben einer Integration in Azure und einer Datenplattform für Hadoop 2.2 bietet der SQL Server auch erweiterte In-Memory-Lösungen.

Seit drei Jahren steht der von Sourceforge eingesetzte Code als Allura bereit. Die Software hat eine lebendige Community und wird deshalb nun Top-Level-Projekt der Apache Software Foundation.

Microsoft macht den Preiskampf in der Cloud mit. Die Preise für Azure sollen um bis zu 65 Prozent fallen.

Nach Google hat auch Amazon die Preise für seine Cloud-Angebote gesenkt. Parallel dazu wurde dessen Angebot für eine virtuelle Desktop-Infrastruktur allgemein verfügbar gemacht.

Erweiterte In-Memory-Lösungen, eine nahtlose Integration mit der Azure-Cloud und eine umfassende Datenplattform für Hadoop 2.2 gehören zu den neuen Features von Microsofts SQL Server 2014.

Das EMC-Spin-off Pivotal hat eine Reihe neuer Produkte rund um Hadoop und sein Konzept eines Business Data Lake vorgestellt.

Die Voraussagen des Projekts Google Flu Trends liegen weit über den tatsächlichen Grippefällen. Die Daten würden durch Googles eigene Änderungen ihrer Suchalgorithmen verfälscht, vermuten Forscher.

Cebit 2014 Das Startup Viewsy gewinnt auf der Cebit 2014 den Code_n14 Award mit einem Preisgeld von 30.000 Euro. Über Sensoren wertet Viewsy das WLAN-Signal des Smartphones von Kunden aus, um ihre Wegstrecken im Ladengeschäft zu erfassen.

Big Data, Schlagwort der Stunde: Datenschützer fürchten den gläsernen Menschen, Unternehmen sehen in riesigen Datenmengen eine Geldquelle. Und was macht die Wissenschaft? Mit Matthias Hagen gibt es nun den ersten deutschen Professor, der zum Thema forscht.

Der Linux-Distributor Red Hat und Hadoop-Betreuer Hortonworks gehen eine strategische Partnerschaft ein, um große Teile des Big-Data-Frameworks in Red Hats Produkte zu integrieren.

Der Sozialdemokrat Martin Schulz ruft zu einer neuen sozialen Bewegung gegen Überwachung auf. Diese Bewegung müsse im Bereich der Datensammlung Rechte durchsetzen, die klarstellen, dass die Privatheit eines jeden ein unveräußerliches Grundrecht ist, und Missbrauch eindeutig sanktionieren.

In Bitcoin 0.8.6 ist die Limitierung für gebührenfreie Transaktionen herabgesetzt worden. Damit soll die Clientsoftware für die virtuelle Währung an die höheren Wechselkurse von Bitcoin und US-Dollar angepasst werden.

Die Leser der US-Zeitschrift Linux Journal haben das Raspberry Pi zum besten Open-Source-Produkt 2013 gekürt. Gnome 3 war demnach die schlechteste Open-Source-Idee des vergangenen Jahres.

Udacity richtet ein neues Lehrangebot zu Big Data ein. Die Teilnahme daran wird kostenpflichtig sein. Dafür erhält der Teilnehmer Unterstützung durch einen Tutor.

Amazon hat mit Kinesis auf seiner Hausmesse Re:invent einen Dienst zur Analyse von Datenströmen in Echtzeit vorgestellt, mit dem sich pro Stunde mehrere Terabyte an Daten aus mehreren Hunderttausend Datenquellen verarbeiten lassen.

Der MySQL-Fork MariaDB 10 ist in einer Betaversion erschienen. Die Version enthält viele Neuerungen aus MySQL 5.6, setzt sich aber zunehmend von MySQL ab und umfasst zahlreiche Entwicklungen, die in MySQL nicht oder anders zu finden sind.

Facebook hat Presto als Open Source veröffentlicht, eine interaktive SQL-Engine für Hadoop, mit der sich große Datenmengen in kurzer Zeit analysieren lassen. Presto soll dabei zehnmal schneller sein als das Gespann aus Hive und Mapreduce.

Quanta nimmt als erster Hersteller Open-Compute-Server und Racks ins Programm. Unter dem Namen Rackgo X können komplette Open-Compute-Racks oder einzelne Server, Storage-Server, Switches und Mainboards bestellt werden, die den Spezifikationen des von Facebook gegründeten Open-Compute-Projekts entsprechen.

Mit Big Data lassen sich große Datenmengen sammeln und schnell analysieren - der Datenschutz gerät dabei leicht in Gefahr. Wann ist Big Data legal?

Die Apache Software Foundation hat ihre verteilte NoSQL-Datenbank Cassandra in der Version 2.0 veröffentlicht. Sie speichert auch große Datenmengen sehr schnell in einem Cluster, skaliert nahezu linear und ist vollständig verteilt, besitzt also keinen sogenannten Single-Point-of-Failure.

Für Fedora 20 soll die ARM-Portierung gleichwertig zu den x86-Versionen gebaut und unterstützt werden. Die Entwickler diskutieren außerdem, ob standardmäßig noch ein Syslog-Daemon installiert werden soll oder nicht.

Die alljährliche simultane Veröffentlichung sämtlicher Eclipse-Projekte steht unter dem Namen Kepler zum Download bereit. Die Anzahl der Projekte ist im Vergleich zum Vorjahr nicht gestiegen.

Drei Wissenschaftler haben einen Algorithmus entwickelt, der an einer Abfolge von drei Tönen die Entstehungszeit eines klassischen Musikstückes erkennen kann. Mit Hilfe einer solchen akustischen Mustererkennung wollen sie künftig Krankheiten diagnostizieren.

Paypal-Gründer Max Levchin will Paaren helfen, schwanger zu werden. Mit einer App, unterstützt durch Big Data und maschinelles Lernen, sollen sie den richtigen Zeugungszeitpunkt treffen. Das Programm Glow First bietet finanzielle Unterstützung, sollte eine Kinderwunschbehandlung notwendig werden.

Das Dresdner Unternehmen Innovailable arbeitet mit Palava.tv an einer Videokonferenzlösung auf Basis von WebRTC. Eine erste Version, die Videochats mit mehreren Teilnehmern ermöglicht, kann ab sofort in Firefox und Chrome ausprobiert werden.

Stück für Stück öffnet Google seine Infrastruktur für Entwickler. Googles Amazon-EC2-Konkurrent Google Compute Engine steht ab sofort jedem zur Verfügung, App Engine unterstützt künftig PHP und führt mit dem Cloud Datastore eine NoSQL-Datenbank als Cloud-Dienst ein.

Re:publica 2013 Viele Unternehmen und Behörden geben bereits ihre Daten frei - Open Data wird zum Buzzword. Wie sollen Entwickler aus dem Sammelsurium Daten sinnvoll verknüpfen und welche wichtigen fehlen? Diese Fragen treiben OpenplanB-Initiator Michael Kreil um.

MariaDB enthält in der Version 10.0.2 Alpha die neue freie Storage Engine Connect. Damit lassen sich über MariaDB Daten aus beliebigen Quellen, wie CSV- oder XML-Dateien, oder anderen Datenbanken per SQL abfragen.

MemSQL hat seine gleichnamige Datenbank veröffentlicht. Diese ist kompatibel zu MySQL, aber von Grund auf darauf ausgelegt, sämtliche Daten im RAM zu halten. Dadurch soll MemSQL rund 30-mal schneller sein als MySQL und sich so für die Echtzeitanalyse großer Datenmengen eignen.

Mit dem Zusammenschluss des Datenbankherstellers Monty Program AB und des Supportdienstleisters SkySQL wollen die Entwickler um die MySQL-Alternative MariaDB "eine echte interoperable und quelloffene NewSQL-Datenbank schaffen". Wikipedia meldet unterdessen, dass es von MySQL auf MariaDB umsteigt.

Basho hat sein Object-Storage-System Riak CS als Open Source freigegeben. Das System speichert beliebige Objekte auf einem verteilten Cluster und bietet dazu ein API, das kompatibel mit Amazons S3-API ist.

Daniel Alabi hat mit Flylatex einen kollaborativen LaTeX-Editor auf Basis von Node.js entwickelt, der im Browser läuft. Ähnlich wie mit Sharelatex sollen so mehrere Personen gleichzeitig an einem LaTeX-Dokument arbeiten können.

Mit Mongodb 2.4 ist eine neue, stabile Version der populären NoSQL-Datenbank erschienen. Sie bietet unter anderem eine Volltextsuche und Hilfestellung bei der Kapazitätsplanung eines Mongodb-Clusters.