Apache Hadoop

Mit Supercomputing as a Service sollen Kunden Rechenleistung für wissenschaftliche Projekte oder KI-Funktionen mieten können. Dazu verbindet der Hersteller Cray seine Maschinen mit der Infrastruktur des Partners Markley. Der Vorteil für Nutzer: weniger Kosten.

22.05.20171 KommentarVideo

Moderne Hauselektronik nimmt ihren Bewohnern Arbeit ab, sieht Wünsche voraus und macht das Leben insgesamt einfacher - so die Theorie. Bei einem Mann in England ging das aber gründlich schief.

12.10.2016239 Kommentare

SAP hat Altiscale gekauft, um bei Big Data mehr Möglichkeiten zu haben. Das Startup könnte in dem deutschen Konzern auch eine neue Strategie in dem Bereich schaffen.

28.09.20166 Kommentare

Der neue SQL Server 2016 von Microsoft bietet Geschwindigkeitssteigerungen dank In-Memory-Technik, unterstützt die Statistiksoftware R und ermöglicht maschinelles Lernen aus der Datenbank heraus. Für Entwickler ist der SQL-Server kostenlos - für die Zeit der Migration von Oracle ebenfalls.

02.06.201612 Kommentare

Der Streamingdienst Spotify migriert sein Backend in den Cloud-Dienst von Google. Das vereinfache die Arbeit der Entwickler langfristig. Vorher müssen aber noch die Analyse-Werkzeuge umgebaut werden.

24.02.20160 Kommentare

Microsoft veröffentlicht Produkte für die Sprache R nach einem Kauf nun unter eigenem Namen. Die Unterstützung für Linux, Hadoop und die freie Variante bleiben dabei erhalten. Zudem gibt es kostenlose Angebote.

13.01.20163 Kommentare

Die neue Version 9.5 von PostgreSQL kann Einträge per Upsert erstellen oder auch aktualisieren. Die Sicherheit ist verbessert worden, und die Datenbank bietet mehrere Big-Data-Funktionen.

07.01.201615 Kommentare

Das neue Office 2016 mit Team-Optionen, neuem Design und neuen Funktionen unter anderem für Excel und Outlook ist da. Office-365-Nutzer können sich die neue Version bereits herunterladen, die Einzelplatzlizenzen folgen morgen.

22.09.201536 Kommentare

In Googles Cloud können nun auch sogenannte Preemptible VMs gebucht werden, die nicht länger als 24 Stunden laufen und vielleicht sogar vorher abrupt ausgeschaltet werden. Kunden soll diese Ungewissheit aber besonders wenig kosten.

19.05.201534 Kommentare

Bislang hat Google seine Datenbank Bigtable nur intern genutzt. Jetzt lässt sich Bigtable auch als Cloud-Dienst verwenden. Zuvor hatte Google seine Programmierschnittstelle zur Datenanalyse Cloud Dataflow für alle freigegeben.

08.05.20151 Kommentar

Ignite 2015 Microsoft hat die öffentliche Preview-Version von Office 2016 vorgestellt. Damit kann jeder die neue Bürosuite ausprobieren, die im Herbst erscheinen soll. Microsoft will ein neues Arbeiten im Team ermöglichen und Benutzer mit neuen Hilfsfunktionen unterstützen.

05.05.201541 KommentareVideo

Um die zunehmende Fragmentierung der Big-Data-Infrastruktur Hadoop zu verhindern, hat sich Hortonworks unter anderem mit IBM und Pivotal zur Open Data Platform zusammengetan. Die Hadoop-Kerne ihrer Big-Data-Lösungen sollen miteinander abgestimmt werden.

16.04.20150 Kommentare

Bereits im kommenden Jahr will Huawei Mobilfunkbetreiber mit der nächsten Stufe von LTE ausrüsten. Das neue Zauberwort war heute in London "4,5 G". Besprochen werde dies mit Vodafone und der Deutschen Telekom.

24.02.201526 Kommentare

Mit dem Betriebssystem von Mesosphere sollen sich die Server eines gesamten Rechenzentrums wie ein einzelnes Gerät verwalten lassen. Dazu wird Technik verwendet, die unter anderem auch Twitter einsetzt.

09.12.20148 Kommentare

Google tut es, Bisnode tut es auch und Facebook erst recht: Sie verdienen Geld mit den Informationen ihrer Nutzer. Viele andere Unternehmen wissen dagegen gar nicht, wie sie ihre Daten verwerten sollen. Sie sollten Daten wie Baumwolle betrachten.
Von Alexander Löser

09.12.201447 Kommentare

Der Objektspeicher von Openstack erlaubt in der Version Juno Richtlinien zur einfacheren weltweiten Verwaltung. Die Datenverarbeitung kann nun mit Hadoop und Spark übernommen werden. Die neue Version bietet zudem die Grundlagen für Network Functions Virtualization (NFV).

16.10.20140 Kommentare

Was ist der aktuelle Stand der Forschung und Technik für Hauptspeicherdatenbanken? Wie lassen sich disruptive Eigenschaften für Anwendungen im "Immunsystem" des Unternehmens ausnutzen und wann ist der Einsatz dieser Technologie im Unternehmen wirtschaftlich sinnvoll?
Von Alexander Löser

15.10.201420 Kommentare

Das US-Startup Databricks hat einen neuen Rekord in der Berechnung von Daten aufgestellt. Die Computer der Firma ordneten 100 Terabyte in nur 23 Minuten. Zuvor hatte Yahoo den Rekord gehalten.

15.10.201418 Kommentare

In mehr als 140.000 vernetzten Geräten haben Forscher teils schwerwiegende Sicherheitslücken entdeckt, darunter Zero-Day-Exploits, hartcodierte Passwörter und private Schlüssel.

20.08.201414 Kommentare

Wie Küchenschaben soll die Datenbank CockroachDB auch die schlimmsten Ausfälle überleben, daher der Name. Das Team von ehemaligen Google-Entwicklern reimplementiert dafür Ideen von Spanner, das bei Google intern Mapreduce und Bigtable ablöst.

22.07.20148 Kommentare

Auf einer Konferenz hat Facebook-Entwickler Jeff Johnson die NoSQL-Datenbank Apollo vorgestellt, an der seit etwa einem Jahr gearbeitet wird. Sie orientiert sich an den Funktionen von Hbase. Ob Apollo Open Source wird, steht noch nicht fest.

16.06.201424 Kommentare

Der Hadoop-Distributor Cloudera und der Anbieter der gleichnamigen Datenbank MongoDB haben eine strategische Partnerschaft vereinbart. Insbesondere Big-Data-Kunden sollen davon profitieren.

30.04.20140 Kommentare

Schnellere SQL-Abfragen mit Apache Hive, eine verbesserte Mapreduce-Abfrage mit Tez und eine lange geforderte Suche sind die Komponenten, mit denen Hortonworks Hadoop weiterhin als Vorreiter im Bereich Big Data behaupten will. Die Investition Intels in Cloudera schürt die Angst vor einer Fragmentierung.

03.04.20141 Kommentar

Microsofts SQL Server 2014 steht ab sofort bereit. Neben einer Integration in Azure und einer Datenplattform für Hadoop 2.2 bietet der SQL Server auch erweiterte In-Memory-Lösungen.

02.04.20142 Kommentare

Microsoft macht den Preiskampf in der Cloud mit. Die Preise für Azure sollen um bis zu 65 Prozent fallen.

01.04.20140 Kommentare

Nach Google hat auch Amazon die Preise für seine Cloud-Angebote gesenkt. Parallel dazu wurde dessen Angebot für eine virtuelle Desktop-Infrastruktur allgemein verfügbar gemacht.

27.03.201410 Kommentare

Erweiterte In-Memory-Lösungen, eine nahtlose Integration mit der Azure-Cloud und eine umfassende Datenplattform für Hadoop 2.2 gehören zu den neuen Features von Microsofts SQL Server 2014.

19.03.201420 Kommentare

Das EMC-Spin-off Pivotal hat eine Reihe neuer Produkte rund um Hadoop und sein Konzept eines Business Data Lake vorgestellt.

18.03.20141 Kommentar

Der Linux-Distributor Red Hat und Hadoop-Betreuer Hortonworks gehen eine strategische Partnerschaft ein, um große Teile des Big-Data-Frameworks in Red Hats Produkte zu integrieren.

11.02.20140 Kommentare

Udacity richtet ein neues Lehrangebot zu Big Data ein. Die Teilnahme daran wird kostenpflichtig sein. Dafür erhält der Teilnehmer Unterstützung durch einen Tutor.

15.11.201311 Kommentare

Amazon hat mit Kinesis auf seiner Hausmesse Re:invent einen Dienst zur Analyse von Datenströmen in Echtzeit vorgestellt, mit dem sich pro Stunde mehrere Terabyte an Daten aus mehreren Hunderttausend Datenquellen verarbeiten lassen.

15.11.20131 Kommentar

Facebook hat Presto als Open Source veröffentlicht, eine interaktive SQL-Engine für Hadoop, mit der sich große Datenmengen in kurzer Zeit analysieren lassen. Presto soll dabei zehnmal schneller sein als das Gespann aus Hive und Mapreduce.

07.11.201344 Kommentare

Quanta nimmt als erster Hersteller Open-Compute-Server und Racks ins Programm. Unter dem Namen Rackgo X können komplette Open-Compute-Racks oder einzelne Server, Storage-Server, Switches und Mainboards bestellt werden, die den Spezifikationen des von Facebook gegründeten Open-Compute-Projekts entsprechen.

28.10.20134 Kommentare

Für Fedora 20 soll die ARM-Portierung gleichwertig zu den x86-Versionen gebaut und unterstützt werden. Die Entwickler diskutieren außerdem, ob standardmäßig noch ein Syslog-Daemon installiert werden soll oder nicht.

18.07.20138 Kommentare

Die alljährliche simultane Veröffentlichung sämtlicher Eclipse-Projekte steht unter dem Namen Kepler zum Download bereit. Die Anzahl der Projekte ist im Vergleich zum Vorjahr nicht gestiegen.

26.06.201346 Kommentare

Der Chiphersteller Intel hat eine eigene Hadoop-Distribution veröffentlicht, die speziell für die eigenen Prozessoren angepasst ist. Sie soll Daten deutlich schneller analysieren, vor allem, wenn sie aus Gründen der Datensicherheit verschlüsselt gespeichert werden.

27.02.20139 Kommentare

Welche Probleme mussten Facebooks Entwickler lösen, um das Wachstum auf mehr als 1 Milliarde aktive Nutzer zu bewerkstelligen, und was waren die daraus resultierenden größten technischen Errungenschaften? Andere, als die meisten denken, sagt Robert Johnson, der fünf Jahre lang Facebooks Infrastruktur-Software-Team leitete.

28.01.201357 Kommentare

Meint ein Nutzer, der nach "Bayern" sucht, das Land, seine Bewohner oder den Fußballclub? Und wie können Suchanfragen eingeordnet werden, die erstmals oder in neuem Kontext auftauchen? Wenn Maschinen zu langsam lernen, können Menschen helfen.

10.01.20138 Kommentare

Von HP gibt es zwei neue Rackserver, die sich für aufwendige Berechnungen oder Big-Data-Anwendungen eignen. Der Proliant SL270s G8 kann bis zu 8 GPU-Karten aufnehmen, der Proliant SL4500 G8 dafür bis zu 60 Festplatten. Beide Server liegen preislich im mittleren vierstelligen Bereich.

15.11.20125 Kommentare

2014 sollen sie fertig sein: AMDs erste Prozessoren mit ARM-Kernen. Vorgesehen sind sie für sparsame Server, und nicht nur die AMD-Tochter Seamicro soll sie verbauen. Mit Dell und HP sind bereits starke Partner gefunden.

30.10.201213 Kommentare

SAP will künftig mit Hadoop-Anbietern zusammenarbeiten, um die Integration von Big-Data-Lösungen auf Basis von Hadoop in SAP-Umgebungen zu ermöglichen. Dazu bietet SAP ein neues Big-Data-Bundle an.

25.10.20122 Kommentare

Der Hadoop-Spezialist Cloudera hat mit Impala eine Lösung für Echtzeitabfragen auf Hadoop und HBase vorgestellt. Die Abfragen werden in SQL formuliert und sollen zehnmal schneller sein als mit Hive/Mapreduce.

24.10.20121 Kommentar

Seit rund drei Jahren ist Spanner bei Google im Einsatz, in der vergangenen Woche veröffentlichte Google nun Details zu Spanner, das Google-Systeme wie Bigtable und Megastore ablösen soll. Dabei wird deutlich: Google ist seiner Konkurrenz einen Schritt voraus.

24.09.201227 Kommentare

Mit Drill soll die Abfrage und Analyse riesiger Datenmengen beschleunigt werden. Drill soll ein Incubator-Projekt der ASF werden und basiert auf dem Konzept des Google-Werkzeugs Dremel, welches das Unternehmen intern einsetzt.

22.08.20120 Kommentare

Dass Twitter Open-Source-Software benutzt und selbst entwickelt, ist kein Geheimnis. Wie viel quelloffene Technik der Nachrichtendienst einsetzt und wo, hat der Leiter der Open-Source-Abteilung Chris Aniszczyk jetzt verraten.

14.08.20127 Kommentare

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

10.07.20121 Kommentar

Mit teils massiven Ausfällen hat die Schaltsekunde in der Nacht zum 1. Juli 2012 unter anderem dem Linux-Kernel, MySQL und Java-basierten Anwendungen Probleme bereitet. Betroffen waren unter anderem Qantas, Reddit und Mozilla.

02.07.201285 Kommentare

Mit einem Update für Azure hat Microsoft seine Cloud-Plattform für weitere Open-Source-Software angepasst. Hadoop läuft als Beta. Hadoop-Entwickler Alan Gates beschreibt die Integration in einem Interview mit Golem.de.

07.06.20120 KommentareVideo

Arun Murthy, Release-Manager für Apache Hadoop 2.0, hat eine erste Alphaversion der kommenden Hadoop-Generation veröffentlicht, die unter anderem Hochverfügbarkeit für HDFS bietet und den Mapreduce-Nachfolger Yarn unterstützt.

29.05.20120 Kommentare

In Berlin hat der Linuxtag 2012 begonnen. Die Messe beginnt mit der Verleihung des Univention-Absolventenpreises. Themenschwerpunkte liegen in diesem Jahr in den Bereichen Storage, Android und bei Rechenzentren.

23.05.20120 Kommentare