Ist Deep Learning DAS neue Ding?

Verfahren des Deep Learning haben in letzter Zeit die Qualität von Anwendungen der Erkennung von visuellen Objekten, der Sprachverarbeitung und dem Aufbau von Wissensnetzwerken enorm verbessert. Die Technik ermöglicht es, auf viel komplexere Weise zu lernen, als es mit sogenannten flachen Lernern möglich ist. Mit diesen Erfolgen verknüpfen einige Unternehmen und Wissenschaftler derzeit große Hoffnungen bei der Lösung anderer komplexer Aufgaben im Bereich der Verarbeitung und Repräsentation von Wissen.

Beispiele sind übergreifende Embeddings für Bilder, Filme, Texte, Audio und strukturierte Daten sowie die Beschleunigung der Berechnung der Embeddings auf Servern, aber auch auf mobilen Endgeräten oder Fahrassistenzsystemen. Deren Umsetzung wird erst dadurch möglich, dass die Kosten für das Verwalten großer Datenmengen stark gefallen sind.

Dazu kommen clevere Softwarealgorithmen für den Einsatz von Deep Learning auf Tausenden preiswerten Rechenkernen sowie bessere Programmierabstraktionen wie Theano, Torch, DeepLearning4j, 0xData-H2o oder Berkely Caffe, die die Eintrittshürde für Programmierer drastisch senken.

Mit Verfahren des tiefen Lernens werden Maschinen noch besser als in der Vergangenheit Rohdaten analysieren und maschinell verarbeitbares Wissen daraus ableiten können. Durch zahlreiche "Tricks" wird die dafür notwendige Hardware immer preiswerter und die Abstraktion der Programmierung immer einfacher zu bedienen. Dadurch werden mehr Anwendungen von der Wissensrepräsentation durch tiefe neuronale Netzwerke profitieren. Letzten Endes benötigen wir aber trotzdem noch Menschen, die dem System eine Aufgabe zum Erlernen dieser Netzwerke geben.

Christian Herta ist Hochschullehrer für Informationssysteme an der Hochschule für Technik und Wirtschaft Berlin. Dort vertritt er den Anwendungsschwerpunkt Datenwissenschaften (noch: Technologien des sozialen Webs) des Studiengangs angewandte Informatik. Sein aktueller Forschungsschwerpunkt ist der Einsatz rekurrenter neuronaler Netze (wie LSTM) zur Sprachverarbeitung. Außerdem entwickelt er für die Lehre Online-Tutorials und Lecture Notes über neuronale Netze.

Alexander Löser ist Hochschullehrer für Datenbanken und Text-basierte Informationssysteme (Datexis) an der Beuth-Hochschule für Technik in Berlin. Mit sechs weiteren Kollegen vertritt er dort auch den Forschungs- und Lehrschwerpunkt Data Science. Er berät Konzerne und mittelständische Unternehmen, das BMWi sowie die EU zum Thema Digitale Wertschöpfung mit Daten. Der aktuelle Forschungsschwerpunkt seines Teams ist das In-Database-Text-Mining.

Literatur:

Yoshua Bengio, Aaron C. Courville, and Pascal Vincent. Unsupervised Feature Learning and Deep Learning: A Review and New Perspectives. CoRR, abs/1206.5538, 2012
GC. DeAngelis, I. Ohzawa and RD. Freemann. Receptive-field dynamics in the central visual pathways, Trends Neuroscience, Oct;18(10): 451-8, 19995
Geoffrey Hinton and Ruslan Salakhutdinov. Reducing the Dimensionality of Data with Neural Networks. Science, 313(5786): 504 - 507, 2006.
Honglak Lee, Roger B. Grosse, Rajesh Ranganath and Andrew Y. Ng. Unsupervised learning of hierarchical representations with convolutional deep belief networks. Commun. ACM 54(10): 95-103 (2011)