Maschinelles Lernen: Apache Mahout erhält neue Algorithmen

Das Apache-Projekt Mahout erhält zahlreiche neue Algorithmen. Über den Fortschritt der skalierbaren Implementierung von maschinenlernenden Algorithmen hat Entwickler Grant Ingersoll berichtet.

Artikel veröffentlicht am 14. November 2011, 15:36 Uhr, Jörg Thoma

Mahout erhielt zahlreiche neue Algorithmen. (Bild: Apache Software Foundation)

Seit Mahout im Mai 2010 ein Top-Level-Projekt bei Apache wurde, hat sich viel getan, wie Grant Ingersoll in einem Blog-Eintrag schreibt. Ingersoll ist Mitbegründer der Firma Lucid Imagination und beteiligt sich an der Entwicklung von Mahout. Der Fokus der Machine Learning Library sind die Themen Collaborative Filtering, Clustering und Classification. Mahout ist unter anderem für den Einsatz bei sozialen Netzwerken gedacht und benötigt auch die Apache Hadoop und Mapreduce.

Zu den neu hinzugekommenen Algorithmen gehören die Hidden Markov Models (HMM), ein stochastisches Modell, dessen Algorithmus in Mahout für die Spracherkennung eingesetzt wird. Für die Klassifizierung von Texten, wie sie etwa bei der gezielten Empfehlungen von Werbung für einzelne Nutzer genutzt wird, kann auf das Stochastic Gradient Descent (SGD) zugegriffen werden.

Der Einsatz von Singulärwertzerlegung soll als Vorstufe zur Klassifizierung beispielsweise eine automatische Funktionsauswahl ermöglichen. Weitere Algorithmen sollen ebenfalls das Dataminig in großen Datenbanken erleichtern und beschleunigen, etwa Dirichlet Clustering bei sich überlagernden und hierarchischen Daten oder Spectral Clustering bei großen und noch unbekannten Datensätzen.

Grants Blogeintrag bietet auch eine Anleitung zur Installation von Mahout in Amazons EC2. Als Datenbasis des Beispiels können Daten aus den E-Mail-Archiven der Apache Software Foundation verwendet werden.

Die nächste Version 0.6 von Mahout ist für Ende 2011 geplant. Bis zur Veröffentlichung der stabilen Version 1.0 soll die Software noch weiter getestet und ihre Leistung optimiert werden. Insbesondere produziert Hadoop auf verteilten Rechnern beim der Verwendung mit Mahout noch zu viele Festplattenzugriffe. Deshalb werden die Entwickler Mahout für den Einsatz im flüchtigen Speicher weiter optimieren. Ferner soll die API noch verbessert und weitere Algorithmen eingesetzt werden. Ein Erscheinungstermin für Mahout 1.0 ist noch nicht festgelegt.