Rosetta: Facebooks neuronales Netzwerk erkennt Memes in Echtzeit
Facebook entwickelt ein neuronales Netzwerk, das Text im Bild erkennt und klassifizieren kann. Das System mit Namen Rosetta(öffnet im neuen Fenster) soll beispielsweise für das Filtern von böswilligen, anstößigen oder unangebrachten Memes verwendet werden. Es soll in Echtzeit viele Milliarden Bilder analysieren, die sich auf den Plattformen Facebook und Instagram befinden. Die Software erkennt Texte in verschiedenen Sprachen, etwa Arabisch, Englisch, Hindi und Italienisch.
Rosetta teilt sich in zwei Teilmodule auf. Ein Region Proposal Network erkennt in Bildern eingebaute Wörter und Buchstaben und wandelt diese in reinen Text um. Die zweite Instanz ist ein Classifier, der die Bedeutung der Wörter und Sätze analysiert und interpretiert. Auf dieses Resultat kann Facebook dann Filter anwenden, etwa wenn ein Satz gegen die Nutzungsrichtlinien des sozialen Netzwerks verstößt. Das zugrundeliegende Framework ist das von Facebook selbst entwickelte Caffe2.
Bilder von Nutzern und automatisch erstellte Motive zum Trainieren
Interessant ist, dass sich die Quelldaten von Rosetta ebenfalls zweiteilen: Zum einen nutzt es beliebige auf Facebook veröffentlichte Bilder, die Nutzer mit bestimmten Parametern wie dem Text oder dem Bildinhalt markieren. Diese werden mit synthetisch aus Text und Bild hergestellten Memes und anderen Motiven vermischt.
Facebook will sein System künftig auch für Videos verwenden. Die Herausforderung für das Unternehmen besteht darin, das ressourceneffizient zu lösen. Daher falle die simple Analyse jedes einzelnen Videoframes weg, da dies nicht gut - in Hinsicht auf die wachsende Anzahl an Videos auf dem sozialen Netzwerk - skalierbar ist. Ein Ansatz wären 3D Convolutional Networks(öffnet im neuen Fenster) , bei denen ein neuronales Netzwerk neben Relationen von Bildausschnitten zueinander auch Zusammenhänge über ein gegebenes Zeitintervall verstehen soll.
Facebook "erkundet" nach eigenen Aussagen diesen Sektor aber erst. Richtige Ergebnisse könnten also noch ein wenig dauern.