Rosetta: Facebooks neuronales Netzwerk erkennt Memes in Echtzeit

Das soziale Netzwerk Facebook arbeitet an einem KI-System, das Text im Bild erkennen und den Sinn von diesen Texten verstehen und filtern kann. Rosetta soll dabei helfen, die Flut an Memes zu analysieren. Als Trainingsdaten dienen gepostete Motive und künstlich erstellte Memes.

Artikel veröffentlicht am ,
Rosetta erkennt den Text in Memes in verschiedenen Sprachen.
Rosetta erkennt den Text in Memes in verschiedenen Sprachen. (Bild: Facebook)

Facebook entwickelt ein neuronales Netzwerk, das Text im Bild erkennt und klassifizieren kann. Das System mit Namen Rosetta soll beispielsweise für das Filtern von böswilligen, anstößigen oder unangebrachten Memes verwendet werden. Es soll in Echtzeit viele Milliarden Bilder analysieren, die sich auf den Plattformen Facebook und Instagram befinden. Die Software erkennt Texte in verschiedenen Sprachen, etwa Arabisch, Englisch, Hindi und Italienisch.

Stellenmarkt
  1. Application SW Engineer Electric Vehicle Motion Control (m/w / divers)
    Continental AG, Nürnberg
  2. Qualifizierter Sachbearbeiter (m/w/d) Digitalisierung / Datenbanken
    Bundesarbeitsgemeinschaft für Rehabilitation e.V., Frankfurt am Main
Detailsuche

Rosetta teilt sich in zwei Teilmodule auf. Ein Region Proposal Network erkennt in Bildern eingebaute Wörter und Buchstaben und wandelt diese in reinen Text um. Die zweite Instanz ist ein Classifier, der die Bedeutung der Wörter und Sätze analysiert und interpretiert. Auf dieses Resultat kann Facebook dann Filter anwenden, etwa wenn ein Satz gegen die Nutzungsrichtlinien des sozialen Netzwerks verstößt. Das zugrundeliegende Framework ist das von Facebook selbst entwickelte Caffe2.

Bilder von Nutzern und automatisch erstellte Motive zum Trainieren

Interessant ist, dass sich die Quelldaten von Rosetta ebenfalls zweiteilen: Zum einen nutzt es beliebige auf Facebook veröffentlichte Bilder, die Nutzer mit bestimmten Parametern wie dem Text oder dem Bildinhalt markieren. Diese werden mit synthetisch aus Text und Bild hergestellten Memes und anderen Motiven vermischt.

Facebook will sein System künftig auch für Videos verwenden. Die Herausforderung für das Unternehmen besteht darin, das ressourceneffizient zu lösen. Daher falle die simple Analyse jedes einzelnen Videoframes weg, da dies nicht gut - in Hinsicht auf die wachsende Anzahl an Videos auf dem sozialen Netzwerk - skalierbar ist. Ein Ansatz wären 3D Convolutional Networks, bei denen ein neuronales Netzwerk neben Relationen von Bildausschnitten zueinander auch Zusammenhänge über ein gegebenes Zeitintervall verstehen soll.

Golem Akademie
  1. AZ-104 Microsoft Azure Administrator: virtueller Vier-Tage-Workshop
    28.06.-01.07.2022, virtuell
  2. DP-203 Data Engineering on Microsoft Azure virtueller Vier-Tage-Workshop
    12.-15.09.2022, virtuell
Weitere IT-Trainings

Facebook "erkundet" nach eigenen Aussagen diesen Sektor aber erst. Richtige Ergebnisse könnten also noch ein wenig dauern.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


bombinho 12. Sep 2018

Siggi wuerde an dieser Stelle sicherlich entzueckt jauchzen. :))))

bombinho 12. Sep 2018

Ich gehe davon aus, dass mit einfachsten Algorithmen Schrift(Erkennung) weiterhin auch...

Gandalf2210 12. Sep 2018

https://www.google.de/search?q=deep+fried+memes&client=ms-unknown&prmd=isvn&source=lnms...



Aktuell auf der Startseite von Golem.de
Forschung
Blaualge versorgt Computer sechs Monate mit Strom

Ein Forschungsteam hat einen Mikroprozessor sechs Monate ununterbrochen mit Strom versorgt. Die Algen lieferten sogar bei Dunkelheit.

Forschung: Blaualge versorgt Computer sechs Monate mit Strom
Artikel
  1. Für wenige Wochen: Paypal bietet 0 Prozent Zinsen bei Ratenzahlungen
    Für wenige Wochen
    Paypal bietet 0 Prozent Zinsen bei Ratenzahlungen

    Zeitlich befristet hebt Paypal seinen Zinsatz von 9,9 Prozent für Ratenkreditkäufe auf. Nutzer müssen ihre Finanzdaten überprüfen lassen.

  2. Asus RTX 3080 Noctua Edition: Die Geforce RTX 3080 mit Noctua-Lüftern kommt
    Asus RTX 3080 Noctua Edition
    Die Geforce RTX 3080 mit Noctua-Lüftern kommt

    Braune Lüfter und gute Leistung: Asus und Noctua bringen die Geforce RTX 3080 Noctua Edition heraus. Diese soll leiser und kühler laufen.

  3. EC-Karte: Trotz Kartensperre können Diebe stundenlang Geld abheben
    EC-Karte
    Trotz Kartensperre können Diebe stundenlang Geld abheben

    Eine Sperre der Girocard wird nicht immer sofort aktiv. Verbraucher können sich bereits im Vorfeld schützen.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • LG OLED TV (2021) 77" günstig wie nie: 1.771,60€ statt 4.699€ • Grakas günstig wie nie (u. a. RTX 3080Ti 1.285€) • Samsung SSD 1TB (PS5-komp.) + Heatsink günstig wie nie: 143,99€ • Microsoft Surface günstig wie nie • Jubiläumsdeals MediaMarkt • Bosch Prof. bis 53% günstiger[Werbung]
    •  /