Sprachsteuerung Photoshop im Stil von Bladerunner

Sprachsteuerung zum Bearbeiten von Bildern gab es bislang nur im Film. Mit der App Pixeltone wollen Forscher die Zukunftsvision aus Bladerunner auf Smartphones und Tablets holen.

Forscher von Adobe und der Uni Michigan haben mit Pixeltone ein multimodales Interface zur Bildbearbeitung entwickelt. Der Anwender spricht teilweise Bildbearbeitungsbefehle ein und zeigt dem Rechner Personen und Gegenstände, die er verändern soll.

Objektmanipulationen funktionieren nur, wenn der Anwender der App vorher geholfen und ihr gezeigt hat, wie welcher Gegenstand genannt wird. Ein Prototyp der App ist bereits fertiggestellt worden.

So lassen sich zum Beispiel Gesichter antippen, per Sprachbefehl einem Namen zuordnen und dann Kommandos wie "Helle John auf!" anwenden. Aber auch Anweisungen wie "Dunkle die obere Bildhälfte ab!" oder "Ändere die Farbe des T-Shirts!" sind angedacht. Im letzteren Fall wird dem Benutzer ein Schieberegler präsentiert, mit dem er den gewünschten Ton auswählen kann. Über das Bild gemalte Pfeile könnten zum Beispiel Start und Ende eines Unschärfefilters markieren, der per Sprache aufgerufen wird. Letztlich ähnelt diese Vorgehensweise Retuschenanweisungen, die Profis für die Bildbearbeiter auf Fotos zeichnen.

Die Forscher wollen ihre Ergebnisse auf der Konferenz Human-Computer Interaction in Paris präsentieren, die Ende April 2013 stattfindet. Ob diese Technik später auch einmal in konkreten Produkten eingesetzt wird, geht aus dem wissenschaftlichen Aufsatz, den die Forschergruppe veröffentlicht hat, nicht hervor. Da aber bereits ein funktionsfähiger App-Prototyp entwickelt wurde, ist das zu erwarten.

Forschungsprojekte als Feature-Fundgrube für Photoshop

Es wäre nicht das erste Mal, dass ein Forschungsprojekt von Adobe und einer Uni in Produkte des Softwareherstellers einfließt.

Unter dem Namen Patchmatch hatten Forscher der Universitäten Princeton und Washington sowie von Adobe einen Algorithmus entwickelt, der es ermöglicht, große Objekte mit einfachem Markieren aus einem Bild zu entfernen. Die theoretischen Grundlagen der Technik haben sie im August 2009 auf der Siggraph unter dem Titel "A Randomized Correspondence Algorithm for Structural Image Editing" vorgestellt. In Photoshop CS5, das 2010 auf den Markt kam, war diese Funktion dann vorhanden. Die Nachfolgetechnik Content-Aware Move wurde in CS6 eingesetzt, das 2012 erschien. Damit können große Objekte in Bildern verschoben und die entstehenden Lücken von allein aufgefüllt werden.