Algorithmus mischt Video- und Fotoaufnahmen

Mehr Schärfe, Kontrastumfang und dynamische Masken

An der Universität Washington wurde eine Videoverarbeitungstechnik entwickelt, mit der Videos durch Fotoaufnahmen der gleichen Szene deutlich verbessert werden können. Dennoch bleiben Glanzlichter und wechselnde Beleuchtungen erhalten.

Die Technik wurde am GRAIL, dem "Graphics and Imaging Laboratory" im Informatikbereich der Uni Washington entwickelt. Mit ihr können Videoaufnahmen und Bilder durchschnittlicher Qualität, die aus einer handelsüblichen Digitalkamera stammen, so miteinander vermischt werden, dass das neue Video erheblich besser aussieht.

Bei vielen Videoaufnahmen fallen fehlende Schärfezeichnung, ausgerissene Lichter und Kamerawackler auf. Diese Fehler können nur mühsam oder gar nicht mit herkömmlicher Videosoftware ausgebessert werden. Mit dem Framework soll dies anders werden.

Digitalkameras sind ungefähr gleich teuren Videokameras in vielen Bereichen deutlich überlegen. Durch die hohe Datenmenge, die beim Videofilmen anfällt, müssen die einzelnen Bilder stärker komprimiert werden. Außerdem ist die Auflösung erheblich niedriger als bei Standbildern. Bei Fotos kann die Belichtungszeit zudem fast beliebig lange eingestellt werden, um auch anspruchsvolle Szenen richtig zu belichten - bei Videokameras ist dies durch das Diktat der Framerate nicht möglich.

Die Software versucht, bei Kameraschwenks die Tiefeninformationen aus dem Video und den Fotos herauszuarbeiten und legt die Informationen aus den Standbildern in die berechneten Masken. So kann das Kontrastverhältnis gesteigert werden. Mit der Technik sollen ausgerissene Lichter deutlich reduziert werden, die durch den geringen Dynamikumfang der Kamerasensoren entstehen. Außerdem können Fehlbelichtungen korrigiert und anwendergenerierte Masken genutzt werden, um Bildbereiche mit anderen Inhalten zu füllen oder störende Objekte zu entfernen. Auch die Bildschärfe kann durch den Einsatz von Standbildern erhöht werden.

Die Algorithmen lassen es außerdem zu, einige Eigenheiten von Videos zu bewahren, die bei Standbildern verloren gehen. Zum Beispiel sind dies Lichtreflexe, die auf dem Objekt in Bewegung auftreten, oder sich abwechselnde Beleuchtungseffekte. So können auch Bildbearbeitungseffekte, die auf die Fotos angewendet wurden, auf den Film übertragen werden.

Noch haben die Forscher Pravin Bhat, C. Lawrence Zitnick, Noah Snavely, Aseem Agarwala, Maneesh Agrawala, Brian Curless, Michael Cohen und Sing Bing Kang noch keine Software für die Allgemeinheit veröffentlicht oder ihre Arbeit an einen Hersteller verkauft.