Nerf: Google überrascht mit KI-Werkzeug zur Rauschunterdrückung
Als eine Art Nebenprodukt anderer Arbeiten hat ein Team von Googles Forschungsabteilung beeindruckende Ergebnisse zur Rauschunterdrückung in digitalen Bildern vorgestellt. Diese ermöglichen Aufnahmen fast komplett im Dunkeln. Darauf weist der Youtube-Kanal Two Minute Papers(öffnet im neuen Fenster) hin.
Google selbst hat die drei(öffnet im neuen Fenster) zusammenhängenden(öffnet im neuen Fenster) Arbeiten(öffnet im neuen Fenster) vor wenigen Wochen auf der Computer Vision and Pattern Recognition Conference (CVPR) vorgestellt und dazugehörigen Code, der auch selbst benutzt werden kann, auf Github zum Download(öffnet im neuen Fenster) bereitgestellt. Grundlage der Arbeiten sind dabei die sogenannten Neural Radiance Fields (Nerf).
Mithilfe der Nerf-Technik kann aus mehreren einzelnen Bildaufnahmen eine Szene oder Videosequenz synthetisiert werden. Dabei lassen sich bestenfalls auch Blickrichtung, Fokus, Belichtung oder auch Tone Mapping manipulieren, um neue Standbilder aus der synthetisierten Szene zu erzeugen.
Nerf besser als übliche Rauschunterdrückung
Für das Projekt Rawnerf ( PDF(öffnet im neuen Fenster) ) setzen die Beteiligten dabei anders als bisher auf Ausgangsbilder in Rohformaten des eigentlichen Kamerasensors. Das soll zunächst schlicht die Nutzung von mehr Informationen zum Erstellen der Szenen ermöglichen. Dabei helfen dem Modell auch kleinere Unterschiede der Belichtung.
Die Rohdaten sind insbesondere in schlecht beleuchteter Umgebung zwar oft sehr verrauscht. Auf die Ergebnisse von Rawnerf habe das allerdings keine größere Auswirkung und das Modell arbeite noch "überraschend" gut, wie die Forscher selbst schreiben. Das gelte insbesondere für die Rauschunterdrückung, die die Qualität speziell darauf fokussierter Systeme erreiche könne.
In Bezug auf die Forschung heißt es: "Das direkte Training mit Rohdaten verwandelt Rawnerf effektiv in einen Mehrbild-Denoiser, der Informationen aus Dutzenden oder Hunderten von Eingabebildern kombinieren kann. Diese Robustheit gegenüber Rauschen bedeutet, dass wir Rawnerf verwenden können, um im Dunkeln aufgenommene Szenen zu rekonstruieren."
Generell zur Rauschunterdrückung einsetzbar sei das Verfahren aber nicht. Immerhin seien die benötigten Rohdaten zu groß für viele Kameras. Ebenso könnte Bewegungsunschärfe damit nicht bearbeitet werden und das Rawnerf-Modell sei viel größer als übliche Ansätze. Dank der Technik seien aber auch Synthese und Rekonstruktion besonders dunkler Aufnahmen möglich.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.