Nerf: Google überrascht mit KI-Werkzeug zur Rauschunterdrückung

Das Rauschen in digitalen Bildern stört insbesondere bei dunklen Aufnahmen. Mit Machine Learning geht Google beeindruckend dagegen vor.

Artikel veröffentlicht am ,
Die Rohdaten von Digitalbildern sind oft sehr verrauscht.
Die Rohdaten von Digitalbildern sind oft sehr verrauscht. (Bild: Ben Mildenhall, Google)

Als eine Art Nebenprodukt anderer Arbeiten hat ein Team von Googles Forschungsabteilung beeindruckende Ergebnisse zur Rauschunterdrückung in digitalen Bildern vorgestellt. Diese ermöglichen Aufnahmen fast komplett im Dunkeln. Darauf weist der Youtube-Kanal Two Minute Papers hin.

Stellenmarkt
  1. Technical SAP Basis / Cloud Integration Architect CPI (m/w/d)
    HÜBNER GmbH & Co. KG, Kassel
  2. Software Entwickler (m/w/d)
    Rieter Ingolstadt GmbH, Ingolstadt
Detailsuche

Google selbst hat die drei zusammenhängenden Arbeiten vor wenigen Wochen auf der Computer Vision and Pattern Recognition Conference (CVPR) vorgestellt und dazugehörigen Code, der auch selbst benutzt werden kann, auf Github zum Download bereitgestellt. Grundlage der Arbeiten sind dabei die sogenannten Neural Radiance Fields (Nerf).

Mithilfe der Nerf-Technik kann aus mehreren einzelnen Bildaufnahmen eine Szene oder Videosequenz synthetisiert werden. Dabei lassen sich bestenfalls auch Blickrichtung, Fokus, Belichtung oder auch Tone Mapping manipulieren, um neue Standbilder aus der synthetisierten Szene zu erzeugen.

Nerf besser als übliche Rauschunterdrückung

Für das Projekt Rawnerf (PDF) setzen die Beteiligten dabei anders als bisher auf Ausgangsbilder in Rohformaten des eigentlichen Kamerasensors. Das soll zunächst schlicht die Nutzung von mehr Informationen zum Erstellen der Szenen ermöglichen. Dabei helfen dem Modell auch kleinere Unterschiede der Belichtung.

Golem Karrierewelt
  1. Adobe Photoshop Aufbaukurs: virtueller Zwei-Tage-Workshop
    06./07.10.2022, Virtuell
  2. Advanced Python – Fortgeschrittene Programmierthemen: virtueller Drei-Tage-Workshop
    23.-25.01.2023, Virtuell
Weitere IT-Trainings

Die Rohdaten sind insbesondere in schlecht beleuchteter Umgebung zwar oft sehr verrauscht. Auf die Ergebnisse von Rawnerf habe das allerdings keine größere Auswirkung und das Modell arbeite noch "überraschend" gut, wie die Forscher selbst schreiben. Das gelte insbesondere für die Rauschunterdrückung, die die Qualität speziell darauf fokussierter Systeme erreiche könne.

In Bezug auf die Forschung heißt es: "Das direkte Training mit Rohdaten verwandelt Rawnerf effektiv in einen Mehrbild-Denoiser, der Informationen aus Dutzenden oder Hunderten von Eingabebildern kombinieren kann. Diese Robustheit gegenüber Rauschen bedeutet, dass wir Rawnerf verwenden können, um im Dunkeln aufgenommene Szenen zu rekonstruieren."

Generell zur Rauschunterdrückung einsetzbar sei das Verfahren aber nicht. Immerhin seien die benötigten Rohdaten zu groß für viele Kameras. Ebenso könnte Bewegungsunschärfe damit nicht bearbeitet werden und das Rawnerf-Modell sei viel größer als übliche Ansätze. Dank der Technik seien aber auch Synthese und Rekonstruktion besonders dunkler Aufnahmen möglich.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Katsuragi 25. Aug 2022 / Themenstart

Das ist genau das Problem: es baut statistisch etwas ins Bild ein, das auf...

pipkin 25. Aug 2022 / Themenstart

Wir werden alle sterben!

MaddinA 25. Aug 2022 / Themenstart

Es ist schon eine Leistung was die Software/KI da machen kann. Der Punkt ist hier...

WasntMe 25. Aug 2022 / Themenstart

Im Gegenteil denke ich, das solche Denoising-Modelle in zukünftigen Engines noch viel...

Kommentieren



Aktuell auf der Startseite von Golem.de
E-Mail-Hosting
"Wir haben laufend Probleme mit GMX und Web.de"

Probleme, wie sie die Bahn jüngst mit GMX und Web.de hatte, kennt der Mailprovider Tinc schon lang. Antworten bleibe GMX schuldig, sagt uns der CEO.
Ein Interview von Moritz Tremmel

E-Mail-Hosting: Wir haben laufend Probleme mit GMX und Web.de
Artikel
  1. Europaparlament: Europäische Seekabel sollen militärisch geschützt werden
    Europaparlament
    Europäische Seekabel sollen militärisch geschützt werden

    Eine Studie für das Europaparlament fordert einen besseren militärischen Schutz von Glasfaser-Seekabeln. Es gebe eine größere Anzahl "sehr verwundbarer" Stellen.

  2. Copilot, Java, RISC-V, Javascript, Tor: KI macht produktiver und Rust gewinnt wichtige Unterstützer
    Copilot, Java, RISC-V, Javascript, Tor
    KI macht produktiver und Rust gewinnt wichtige Unterstützer

    Dev-Update Die Diskussion um die kommerzielle Verwertbarkeit von Open Source erreicht Akka und Apache Flink, OpenAI macht Spracherkennung, Facebook hilft Javascript-Enwicklern und Rust wird immer siegreicher.
    Von Sebastian Grüner

  3. Ello LC1: Bastler baut 8-Bit-Computer in Kreditkartengröße
    Ello LC1
    Bastler baut 8-Bit-Computer in Kreditkartengröße

    Der Ello LC1 ist dank cleverer Konstruktion nur unwesentlich dicker als eine Platine und bietet einen Basic-Interpreter sowie ein LC-Display.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • LG OLED TV 2022 65" 120 Hz 1.799€ • ASRock Mainboard f. Ryzen 7000 319€ • MindStar (G.Skill DDR5-6000 32GB 299€, Mega Fastro SSD 2TB 135€) • Alternate (G.Skill DDR5-6000 32GB 219,90€) • Xbox Series S + FIFA 23 259€ • PCGH-Ratgeber-PC 3000€ Radeon Edition 2.500€ [Werbung]
    •  /