PixelNN: Mit Machine Learning unscharfe Bilder erkennbar machen

PixelNN kann unscharfe oder unvollständige Bilder rekonstruieren. Der Algorithmus sei dabei präziser als ähnliche Projekte. Die Entwickler nutzen ein neuronales Netz, um bereits jetzt relativ genaue Ergebnisse zu liefern.

Artikel veröffentlicht am ,
Aus wenig Informationen erstellt PixelNN erkennbare Bilder.
Aus wenig Informationen erstellt PixelNN erkennbare Bilder. (Bild: Carnegie Mellon University)

Drei Forscher an der Carnegie Mellon University im US-Bundesstaat Pennsylvania haben einen Bilderkennungsalgorithmus entwickelt, der aus verpixelten, verwaschenen oder unvollständigen Aufnahmen ein klares Bild rekonstruiert. Die Forscher Aayush Bansal, Yaser Sheikh und Deva Ramanan stellen das Projekt PixelNN auf einer entsprechenden Seite vor.

  • PixelNN errechnet Bilder schrittweise aus unscharfen Quellen. (Bild: cs.cmu.edu/~aayushb)
  • PixelNN errechnet Bilder schrittweise aus unscharfen Quellen. (Bild: cs.cmu.edu/~aayushb)
  • Der Algorithmus fürgt weitere Pixel hinzu. (Bild: cs.cmu.edu/~aayushb)
  • Auch Gegenstände werden berechnet.  (Bild: cs.cmu.edu/~aayushb)
  • PixelNN vergleicht sich mit Pix-to-Pix. (Bild: cs.cmu.edu/~aayushb)
  • PixelNN kann verschiedene Quelldaten verarbeiten. (Bild: cs.cmu.edu/~aayushb)
PixelNN vergleicht sich mit Pix-to-Pix. (Bild: cs.cmu.edu/~aayushb)
Stellenmarkt
  1. Business Intelligence Sachbearbeiterin / Sachbearbeiter - Datenanalystin / Datenanalyst (m/w/d)
    Kreis Nordfriesland, Husum
  2. Network / Security Engineer (m/w/d)
    HCD Consulting GmbH, München
Detailsuche

Der Machine-Learning-Algorithmus nutzt ein Convolutional Neural Network (CNN), um Quellmotive schrittweise zu filtern und schließlich in mehrere mögliche Ausgaben zu wandeln. Das Modell verwendet einen Nearest-Neighbor-Ansatz, um zu Ergebnissen zu kommen. Bei diesem berechnet der Algorithmus Wahrscheinlichkeiten anhand der benachbarten Knoten - in diesem Fall Bildpixel. Danach springt das Programm zum nächstgelegenen Knoten und wiederholt den Vorgang rekursiv.

Software, die ähnliche Ergebnisse erreichen soll, gibt es bereits. Laut den Entwicklern seien jedoch zwei Punkte bei Alternativen nicht gegeben: Zum einen kann PixelNN viele verschiedene Ergebnisse gleichzeitig ausgeben. Das sei bei anderen Algorithmen - etwa Pix-to-Pix - nicht der Fall. Zum anderen seien Ergebnisse anderer Algorithmen nicht interpretierbar.

Unschärfemasken in Google Street View rückgängig machen

Bisher funktioniert PixelNN auf Motiven wie Katzen, Hunden, menschlichen Gesichtern und einigen Modestücken. Das Team zeigt Schuhe und Handtaschen. Bilder können aus mehreren Szenarien rekonstruiert werden. Die Quelle kann einfach nur unscharf oder niedrigpixelig sein oder nur die Konturen zeigen. Auch generelle Bildfehler und fehlende Informationen sollen rekonstruiert werden können.

  • PixelNN errechnet Bilder schrittweise aus unscharfen Quellen. (Bild: cs.cmu.edu/~aayushb)
  • PixelNN errechnet Bilder schrittweise aus unscharfen Quellen. (Bild: cs.cmu.edu/~aayushb)
  • Der Algorithmus fürgt weitere Pixel hinzu. (Bild: cs.cmu.edu/~aayushb)
  • Auch Gegenstände werden berechnet.  (Bild: cs.cmu.edu/~aayushb)
  • PixelNN vergleicht sich mit Pix-to-Pix. (Bild: cs.cmu.edu/~aayushb)
  • PixelNN kann verschiedene Quelldaten verarbeiten. (Bild: cs.cmu.edu/~aayushb)
Auch Gegenstände werden berechnet. (Bild: cs.cmu.edu/~aayushb)
Golem Karrierewelt
  1. C++ Programmierung Basics: virtueller Fünf-Tage-Workshop
    24.-28.10.2022, virtuell
  2. Cloud Competence Center: Strategien, Roadmap, Governance: virtueller Ein-Tages-Workshop
    08.12.2022, Virtuell
Weitere IT-Trainings

In Beispielen zeigt das Entwicklerteam auch erste Ergebnisse des Algorithmus, die dem Originalbild relativ ähnlich sehen. PixelNN könnte dadurch eventuell Material von Videokameras oder fehlerhafte Fotos verbessern. Aber auch gewollte Unschärfemasken könnten in der Theorie so entfernt werden. Eine solche Technik nutzt etwa Google Street View, um die Identitäten von Passanten zu schützen.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Minority Report wird 20 Jahre alt
Die Zukunft wird immer gegenwärtiger

Minority Report zog aus, die Zukunft des Jahres 2054 vorherzusagen. 20 Jahre später scheint so manches noch prophetischer.
Von Peter Osteried

Minority Report wird 20 Jahre alt: Die Zukunft wird immer gegenwärtiger
Artikel
  1. Gegen Agile Unlust: Macht es wie Bruce Lee
    Gegen Agile Unlust
    Macht es wie Bruce Lee

    Unser Autor macht seit vielen Jahren agile Projekte und kennt "agile Unlust". Er weiß, warum sie entsteht, und auch, wie man gegen sie ankommen kann.
    Ein Erfahrungsbericht von Marvin Engel

  2. Luftfahrt: Wisk Aero zeigt autonomes Flugtaxi
    Luftfahrt
    Wisk Aero zeigt autonomes Flugtaxi

    Das senkrecht startende und landende Lufttaxi soll in fünf Jahren im regulären Einsatz sein.

  3. Firefly Aerospace: Rakete erreicht den Orbit
    Firefly Aerospace
    Rakete erreicht den Orbit

    Der zweite Start der Alpha-Rakete war erfolgreich. Sie hat Satelliten in einer niedrigen Erdumlaufbahn ausgesetzt.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • MindFactory (u. a. PowerColor RX 6700 XT Hellhound 489€, ASRock RX 6600 XT Challenger D OC 388€) • Kingston NV2 1TB (PS5) 72,99€ • be quiet! Silent Loop 2 240 99,90€ • Star Wars: Squadrons PS4a 5€ • Acer 24"-FHD/165 Hz 149€ + Cashback • PCGH-Ratgeber-PC 3000 Radeon Edition 2.500€ [Werbung]
    •  /