Nachtsicht: KI macht monochrome Infratrotbilder farbig

US-Wissenschaftler haben eine KI entwickelt, die in Bildern aus dem Infrarot-Spektrum Farben aus dem sichtbaren Spektrum erkennt.

Artikel veröffentlicht am 8. April 2022, 16:25 Uhr, Werner Pluta

Bild eines Nachtsichtgerätes (Bild: Matt Hech/US Army)

Nachtsichtgeräte ermöglichen es, bei Dunkelheit zu sehen. Die Bilder, die sie liefern, erinnern jedoch stark an die frühen, grünen Monochrom-Computerbildschirme. Das soll sich ändern: Die Bilder sollen bunt werden.

Nachtsichtsysteme nehmen die Umgebung im Infrarotlicht (IR) wahr. Was sie für das menschliche Auge liefern, sind dann grüne Bilder. Ein Team von der University of California in Irvine hat eine Software entwickelt, das diese Bilder in Echtfarben wiedergibt. Das System nutzt dazu künstliche Intelligenz und Deep Learning.

Ausgangspunkt war die Annahme, dass ein Farbstoff oder ein Pigment nicht nur Wellen im sichtbaren Spektrum des Lichts reflektiert, sondern möglicherweise auch im IR-Spektrum. Die Idee von Andrew Browne und seinem Team war: Wenn es möglich ist, ein Nachtsichtsystem darauf zu trainieren, die IR-Signatur von Farbstoffen und Pigmenten zu erkennen, dann könnte es Bilder mit den Farben aus dem sichtbaren Spektrum anzeigen, die zu der IR-Signatur passen.

Die Trainingsdaten waren 140 Bilder von Gesichtern

Um das System zu trainieren, nutzte das Team eine Kamera, die Licht sowohl im sichtbaren als auch im IR-Spektrum erkennen kann. Damit nahm sie 140 Bilder von Gesichtern auf, die mit cyanfarbener, magentafarbener, gelber und schwarzer Tinte gedruckt waren und sowohl mit sichtbarem als auch IR-Licht beleuchtet wurden.

Das Team lernte ein neuronales Netz, ein Convolutional Neural Network (CNN), darauf an, Korrelationen zwischen der Erscheinung von Objekten im IR-Spektrum und der Farbe im sichtbaren Spektrum zu erkennen. CNNs werden häufig für die Bilderkennung eingesetzt. Nachdem das System ausreichend trainiert war, konnte es sogar von Bildern, die es nur im IR-Licht zu sehen bekam, die Farben erzeugen.

Wie gut das System funktioniere, hänge von der Qualität und Quantität der Trainingsdaten sowie davon ab, es in einem begrenzten Kontext anzulernen, sagte Browne dem US-Wissenschaftsmagazin IEEE Spectrum. "Wir haben nur mit Bildern von menschlichen Gesichtern gearbeitet, die mit vier Farben auf Papier gedruckt waren, und das hat sehr gut funktioniert. Würde man einen anderen Kontext verwenden - etwa Blumenfotos -, müsste man sicherstellen, dass man eine ausreichend große Anzahl von Blumenarten und genügend Daten gesammelt hat, um gute Ergebnisse zu erzielen."

Anwendungen für das System sieht Browne viele: in erster Linie für Nachtsichtgeräte im privaten oder im militärischen Bereich. Eine anderen Möglichkeit seien Umgebungen, in denen sichtbares Licht ungeeignet sei, in denen Menschen aber arbeiteten, sagte Browne. Das könne etwa in der chemischen Industrie sein oder in der Medizin, wo mit lichtempfindlichem Netzhautgewebe gearbeitet werden müsse.

Die Studie hat das Team um Browne im Open-Access-Magazin Plos One veröffentlicht.