Photo Expansion ausprobiert: Beim Herauszoomen haperts oft an den Details
Qualcomms neues Mobile-SoC Snapdragon 8 Gen 3 verfügt über eine im Vergleich zum Vorgängermodell um 98 Prozent leistungsfähigere NPU – und hat entsprechend zahlreiche KI-Funktionen erhalten. Eine nennt sich Photo Expansion und bietet Nutzern die Möglichkeit, aus einem Bild herauszuzoomen, obwohl die dafür notwendigen Daten nicht im Bild enthalten sind.
Aus einem mit der Hauptkamera gemachten Bild lässt sich dadurch beispielsweise ein Superweitwinkelbild machen. Bislang können Nutzer in der Regel nur in Bilder hineinzoomen.
Die fehlenden Bildinhalte werden auf dem Smartphone mithilfe der NPU erzeugt. Das vorhandene Bild wird dafür analysiert und die umgebenden, fehlenden Bildelemente entsprechend erzeugt. Qualcomm arbeitet dafür mit dem Unternehmen Tetras.AI zusammen, von dem das KI-Modell stammt. Golem.de konnte sich Photo Expansion mit unterschiedlichen Motiven anschauen.
Ergebnisse wirken meist realistisch, sind aber nicht immer korrekt
In den uns gezeigten Demos hat Photo Expansion in der Regel einen auf den ersten Blick realistischen neuen Hintergrund erfunden, bei anderen Motiven war das Ergebnis hingegen weniger überzeugend. Bei einem Porträt beispielsweise ergänzt die KI nicht nur eine Sitzbank und einen Garten im Hintergrund, sondern auch den Arm der porträtierten Person. Dadurch wirkt das Weitwinkelbild so, als hätte die porträtierte Person ein Selbstporträt aufgenommen – insgesamt ein durchaus realistisches Ergebnis.
Ein anderes Motiv zeigt eine sitzende Hundestatue von hinten. In diesem Fall wird zwar der Hintergrund gut ergänzt, der untere Teil der Statue allerdings nicht. Die KI weiß mit dem Motiv offenbar nichts anzufangen und hat entsprechend improvisiert. Photo Expansion unterliegt den gleichen Beschränkungen wie andere KIs: Wenn Bildinhalte nicht vollständig erkannt werden, können sie nicht zuverlässig ergänzt werden.
Mitunter reichen aber bereits kleine Details, um eine Bildergänzung zu erreichen. Bei einem Bild schafft es Photo Expansion nicht nur, das Blatt einer Topfpflanze zu ergänzen, sondern auch anhand von Schuhen am Bildrand auf Personen zu schließen – und diese gut nachzubilden. Qualcomm zeigte uns Photo Expansion auch mit Motiven, die vor Ort im Hotel aufgenommen wurden. Das System scheint im uns gezeigten Stadium alltagstauglich zu sein.
KI bekommt Details nicht immer hin
Allerdings darf man mitunter nicht so genau hinsehen: Bei näherer Betrachtung erinnern uns die hinzugefügten Teile etwas an die Ergebnisse von KI-Bildgeneratoren von vor circa acht, neun Monaten. Auf den uns gezeigten Bildern sehen Füße mitunter unförmig aus, teilweise gibt es im Hintergrund weitere Ungenauigkeiten. Das Modell von Tetras.AI liefert aktuell zwar vor allem auch durch die Schnelligkeit beeindruckende Ergebnisse, druckreif sind sie aber nicht immer.
Die Zeit, die für die KI-Bearbeitung notwendig ist, gibt die von Qualcomm verwendete App im Millisekundenbereich an. Unser Eindruck war allerdings, dass die Fertigstellung etwa zwei bis drei Sekunden dauert – was wir immer noch alltagstauglich finden. Qualcomm zufolge passt das KI-Modell von Tetras.AI problemlos auf ein Smartphone; sollten zusätzliche Inhalte erforderlich sein, könnten diese aber aus der Cloud besorgt werden. Die Berechnung der uns gezeigten Demos fand ausschließlich auf den Smartphones statt.
Dass Nutzer eine Funktion wie Photo Expansion im Alltag ohne große Wartezeiten verwenden können, liegt an der stark verbesserten KI-Leistung des Snapdragon 8 Gen 3. Die KI-Engine des SoCs ist Qualcomms erste, die multimodale KI-Modelle unterstützt, inklusive LLMs wie 7B Llama 2, das bis zu 20 Token pro Sekunde laufen lassen kann, sowie bilderstellende Modelle wie Stable Diffusion.
Qualcomm hat die NPU des Snapdragon 8 Gen 3 stark verbessert
Die NPU ist in der Lage, mittels Stable Diffusion Bilder in unter einer Sekunde auf dem Gerät zu erzeugen. Dabei ist die Hexagon-NPU um bis zu 40 Prozent effizienter als die des Snapdragon 8 Gen 2. Erreicht wird die höhere Leistungsfähigkeit unter anderem durch die Erhöhung der Taktrate des Vector-Accelerators sowie ein grundsätzliches, neues Design des Chipsets, das die NPU besser als zuvor in das Gesamtsystem integriert und beispielsweise Vorab-Berechnungen auf die CPU-Kerne auslagert.
Zu den weiteren KI-Kamerafunktionen des Snapdragon 8 Gen 3 gehören unter anderem der Video Magic Eraser, mit dem Inhalte aus Videos entfernt werden können. Auch Nachtaufnahmen sollen mittels KI optimiert werden. Die mit dem Snapdragon 8 Gen 2 eingeführte KI-Objekterkennung und separate Optimierung in Echtzeit wurde beim Snapdragon 8 Gen 3 erweitert: Nun werden zwölf Ebenen erkannt und vor der Aufnahme optimiert.
Die Photo-Expansion-Demo wurde uns auf Smartphones mit einer speziellen App gezeigt. In der finalen Form wird die Funktion allerdings im Bearbeitungsmodus der Galerie-App eingebaut sein. Inwieweit Smartphone-OEMs die Funktion auf ihren Geräten verwenden werden, hängt von den Herstellern selbst ab.
Aktuell sehen wir sie aufgrund der nicht immer realistischen Ergänzungen eher als Spielerei an – betrachtet man aber, wie schnell sich andere KI-Bildgeneratoren in den vergangenen Monaten entwickelt haben, könnte Photo Expansion bald ein interessantes Bearbeitungswerkzeug sein.
Bildbearbeitung oder Manipulation?
Wie bei einigen von Googles neuen KI-Bildbearbeitungsfunktionen auf dem Pixel 8 Pro darf aber auch hier die Frage gestellt werden, ob es sich bei Photo Expansion noch um eine Bearbeitung oder bereits eine Manipulation handelt. Genauso wie bei Google gilt aber auch hier: Wem die Funktion zu weit geht, braucht sie nicht zu verwenden.
Offenlegung: Golem.de hat auf Einladung von Qualcomm hin am Snapdragon Summit auf Maui teilgenommen, die Reise- und Hotelkosten wurden anteilig von Qualcomm übernommen. Unsere Berichterstattung ist davon nicht beeinflusst und bleibt gewohnt neutral und kritisch. Der Artikel ist, wie alle anderen auf unserem Portal, unabhängig verfasst und unterliegt keinerlei Vorgaben seitens Dritter.