OpenAI Dall-E: GPT-3-Variante wandelt Text in Bilder um

Die Software kann diverse Motive in verschiedenen Anordnungen und Renderstilen erstellen. Dazu braucht es Texteingaben.

Artikel veröffentlicht am ,
Dall-E wandelt Texte in Bilder um.
Dall-E wandelt Texte in Bilder um. (Bild: OpenAI)

Das Team von OpenAI hat eine neue Version von GPT-3 entwickelt. Das KI-System Dall-E kann Wörter und Sätze in Bilder umwandeln. Das geschieht mithilfe von 12 Milliarden Parametern, die dem System zur Verfügung stehen. Dall-E kann so etwa Tiere, geometrische Formen, Gegenstände und andere Objekte zeichnen. Auch scheint es möglich zu sein, einen bestimmten Renderstil zu definieren. Einige Beispiele zeigen etwa fotorealistische Ansätze, während andere abstrakte Pixel- und Voxelart darstellen.

Stellenmarkt
  1. VBA-Entwickler und IDV-Koordinator (m/w/d)
    L-Bank, Karlsruhe
  2. Sales Consultant (m/w/d)
    M-net Telekommunikations GmbH, München, Augsburg
Detailsuche

Um Bilder zu erstellen, verwendet das KI-Programm vorgegebene Sätze. Diese beschreiben die Argumente des Bildes: etwa Objekte, deren Farbe, Aussehen und Form sowie die Positionen von Elementen zueinander. Der Satz "Eine pentagonale grüne Uhr" gibt so etwa einen fünfeckigen Wecker mit Analogziffernblatt aus. Auch komplexere Anweisungen sind möglich, etwa: "Ein Stapel aus drei Würfeln. Ein roter Würfel ist oben und liegt auf einem grünen Würfel. Der grüne Würfel ist in der Mitte und liegt auf einem blauen Würfel. Der blaue Würfel ist ganz unten."

Anhand dieser Anweisung generiert das System diverse Ergebnisse, die sich teils unterscheiden. Die Software hat also Raum zur Interpretation. So wurde etwa in einigen Beispielen ein Turm aus mehr als drei Würfeln generiert. In anderen wurde eine Pyramide aus Würfeln gestapelt. In wieder anderen Bildern ist ein komplett falsches Ergebnis zu sehen.

Die KI ist nicht perfekt

OpenAI gibt, wie schon bei GPT-3, einmal mehr auch die Fehler des Programms zu. So kann es etwa Formen und Farben erkennen, hat aber bei den Positionen von Objekten zueinander Probleme, etwa wenn ein Gegenstand hinter einem anderen generiert werden soll. Auch sind komplexere Anweisungen und zu verschachtelte Sätze ein Problem für die KI, wodurch Zusammenhänge falsch oder gar nicht erkannt werden.

Interessant ist aber, dass Dall-E diverse eigentlich nicht zusammenhängende Konzepte zu Bildern zusammenführen kann. "Eine Schnecke mit der Oberfläche einer Harfe" ergibt etwa tatsächlich eine Fotomontage aus dem Musikinstrument und dem Kriechtier. Auch kann die KI Bilder in verschiedenen Stilen parallel rendern - etwa als fotorealistisches Abbild und als Skizze zugleich.

"Dall-E ist ein simpler decoderbegrenzter Umwandler, der sowohl Text als auch Bilder in einem einzelnen Strom aus 1.280 Tokens erhält - 256 für den Text und 1.024 für das Bild", beschreibt OpenAI das Programm. Zu einem späteren Zeitpunkt will das Unternehmen eine detaillierte Abhandlung verfassen, die die Funktionsweise genauer beschreibt.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Screenshots zeigen neue Oberfläche
Windows 11 geleakt

Durch einen Leak der ISO von Microsofts Betriebssystem Windows 11 sind Details der Benutzeroberfläche inklusive des Startmenüs bekannt geworden.

Screenshots zeigen neue Oberfläche: Windows 11 geleakt
Artikel
  1. Suchmaschinen: Huawei könnte bei Google-Konkurrent Qwant einsteigen
    Suchmaschinen
    Huawei könnte bei Google-Konkurrent Qwant einsteigen

    Die französische Suchmaschine Qwant macht weiterhin mehr Verluste als Umsatz. Das Geld von Huawei kann sie daher dringend gebrauchen.

  2. Mikromobilität: Im Rhein liegen Hunderte E-Scooter
    Mikromobilität
    Im Rhein liegen Hunderte E-Scooter

    Sie aus dem Wasser holen zu lassen ist zumindest einem Vermieter der E-Scooter zu teuer.

  3. Elon Musk: Tesla-Chef verkauft sein letztes Haus in Kalifornien
    Elon Musk
    Tesla-Chef verkauft sein letztes Haus in Kalifornien

    Seit Mitte 2020 trennt sich Elon Musk nach und nach von seinen Immobilien. Nun verkauft er sein letztes Anwesen - eine Villa in Kalifornien.

FlashBFE 08. Jan 2021

Nimmt man nur Notiz, wenn man etwas kommentiert? Klar kann man schreiben, wie toll und...


Folgen Sie uns
       


  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Schnäppchen • Crucial MX500 500GB 48,99€ • Amazon-Geräte günstiger • WD Black SN850 500GB PCIe 4.0 89€ • Apple iPhone 12 mini 64GB Rot 589€ • Far Cry 6 + Steelbook PS5 69,99€ • E3-Aktion: Xbox-Spiele bei MM günstiger • Amazon Music Ultd. 6 Mon. gratis bei Kauf eines Echo Dot (4. Gen.) [Werbung]
    •  /