RunwayML, Haiper und Luma Dream Machine: Videoschnipsel aus der KI-Konserve
Nachdem OpenAI im Februar 2024 mit Videoschnipseln des Modells Sora für Aufsehen sorgte, hat es nicht lange gedauert, bis das Rennen um VideoGenAI in vollem Gange war. Allerdings vorerst noch ohne Sora selbst, dessen Parameter laut Unternehmensangaben noch auf Risikominimierung getrimmt werden.
Das erscheint sinnvoll, schließlich hatte OpenAI in diesem Jahr mit einer geklonten Stimme schon genug Ärger.
Der Konkurrenz scheinen solcherlei Bedenken eher fernzuliegen, daher gibt es eine ganze Reihe von Videogeneratoren, die derzeit zur Befüllung sozialer Netzwerke mit generierten Inhalten genutzt werden.
Wir haben uns drei davon angesehen: RunwayML(öffnet im neuen Fenster) , Haiper(öffnet im neuen Fenster) und Luma Dream Machine(öffnet im neuen Fenster) . Sie alle vereint, dass sie nicht lokal, sondern nur in der Cloud laufen.
Darüber hinaus ist nach einer Testphase mit limitierten Funktionen und reduzierter Qualität ein Abo vonnöten. Die Anmeldung erfolgt in allen Fällen per Mail oder über Netzwerke wie Google und ist schnell erledigt. Alle ausprobierten Dienste geben die Filmschnipsel in HD-Auflösung aus, ein nachträgliches Upscaling und eine Bildverbesserung bieten lediglich RunwayML und Haiper.
Bei der Verwendung der generierten Ergebnisse ist bei zwei Diensten eine kommerzielle Nutzung außerhalb des Abos ausgeschlossen - lediglich RunwayML erlaubt auch die Verwertung von Material aus der Testphase - vorausgesetzt, das Wasserzeichen bleibt im Bild. Eine Versicherung gegen Urheberrechtsklagen, wie sie beispielsweise der Stock-Dienst Storyblocks bietet(öffnet im neuen Fenster) , hat keiner der Services.
Wir haben mit mehreren Prompts und Fotovorlagen versucht, Standardszenarien abzubilden: die Animation einer statischen Fotomontage, die Belebung einer Illustration, die Generierung einer Szene mit nur einem Textprompt und die Generierung eines Videos mit einem Foto als Ausgangspunkt.
Der Upload der Vorlagen ist bei allen drei Diensten sehr einfach gelöst, wie auch sonst die Bedienung niemanden vor irgendwelche Hürden stellen sollte. Am einfachsten ist es, in die erscheinende Textbox den Wunsch einzugeben und abzuwarten, was die Generatoren ausspucken.
Dabei ist die Sprache egal, aber die Beschreibung enorm wichtig. Daher bieten RunwayML und Luma auch eine Funktion an, die beim Prompten hilft. Wer so gar keine Idee hat, bekommt bei RunwayML und Haiper auch eine Zufallsoption.
Die Kandidaten im Test
Luma Dream Machine
Unser erster Kandidat Luma Dream Machine hat nahezu keine Einstellungsmöglichkeiten und bietet in der kostenlosen Version 30 Videos pro Monat, die mit einem 10-Dollar-Abo auf 70 erweiterbar sind. Allerdings ist selbst dann eine kommerzielle Nutzung ausgeschlossen - die ist erst ab 30 US-Dollar monatlich enthalten.
Die Generierung per Prompt oder Bildupload ist einfach, danach kann es aber zu recht langen Wartezeiten kommen, bis das HD-Video fertig ist. Für die fünf Sekunden Filmschnipsel saßen wir mitunter eine Minute vor dem Bildschirm, ohne dass dabei der Status angezeigt wurde. So ist eine rapide Ideenfindung nicht möglich.
Das wäre alles verschmerzbar, wenn die Ergebnisse stimmen würden. Tun sie aber leider oft nicht. In der Fotovorlage verschwammen Bewegung und Hände, die grafischen Bilder animierte das Tool ebenfalls eher enttäuschend.
Was Dream Machine hingegen ziemlich gut löste, war unsere Prompt-Aufforderung, einen Pinguin mit Smartphone in einer Studioumgebung ohne Vorbild zu generieren. Das dabei entstandene Video gefiel uns am besten von allen Testkandidaten. Ein weiterer Pluspunkt ist die Loop-Funktion, die es ermöglicht, nahtlose Übergänge zu schaffen und der Verzicht auf feste Seitenverhältnisse.
Haiper
Der zweite Dienst im Test hat ein paar mehr Optionen unter der Prompt-Eingabemaske: Seitenverhältnis, Auflösung, Länge und einen Zufallsknopf bietet Haiper. Die Generierung startet fix und ihr Fortschritt wird in Prozenten angegeben. Trotzdem ist die Dauer inkonsistent: Wir warteten bis zu 30 Sekunden auf unser viersekündiges HD-Video.
Immerhin zehn pro Tag dürfen in der freien Version erstellt werden. Erst ab 30 US-Dollar ist eine kommerzielle Nutzung möglich. Aber schon im 10-Dollar-Abo gibt es keine Mengenbeschränkung und es dürfen fünf Generierungen gleichzeitig laufen. Gerade Letzteres beschleunigt die Ideenfindung enorm.
Qualitativ ist Haiper im Mittelfeld anzusiedeln: So überzeugte es uns bei der Animation von Illustrationen ebenso wie bei der einfachen Belebung der Fotocollage. Videos aus Fotos gelangen hingegen nicht so gut, gerade mit den Händen haderte der Dienst. Die Prompt-Generierung ist wiederum solide, mit etwas Übung können hier gute Ergebnisse erzielt werden. Dabei hilft auch, dass sich bereits bei der Eingabe Stile festlegen lassen.
RunwayML Gen-3 Alpha
RunwayML ist in mehrere Versionen unterteilt: Gen2, Gen3 Alpha und Gen3 Alpha Turbo. Diese zunächst verwirrende Auswahl wird durch die Menge an Optionen, die der Dienst bietet, auf den zweiten Blick auch nicht unbedingt zugänglicher.
Gen2 ist das normale Modell, es erzielte in unserem Test ähnliche Ergebnisse wie die Haiper und Dream Machine. Gen3 ist erst seit kurzer Zeit zugänglich und war schnell unser Favorit. Buchten wir den Zusatz Turbo, erstellte uns RunwayML ein zehnsekündiges Video in lediglich 15 Sekunden. Die Ergebnisse waren gerade bei der Fotovorlage erstaunlich lebensecht. Auch die Hände sahen wesentlich besser aus als bei allen anderen Modellen.
Lediglich bei der Konsistenz gibt es weiterhin Probleme: So verwandelte sich das Gesicht über die Zeit hinweg und auch die Kleidung blieb nicht gleich. Trotzdem fanden wir RunwayML Gen3 mit Abstand am besten für die Belebung von Vorlagen. Beim Prompting erschien es uns recht konventionell und solide.
Die Optionsvielfalt kommt einer produktiven Nutzung entgegen. So gibt es Funktionen für Lippen-Synchronizität, Kamerakontrolle, Bildinterpolation, negative Prompts und eine informative Anleitung(öffnet im neuen Fenster) mit animierten Beispielen.
Ebenfalls hilfreich ist die Möglichkeit, kostenlose Vorschauen zu erstellen. So bekommt man einen Eindruck davon, wie sich Änderungen auswirken.
Auch wenn Gen3 Turbo rasend schnell ist, verbraucht es ebenso fix die Credits, die zum Generieren benötigt werden. Die Preisstruktur(öffnet im neuen Fenster) von RunwayML ist dabei etwas unübersichtlich(öffnet im neuen Fenster) . So sind zwar etliche Generierungen in den bei 15 Dollar startenden Abos enthalten, aber gerade die wesentlich besseren Gen3-Videos kosten viele zusätzliche Credits.
Hinzu kommt, dass die kostenlosen Vorschauen mitunter nicht funktionieren und wir mindestens einmal eine Fehlermeldung bei einer Generierung bekamen - immerhin mit der Ergänzung, dass uns die Credits zurückerstattet wurden.
RunwayML mit Gen3 ist zwar derzeit klar der qualitativ beste Dienst - aber auch der teuerste.
Unser Fazit: noch nicht produktionsreif
Ein echter Wow-Effekt stellte sich bei uns nur bei RunwayMLs Modell Gen3 Turbo ein. Die anderen Generatoren sind als Spielzeug ganz nett und dürften auch zur Ideenvisualisierung taugen - sie sind aber komplett ungeeignet, um auch nur ansatzweise produktiv eingesetzt zu werden.
RunwayML Gen3 Turbo ist so viel besser und schneller als die anderen Dienste, dass sie im Vergleich geradezu lächerlich altbacken wirken. Wenn Sora irgendwann einmal erscheint, sollte es lieber gut auf diese Konkurrenz vorbereitet sein.
In der Generierung per Prompt schien uns die Stärke des Tools von Luma zu liegen. Wer also einfach so drauflos tippen möchte, ist mit Dream Machine gut beraten. Allerdings nur viermal pro Tag ohne Abo.
Haiper ist der Preis-Leistungs-Sieger. Schon ab 10 Dollar fällt das Mengenlimit für Generierungen, die Funktionen sind recht umfangreich. Außerdem ist es als einziger Dienst zum Testzeitpunkt auch mobil (iOS ab 15.0) nutzbar.
Ein Manko teilen alle Dienste in den unteren Abos und den freien Varianten: Unsere erstellten Inhalte bleiben nicht exklusiv uns vorbehalten. Die Kreationen sind allesamt öffentlich einseh- und herunterladbar. Also ist Vorsicht geboten bei privaten Fotos als Vorlage.
Die Anbieter verbessern ihre Software kontinuierlich, so ist das Gen3-Modell von RunwayML erst seit kurzem verfügbar und Luma hat Version 1.5 seines Modells angekündigt. Es lohnt sich also, immer mal vorbeizuschauen und erneut herumzuprobieren - man muss ja nicht gleich ein Abo abschließen.