OpenAI hat mit Sora bereits eine überzeugende Video-KI ins Rennen geschickt – diese steht bisher allerdings nur ausgewählten User:innen zur Verfügung. Neue Konkurrenz macht sich das nun zu einem Vorteil: Dream Machine des Startups Lumalabs kann aktuell jeder kostenfrei testen. Warum die Video-KI zum Internet-Hype wurde und wie gut die Ergebnisse wirklich sind, erfährst Du hier.

Was kann die neue Video-KI?

Nur wenige Minuten dauert es, schon ist ein 5-sekündiges Video aus einem Prompt entstanden. Zugegeben, tatsächlich realistisch sehen die Videos bisher selten aus. Doch innerhalb solch kurzer Zeit kostenfrei ein Video mit 120 Frames zu generieren, das dann auch noch weitestgehend das gewünschte Bild wiedergibt, ist eindrucksvoll. Wie das Ergebnis schließlich aussieht, ist natürlich abhängig von Prompt und Input, den man der KI zum Verarbeiten gibt. Der Prompt sollte möglichst eindeutig sein, um ein akkurates Ergebnis zu erhalten. Eingabe- wie Anwendungssprache ist dabei Englisch. Kurze Hauptsätze sind hier die Devise, dann dürfen auch gerne mehrere aneinandergereiht werden. Dass dennoch nicht jedes Detail des Inputs auch im Output zu sehen ist, zeigt unser Beispiel weiter unten. An die Qualität der Beispielvideos auf der Dream Machine Website von Lumalabs kam ebenfalls keines unserer generierten Videos heran.

Neben den Textprompts kann man auch eigene Bilder bei der Video-KI von Lumalabs hochladen, die diese dann animiert. Eigene Tests ergaben, dass die Animation von Einzelpersonen oder einzelnen Tieren auf einem Foto relativ gut funktioniert. Sobald jedoch mehrere zu animierende Personen oder Tiere abgebildet sind, stößt die KI noch an ihre Grenzen.

Grundsätzlich erhält man auch beim Text zu Video Prozess ein Ergebnis, das die Grundzüge des Prompts akkurat wiedergibt. Flüssige Kamerabewegungen und authentische Bewegungen der Charaktere inklusive. Allerdings werden nachstehende Inhalte oder einzelne Worte oft außer Acht gelassen und finden sich nicht im fertigen Video. Ein Beispiel siehst Du nach diesem Absatz. Das Bärenjunge sowie die umgebende Natur und die Jagd auf den Lachs sind akkurat wiedergegeben. Erwachsene Bären allerdings sucht man im Video vergebens.

Prompt: a baby bear sits in a wild river in Canada framed by trees. he is looking somewhat confused. grown bears around him catch salmon traveling up the stream.

Der Vergleich: Dream Machine vs. Sora

Gegenüber Sora punktet Dream Machine vor allem damit, dass es kostenfrei für jeden zugänglich ist. Alle können es testen und das tun die Menschen auch: In den sozialen Medien wird die neue KI vor allem dazu genutzt, bekannte Memes hochzuladen und ihnen durch die Dream Machine neues Leben einzuhauchen – die Ergebnisse daraus gehen bereits viral.

Die Nutzung von Sora ist aktuell nur ausgewählten Menschen erlaubt. Einen direkten Vergleich können wir also nicht durchführen. In der Vorstellung des Tools bei OpenAI jedoch werden bereits einige eindrucksvolle KI-generierte Ergebnisse dargestellt. Wir haben uns einen der dort genutzten Prompts von OpenAI geschnappt und damit ein Video in Dream Machine erstellt. Das Ergebnis siehst Du hier:

Prompt: Several giant wooly mammoths approach treading through a snowy meadow, their long wooly fur lightly blows in the wind as they walk, snow covered trees and dramatic snow capped mountains in the distance, mid afternoon light with wispy clouds and a sun high in the distance creates a warm glow, the low camera view is stunning capturing the large furry mammal with beautiful photography, depth of field.

Die Preismodelle der Luma Dream Machine

Dream Machine ist erst einmal für alle kostenfrei nutzbar, allerdings mit einer Obergrenze. Am Tag dürfen fünf, im Monat bis zu 30 Videos mit der KI generiert werden. Dazu benötigt man lediglich ein Google-Konto, mit dem man sich bei Luma AI anmeldet. Das Unternehmen erhält dafür Informationen über Mailadresse, Name und Profilbild dieses Accounts. Wer mehr Videos generieren möchte, kann auf einen der drei weiteren, kostenpflichtigen Tarife zurückgreifen.

Diese sind gestaffelt in bis zu 120, 400 oder 2.000 Clips pro Monat. Alle bezahlten Tarife geben ihren Abonnent:innen Vorrang bei der Generierung gegenüber den Gratis-User:innen, erlauben die werbliche Nutzung der Ergebnisse und entfernen das Wasserzeichen, welches in den kostenfrei generierten Videos eingebunden ist.

Neben der Dream Machine gibt es von Luma zum Beispiel auch einen KI-Generator für 3D-Modelle namens Genie.

Wie sich die Qualität der generierten Videos entwickelt und ob nicht eines der großen KI-Unternehmen Interesse an dem Programm bekundet, wird sich noch zeigen – doch die rege Nutzung dank der kostenfreien Version hilft Luma dabei, die Dream Machine stetig zu verbessern.

Der Beitrag Dream Machine kreiert KI-Videos für alle in Minuten erschien zuerst auf contentmanager.de.