Bewegend beeld genereren (text-to-video)

Er zijn verschillende tools waarmee je bewegend beeld kunt genereren. De bekendste op dit moment zijn Runway, Pika & Deforum (Stable Diffusion).

Deforum is een extensie van het open source Text-to-Image model Stable Diffusion en genereert video’s zonder zelf ooit een video ‘gezien’ te hebben. Deforum werkt namelijk op basis van het achter elkaar plakken van een reeks met Text-to-Image gegenereerde afbeeldingen. Vervolgens ‘interpoleert’ de AI tussen de afbeeldingen en ontstaat een ‘vloeiende’ video/animatie. Deforum is gratis en kun je ook op je eigen computer of server werkend krijgen. Dit kost wel veel uitzoekwerk dus we raden de versie op Replicate.com aan voor je eerste experimenten. Link: www.replicate.com/deforum

Na Deforum was Runway de eerste grote speler op het gebied van Text-to-Video met een AI-model dat daadwerkelijk op video’s getraind is: Runway Gen 2. Online AI-platforms zoals Runway zijn betaald, mede omdat het veel energie kost om AI-video’s te maken. Wel krijg je bij aanmelden een aantal credits om te starten, wat Runway uitdrukt in het aantal seconden video dat je kan genereren. Zodra deze op zijn ga je betalen per video of een bedrag per maand. Link: www.runwayml.com

Recent alternatief Pika verkeert nog in ‘beta’-fase wat betekent dat je de service voorlopig gratis kunt testen. Net als Runway leert deze online dienst van je gebruik en is het niet altijd duidelijk wat er met je gegenereerde video’s/data gebeurt. Pika werkt net als veel andere AI-tools via communityplatform Discord. Je kan de Pika-bot DM’s (direct messages) sturen als je niet wil dat andere gebruikers je videocreaties zien. Wel is het interessant om via Discord te zien wat er in de openbare kanalen allemaal gemaakt wordt met Text-to-Video.
Link: www.pika.art (klik ‘join beta’, Discord-account nodig).

Tips voor Text-to-Video

Wees concreet met je prompts. Beschrijf heel uitgebreid welke beweging je precies terug wil zien. Alleen ‘Moving’ werkt niet goed: beschrijf wat je wil dat er beweegt en hoe het beweegt.
Image-to-Video: Start met een afbeelding. Dit kan zowel een gegenereerde foto zijn (Runway heeft ook een eigen Text-to-Image tool) of een ‘echte’ foto of digitaal ontwerp.
Stuur de camera. In alle tools kun je instructie meegeven hoe de ‘camera’ moet bewegen, bijv. ‘zoom in’, ‘zoom uit’, ‘beweeg horizontaal’ of ‘beweeg verticaal’.
Alternatief: animeer AI-afbeeldingen handmatig. Vind je Text-to-Video nog te onvolwassen? Je kan natuurlijk ook met Text-to-Image (bijv Stable Diffusion) een reeks afbeeldingen maken en die met After Effects of Premiere handmatig omzetten in een video.
Alternatief: laat alleen gezichten/monden bewegen. Dit kan met D-ID.com en HeyGen.com.