Runway bouwt met GWM Worlds 2 aan digitale werelden die nooit hoeven te stoppen
Generatieve AI leerde eerst teksten schrijven en beelden maken. Daarna volgden video's, stemmen en muziek. Runway zet nu een volgende stap: niet langer alleen een scène genereren die iemand passief bekijkt, maar een digitale wereld creëren waarin diezelfde persoon zich kan bewegen, opdrachten kan geven en de omgeving voortdurend kan veranderen.
Met GWM Worlds 2 presenteert Runway een nieuw General World Model dat interactieve simulaties in realtime genereert. Het systeem produceert continu video in 720p met 24 beelden per seconde, gecombineerd met audio op 48 kHz. Het opvallendste verschil met klassieke videogeneratie zit echter niet in die technische cijfers. De gegenereerde wereld blijft bestaan en reageren.
Van gegenereerde video naar speelbare wereld
Traditionele AI-videomodellen vertrekken doorgaans van een prompt en produceren vervolgens een clip met een vooraf bepaalde lengte. Zodra de video klaar is, houdt de simulatie op.
GWM Worlds 2 probeert dat principe om te draaien.
De gebruiker beschrijft eerst de wereld die moet ontstaan. Daarbij kunnen onder meer de omgeving, personages of andere onderwerpen, de visuele stijl, fysieke regels en algemene sfeer worden bepaald. Het model bouwt vervolgens een audiovisuele omgeving waarin de gebruiker verder kan handelen.
Daardoor wordt een prompt niet langer uitsluitend een opdracht om content te produceren. Hij wordt als het ware een toegangspoort tot een digitale wereld.
|
Runway Research | Introducing GWM Worlds 2GWM Worlds 2 generates interactive worlds in real time — continuous 720p video at 24 fps and audio at 48,000 Hz, responding to your inputs as you explore. |
De gebruiker krijgt controle over wat er gebeurt
Eenmaal in zo'n gegenereerde omgeving kunnen nieuwe tekstinstructies worden gegeven. Die opdrachten kunnen gericht zijn aan een specifiek personage of object, maar evengoed aan de volledige scène.
Tegelijk kan de camera voortdurend worden bewogen.
Iemand zou bijvoorbeeld een virtueel personage kunnen vragen naar een gebouw te lopen, vervolgens het weer laten veranderen en daarna de camera achter dat personage laten bewegen. De technologie probeert telkens verder te bouwen op de bestaande toestand van de wereld.
Dat laatste is essentieel. Het systeem hoeft niet na iedere instructie opnieuw vanaf nul te beginnen.
Geen clip van tien seconden, maar een doorlopende ervaring
Daarmee probeert Runway een van de klassieke beperkingen van generatieve video te doorbreken: de vaste speelduur.
GWM Worlds 2 genereert volgens het bedrijf geen vooraf vastgelegd filmpje of script. De wereld gaat verder vanaf de toestand die door de vorige acties is ontstaan. Een sessie heeft daardoor in principe geen vooraf bepaalde lengte.
Dat maakt het concept veel interessanter dan een gewone videogenerator.
De technologie begint meer te lijken op een soort generatieve game-engine waarbij beelden, geluid en gebeurtenissen tijdens de ervaring zelf ontstaan. In plaats van iedere mogelijke situatie vooraf te ontwerpen, kan AI nieuwe situaties produceren terwijl iemand ermee interageert.
Digitale werelden met hun eigen regels
Ook de mogelijkheid om fysieke regels te definiëren kan belangrijke gevolgen hebben.
Een gegenereerde wereld hoeft immers niet noodzakelijk dezelfde wetten te volgen als de werkelijkheid. Ontwerpers zouden omgevingen kunnen creëren met andere vormen van zwaartekracht, afwijkend gedrag van objecten of volledig fictieve ecosystemen.
Dat opent creatieve mogelijkheden voor games en entertainment, maar ook voor simulaties.
Een architect zou bijvoorbeeld door een nog niet bestaande omgeving kunnen bewegen. Een filmmaker zou scènes kunnen verkennen voordat er ook maar één echte camera wordt opgesteld. Een gameontwikkelaar zou een conceptwereld kunnen testen zonder eerst alle animaties en interacties afzonderlijk te programmeren.
De grens tussen ontwerpen en ervaren wordt daardoor kleiner.
Virtuele personages kunnen een eigen omgeving krijgen
Runway ziet bovendien mogelijkheden voor virtuele personages.
De huidige generatie AI-personages bestaat vaak uit een taalmodel, een stem en eventueel een avatar. Hun omgeving is meestal grotendeels statisch of vooraf ontworpen.
Een world model kan daar verandering in brengen.
Een virtueel personage zou zich in een dynamische wereld kunnen bevinden die voortdurend verandert op basis van gesprekken en gebeurtenissen. Wanneer iemand vraagt om naar buiten te gaan, moet niet noodzakelijk vooraf een volledige buitenwereld zijn gebouwd. Het model zou die omgeving tijdens de interactie kunnen voortzetten.
Dat kan digitale personages een veel sterker gevoel van aanwezigheid geven.
Ook robotica kan profiteren
De technologie is niet alleen interessant voor entertainment. Runway noemt ook robotica en simulaties voor embodied agents als mogelijke toepassingen.
Robots en autonome AI-systemen moeten leren omgaan met een fysieke wereld waarin onverwachte situaties voortdurend voorkomen. Training uitsluitend met echte robots is duur, traag en soms gevaarlijk.
Gegenereerde werelden kunnen daarvoor een alternatief bieden.
Een robot zou bijvoorbeeld duizenden virtuele situaties kunnen meemaken: een voorwerp dat plots valt, een deur die halfopen staat, iemand die onverwacht het pad kruist of een ruimte waarvan de indeling verandert.
Wanneer dergelijke situaties geloofwaardig kunnen worden gesimuleerd, ontstaat een bijna onbeperkte digitale trainingsomgeving.
World models worden een nieuw strijdtoneel voor AI
GWM Worlds 2 illustreert daarmee een bredere ontwikkeling binnen artificiële intelligentie. AI-modellen leren niet alleen patronen in taal, beelden en video herkennen, maar proberen steeds nadrukkelijker te modelleren hoe een omgeving verandert wanneer er een actie plaatsvindt.
Dat is precies waarom world models zoveel aandacht krijgen. Een systeem dat begrijpt dat een handeling gevolgen heeft voor de volgende toestand van een omgeving, komt dichter bij simulatie dan bij klassieke contentgeneratie.
Runway bouwt GWM Worlds 2 boven op zijn fundamentele audiovisuele generatiemodel. Beeld en geluid worden daardoor niet behandeld als twee volledig afzonderlijke onderdelen, maar als elementen van dezelfde gegenereerde ervaring.
Van contentgenerator naar wereldgenerator
De interessantste verschuiving zit uiteindelijk misschien in de manier waarop mensen met generatieve AI omgaan.
Bij de eerste generatie AI-tools gaf iemand een opdracht en wachtte vervolgens op het resultaat. Bij world models kan die cyclus verdwijnen. De gebruiker geeft een opdracht, ziet de wereld veranderen, reageert daarop en stuurt opnieuw bij.
Generatie wordt interactie.
Dat kan uiteindelijk leiden tot games die tijdens het spelen ontstaan, films waarin kijkers zelf een richting kiezen, digitale personages die werkelijk door een omgeving bewegen en robots die jarenlang virtuele ervaring verzamelen voordat ze een echte fabriekshal binnenrijden.
GWM Worlds 2 is voorlopig vooral een onderzoeksproject, maar het concept laat zien waar generatieve technologie naartoe kan evolueren. De volgende grote stap na AI die tekst, beelden en video's maakt, zou wel eens AI kunnen zijn die complete werelden genereert — en ze levend houdt zolang iemand erin wil blijven.
