Wie vandaag naar een basketbalwedstrijd kijkt, ziet wat de televisieregisseur wil laten zien. Camera’s langs het veld bepalen het perspectief, terwijl herhalingen vanuit een handvol vaste hoeken worden getoond. Maar die manier van sport beleven zou weleens grondig kunnen veranderen. Nieuwe volumetrische videotechnologie moet het mogelijk maken om een wedstrijd volledig in 3D vast te leggen, zodat de kijker uiteindelijk zelf zijn positie kan kiezen.
De NBA experimenteert al met deze technologie. Tijdens de NBA Summer League werd een systeem van Peripheral getest waarmee niet alleen traditionele videobeelden worden opgenomen, maar een digitale driedimensionale versie van de actie wordt opgebouwd. Daardoor ontstaat iets wat veel dichter bij een virtuele reconstructie van de wedstrijd ligt dan bij een klassieke televisie-uitzending.
Van camerastandpunt naar vrij gezichtspunt
Het fundamentele verschil zit in de vrijheid van de kijker. Bij traditionele sportuitzendingen filmt iedere camera het spel vanuit één specifieke positie. Wie thuis kijkt, is afhankelijk van de beelden die de regisseur selecteert.
Volumetrische video probeert dat principe los te laten. Spelers, bewegingen en het speelveld worden als driedimensionale informatie geregistreerd. Zodra die omgeving digitaal is gereconstrueerd, kan er in theorie vanuit vrijwel iedere gewenste positie naar worden gekeken.
Een basketbalfan zou daardoor bijvoorbeeld naast de basket kunnen staan, het spel vanuit de positie van een scheidsrechter kunnen bekijken of tijdens een herhaling rond een spectaculaire dunk kunnen bewegen. De kijker kiest dan niet langer tussen camera één en camera twee, maar bepaalt zelf het virtuele camerastandpunt.
Technologie uit zelfrijdende auto's verhuist naar het stadion
Opvallend is dat een deel van de technologie achter deze ontwikkeling niet uit de televisie-industrie komt. Peripheral kijkt onder meer naar technieken die ontwikkeld werden voor autonome voertuigen.
Zelfrijdende auto's moeten hun omgeving immers voortdurend driedimensionaal interpreteren. Ze moeten begrijpen waar objecten zich bevinden, hoe groot ze zijn en hoe ze bewegen. Een vergelijkbaar probleem ontstaat wanneer een sportwedstrijd digitaal moet worden gereconstrueerd.
In plaats van alleen miljoenen pixels te filmen, moet het systeem begrijpen waar spelers zich in de ruimte bevinden en hoe hun lichaam tijdens een actie beweegt. Verschillende sensoren en camera's leveren daarvoor informatie die vervolgens wordt samengebracht tot één ruimtelijke representatie.
De NBA gebruikt Summer League als proeftuin
Peripheral werd geselecteerd voor NBA Launchpad, het innovatieprogramma waarmee de basketbalorganisatie nieuwe technologieën rond sport onderzoekt. Tijdens de NBA Summer League kreeg het bedrijf de kans zijn volumetrische technologie in een echte wedstrijdomgeving te testen.
Dat is een belangrijke stap. Een demonstratie in een gecontroleerde studio is immers iets anders dan een wedstrijd waarin meerdere spelers tegelijkertijd bewegen, elkaar kruisen en soms gedeeltelijk aan het zicht van camera's worden onttrokken.
Daarbovenop moet het systeem enorme hoeveelheden informatie verwerken. Wanneer sport uiteindelijk live in vrij beweegbaar 3D moet worden aangeboden, moeten opname, reconstructie, verwerking en distributie vrijwel onmiddellijk plaatsvinden.
Apple Vision Pro laat zien waar het naartoe kan gaan
Headsets zoals Apple Vision Pro maken duidelijk waarom dergelijke technologie interessant wordt. Een traditionele televisie blijft uiteindelijk een plat scherm. Een ruimtelijke computer kan de gebruiker daarentegen midden in een driedimensionale omgeving plaatsen.
Daarmee ontstaat een heel andere vorm van sportbeleving. Een supporter hoeft niet noodzakelijk een virtuele stoel op de tribune te krijgen. Het digitale perspectief kan zich op plaatsen bevinden waar in een echt stadion helemaal geen stoel kan staan.
Een wedstrijd zou bijvoorbeeld vanuit de zijlijn bekeken kunnen worden, waarna de gebruiker voor een herhaling naar de basket beweegt. Statistieken, spelersinformatie en andere digitale elementen kunnen tegelijkertijd rond het speelveld verschijnen.
De grens tussen televisie-uitzending, videogame en virtual reality begint daardoor langzaam te vervagen.
Eerst herhalingen, later mogelijk live
De grootste uitdaging is niet noodzakelijk het maken van één indrukwekkende 3D-opname. Het echte doel is om het systeem snel, betrouwbaar en betaalbaar genoeg te maken voor grootschalige sportuitzendingen.
Daarom ligt een gefaseerde ontwikkeling voor de hand. Volumetrische beelden kunnen eerst worden ingezet voor herhalingen en analyses, waarbij er meer tijd beschikbaar is om de driedimensionale scène te reconstrueren. Naarmate computers, netwerken en algoritmen sneller worden, kan de vertraging steeds verder afnemen.
Het uiteindelijke scenario is live sport waarbij iedere kijker zijn eigen virtuele regisseur wordt.
Sport is mogelijk slechts het begin
De technologie heeft bovendien toepassingen die veel verder gaan dan basketbal. Alles wat vandaag met verschillende camera's wordt vastgelegd, zou uiteindelijk als driedimensionale omgeving kunnen worden geregistreerd.
Concerten kunnen vanuit het podium worden bekeken. Bij races kan de kijker zich virtueel langs verschillende punten van het circuit verplaatsen. Een optreden, evenement of zelfs een historische gebeurtenis zou achteraf opnieuw vanuit verschillende perspectieven beleefd kunnen worden.
Daarmee verandert niet alleen de manier waarop beelden worden bekeken, maar ook wat een video eigenlijk is. De klassieke opname bestaat uit een reeks platte beelden die vanuit één gekozen standpunt zijn gemaakt. Volumetrische video probeert in plaats daarvan een digitaal stukje werkelijkheid vast te leggen. De camera registreert dan niet langer uitsluitend wat de kijker moet zien, maar verzamelt voldoende informatie zodat die kijker later zelf kan beslissen waar hij wil staan.
Voor sportuitzendingen zou dat een fundamentele verschuiving betekenen. De vraag is daardoor steeds minder ofsupporters wedstrijden ooit op deze manier zullen bekijken. Interessanter wordt wanneer de technologie goed genoeg is om van een indrukwekkende demonstratie naar een alledaagse live-uitzending te evolueren.
