AI-agents verlaten het chatvenster en beginnen écht mee te werken
Met de introductie van “computer use” in OpenAI’s Codex verschuift artificiële intelligentie opnieuw een grens. Waar AI-tools tot nu toe vooral antwoorden gaven in een chatvenster, kan Codex nu actief klikken, typen en navigeren door lokale apps op een Mac… zonder de computer volledig over te nemen.
In een nieuwe video legt Ari Weinstein uit hoe deze technologie de relatie tussen mens en AI-agent fundamenteel verandert. De AI werkt niet langer alleen ín software, maar ook tússen software.
Van code-assistent naar digitale collega
Volgens Weinstein draait “computer use” om één centrale vraag: wat gebeurt er wanneer AI niet alleen begrijpt wat op een scherm staat, maar er ook mee kan interageren?
Codex kan daardoor tegelijkertijd in meerdere applicaties werken. Terwijl een gebruiker verdergaat met zijn eigen taken, kan de AI-agent op de achtergrond bestanden openen, vensters beheren, formulieren invullen of workflows uitvoeren. Denk aan Slack-berichten analyseren, muziek afspelen, snelkoppelingen testen of informatie verzamelen uit verschillende apps tegelijk.
De opvallendste verandering is dat de AI niet langer beperkt blijft tot API’s of vooraf gebouwde integraties. Alles wat zichtbaar en toegankelijk is op het scherm, wordt potentieel bruikbaar voor automatisering.
Waarom deze stap zo belangrijk is
Jarenlang was software-automatisering afhankelijk van koppelingen, scripts en API’s. Applicaties zonder integratie vielen vaak buiten bereik. Met computer use verandert dat paradigma volledig.
Codex gebruikt namelijk niet alleen screenshots om te begrijpen wat er gebeurt. Het systeem leest ook de zogenaamde “accessibility tree” van macOS, een hiërarchische structuur die oorspronkelijk werd ontwikkeld voor toegankelijkheidstoepassingen zoals schermlezers. Daardoor begrijpt de AI veel nauwkeuriger welke knoppen, velden en menu’s zich op het scherm bevinden.
Die aanpak maakt de interactie preciezer dan traditionele computer-use systemen die enkel klikken simuleren op basis van pixels of schermcoördinaten.
Meerdere apps tegelijk, zonder chaos
Een van de meest futuristische elementen in Codex is het gebruik van parallelle cursors. De AI kan in meerdere apps tegelijk werken zonder vensters voortdurend naar de voorgrond te brengen.
Dat betekent dat een gebruiker bijvoorbeeld e-mails kan beantwoorden terwijl Codex op de achtergrond data verzamelt uit Slack, Finder en Safari. Volgens testers voelt het daardoor minder alsof een AI “de controle overneemt” en meer alsof er een stille assistent meewerkt achter de schermen.
Screenshots én context
Een cruciaal onderdeel van de technologie is de combinatie van visuele interpretatie en systeemdata. Codex kijkt niet alleen naar screenshots, maar combineert die met toegankelijkheidsinformatie van macOS.
Daardoor begrijpt het model niet alleen hoe iets eruitziet, maar ook wat een element daadwerkelijk ís. Een knop wordt niet enkel gezien als een vorm op het scherm, maar als een interactief object met betekenis.
Volgens experts is dat één van de redenen waarom Codex momenteel als een van de meest geavanceerde desktop-agents wordt beschouwd.
Veiligheid via app-permissies
Omdat AI nu effectief handelingen kan uitvoeren op een computer, speelt beveiliging een enorme rol. Daarom werkt Codex met app-specifieke permissies.
Gebruikers bepalen expliciet welke applicaties toegankelijk zijn voor de agent. Dat voorkomt dat de AI zomaar overal toegang krijgt en creëert een model waarin controle bij de gebruiker blijft liggen.
Die aanpak doet denken aan hoe smartphones omgaan met camera-, microfoon- en locatiepermissies.
De erfenis van Sky en Workflow
De technologie achter computer use komt niet uit het niets. Verschillende bronnen linken de innovatie aan het voormalige project “Sky”, ontwikkeld door oud-medewerkers van Apple’s legendarische Workflow-team, de basis van wat later Siri Shortcuts werd. OpenAI nam dat team over en bracht de technologie nu onder in Codex.
Dat verklaart waarom de ervaring sterk focust op gebruiksgemak, animaties en een natuurlijke interactie tussen mens en machine.
De toekomst van AI verschuift naar actie
Met computer use zet OpenAI opnieuw een stap richting autonome AI-agents die niet alleen antwoorden formuleren, maar ook taken uitvoeren.
De impact kan enorm zijn voor developers, bedrijven en creatieve professionals. Legacysoftware zonder API’s wordt plots automatiseerbaar. Routinewerk kan op de achtergrond verdwijnen. En AI verschuift van een passieve assistent naar een actieve medewerker.
Waar chatbots ooit vooral informatie leverden, lijken de nieuwste AI-systemen nu klaar om echte digitale handelingen uit te voeren, rechtstreeks op het bureaublad van de gebruiker.
