Het combineren van een live spraakgesprek met geautomatiseerde acties in een webbrowser brengt een uitdagend technisch knelpunt met zich mee: latentie. Als een AI-agent moet wachten tot een webpagina is geladen voordat hij antwoordt, valt er een pijnlijke stilte in de audio-interactie. In een technische toelichting demonstreert Annie Wang van Google Cloud Tech hoe ontwikkelaars dit probleem oplossen met slimme ontwerppatronen, het Chrome DevTools Protocol en de Gemini Live API.
Door trage browseracties op de achtergrond uit te voeren en visuele feedback te verwerken via screenshots, blijft de gesproken conversatie vloeiend en natuurlijk verlopen, terwijl de agent ondertussen ingewikkelde webacties uitvoert.
De 'Screenshot, Reason, Act' cyclus via Chrome DevTools Protocol
Om een AI-agent daadwerkelijk knoppen te laten aanklikken, formulieren te laten invullen of pagina's te laten navigeren, wordt gebruikgemaakt van het Chrome DevTools Protocol (CDP). Met CDP krijgt het taalmodel directe controle over de browser-engine op hetzelfde niveau als een menselijke gebruiker.
De agent werkt via een continue lus van drie stappen:
- Screenshot (Kijken): De agent maakt een momentopname van het huidige scherm om de visuele staat van de pagina te beoordelen.
- Reason (Reneren): Het multimodale AI-model verwerkt de afbeelding en de spraakopdracht van de gebruiker om de vervolgstap te bepalen.
- Act (Handelen): Via CDP-commando's wordt een muisklik, toetsaanslag of navigatie-actie uitgevoerd.
Asynchrone acties versus synchrone leesopdrachten
De sleutel tot een vloeiend gesprek ligt in de classificatie van tools via zogenaamde callbacks. Niet elke browseractie hoeft immers het gesprek te blokkeren:
- Asynchrone acties: Klikken op knoppen of het scrollen door een pagina kunnen op de achtergrond worden uitgevoerd terwijl de AI-agent blijft praten met de gebruiker.
- Synchrone leesopdrachten: Wanneer het model specifieke data van de pagina nodig heeft om een beslissing te nemen (zoals het uitlezen van een prijs of reserveringstijd), wacht de agent synchroon op het resultaat voordat hij spreekt.
Om te voorkomen dat de AI zomaar gevoelige handelingen verricht — zoals een betaling afronden of een account verwijderen — bouwen ontwikkelaars server-side guardrails en expliciete menselijke bevestigingsstappen in. Zo blijft het systeem veilig, controleerbaar en praktisch inzetbaar.
