Wie weleens met een virtuele assistent praat, kent het gevoel van een walkietalkie: u zegt iets, wacht tot de software uw spraak naar tekst omzet, laat het taalmodel een antwoord genereren en luistert vervolgens naar de gegenereerde stem. Google-ontwikkelaar Annie Wang laat zien dat dit anders kan. Door gebruik te maken van het Agent Development Kit (ADK) en de Gemini Live API ontstaat een spraak-AI waar men direct, zonder vertraging en zelfs tussentijds doorheen kan praten.
De architectuur: Eén open verbinding voor continue audio
De sleutel tot een natuurlijk spraakgesprek ligt in het vervangen van de losse stappen door één continue verbinding. Via een WebSocket tussen de browser, de backend en de Gemini Live API stroomt audio direct in twee richtingen tegelijk.
Om te zorgen dat inkomende en uitgaande geluidsstromen elkaar niet blokkeren, gebruikt de architectuur een zogeheten LiveRequestQueue. Dit mechanisme werkt als een lopende band: audiostukjes van de microfoon worden direct doorgestuurd, zelfs wanneer er stilte valt. Hierdoor weet het systeem exact wanneer de gebruiker pauzeert of de AI juist onderbreekt.
De bouwstenen van Google ADK
Het opzetten van een dergelijke spraak-agent leunt binnen het ADK op drie belangrijke elementen:
- De Agent: Definieert het gebruikte model, de persoonlijkheid en de beschikbare hulpmiddelen.
- De Runner: De motor die het daadwerkelijke livegesprek uitvoert en de audio-interactie beheert.
- De Session: Houdt de live gesprekscontext direct in het geheugen (in-memory) bij voor een zo laag mogelijke vertraging.
Veelgemaakte fouten bij real-time audio
In de praktijk maken ontwikkelaars vaak twee denkfouten. Ten eerste het verschil tussen send_realtime() voor continue microfoonstreams en send_content() voor afgeronde invoer. Ten tweede het stoppen met het verzenden van audio als de gebruiker zwijgt; het blijven doorsturen van 'stilte' is voor het model juist essentieel om te bepalen wanneer het mag reageren.
Met deze opzet legt Google de basis voor de volgende generatie AI-agenten: systemen die niet alleen luisteren en spreken, maar op termijn ook direct acties kunnen uitvoeren tijdens het gesprek.
