Praten met kunstmatige intelligentie zonder merkbare vertraging? Het kan. In een indrukwekkende demonstratie laat een ontwikkelaar zien hoe je vanaf nul een realtime, spraakgestuurde AI-assistent bouwt. Het geheim achter deze supersnelle tech-stack? De kracht van Cloudflare Workers en Durable Objects.
De wereld van AI-ontwikkeling beweegt razendsnel, maar de focus verschuift steeds meer van tekst naar spraak. In een recent gepubliceerde video neemt een tech-expert de kijker mee in het volledige bouwproces van een geavanceerde voice-agent voor de klantenservice van een fictieve webshop. Het resultaat is een vloeiende, interactieve ervaring waarbij de AI niet alleen luistert en praat, maar ook daadwerkelijk acties kan uitvoeren.
Eén WebSocket, eindeloze mogelijkheden
Het concept is even simpel als ingenieus: de gebruiker spreekt in de microfoon, de AI transcribeert de spraak in realtime, raadpleegt een groot taalmodel (LLM) en spreekt het antwoord direct weer uit. Waar dergelijke processen voorheen vaak haperden door trage verbindingen en losse API-aanroepen, lost deze opzet dat probleem op door alles via één enkele WebSocket-verbinding te laten verlopen.
Dankzij deze constante dataverbinding reageert de AI nagenoeg onmiddellijk, wat zorgt voor een natuurlijke gesprekservaring die nauwelijks nog van een echt mens te onderscheiden is.
Slimmer dan alleen praten: AI met gereedschap
De gebouwde klantenservice-assistent doet echter meer dan alleen vriendelijk antwoorden. Het model is uitgerust met zogenaamde tool calls (gereedschapsfuncties). Hierdoor is de AI-agent in staat om tijdens het gesprek live klantinformatie op te zoeken, bestellingen te controleren, retouren te verwerken en de actuele productvoorraad te checken.
Wanneer een klant vraagt waar zijn pakketje blijft, activeert de AI op de achtergrond een script dat de database raadpleegt, om vervolgens vloeiend in audiovorm te antwoorden: "Ik zie dat uw bestelling gisteravond is verzonden."
De technologie onder de motorkap
Om deze realtime prestaties te leveren, is er gekozen voor een hypermoderne en schaalbare tech-stack. Cloudflare vormt de ruggengraat van het project, ondersteund door een aantal slimme bibliotheken:
- @cloudflare/voice SDK: De pijplijn die de spraak-naar-tekst (STT) en tekst-naar-spraak (TTS) koppelingen beheert.
- Cloudflare Workers & Durable Objects: Voor de serverloze logica en het behoud van de live status tijdens de WebSocket-sessie.
- Workers AI: Maakt gebruik van Deepgram Flux voor de spraakherkenning, het Gemma LLM voor het denkwerk, en Deepgram Aura voor de natuurlijke stemweergave.
- Vercel AI SDK: Wordt ingezet voor het genereren van de tekst en het naadloos aanroepen van de externe tools.
- React, Vite & Zod: Aan de voorkant zorgt een strakke interface (met de useVoiceAgent-hook) voor de interactie, terwijl Zod de input van de tools strikt controleert op fouten.
Voor ontwikkelaars die zelf achter de knoppen willen kruipen, is de volledige broncode van de demo openbaar gemaakt op GitHub. Met de uitgebreide documentatie van Cloudflare bij de hand, ligt de drempel om zelf een pratende AI-agent te lanceren lager dan ooit.
