Duizend AI-agents lopen een marathon, maar bijna geen van hen neemt contact op met het Large Language Model (LLM). Het klinkt als een paradox, maar in de nieuwste deep dive van Hands on AI laat Casey West zien dat dit de toekomst is van efficiënte AI-architectuur. Samen met Annie Wang ontleent hij de blauwdruk achter 'Race Condition': een systeem van 1.000 agents gebouwd op Google’s Agent Development Kit (ADK).
De centrale vraag waar elke AI-engineer vandaag de dag mee worstelt is even simpel als cruciaal: wanneer laat je een LLM de beslissing nemen, en wanneer schrijf je gewoon harde code?
De Marathon-Paradox: Waarom Google Maps faalt
Het plannen van een marathonroute lijkt een perfecte taak voor een slimme AI, maar schijn bedriegt. Traditionele routetools zoals Google Maps zijn niet ontworpen voor de complexe, NP-harde logica die komt kijken bij het uitzetten van een hardloopevenement van ruim 42 kilometer.
Als een LLM dit probeert op te lossen, schiet het tokenverbruik door het dak en liggen hallucinaties op de loer. De oplossing? AI Studio wordt puur gebruikt om het juiste algoritme te kiezen, waarna een deterministisch 'Spine & Sprout'-algoritme het zware rekenwerk overneemt. De AI beslist, maar de code runt.
De snelweg vóór het model: De before_model_callback
Hoe laat je een agent functioneren zonder de achterliggende AI-intelligentie continu te belasten? West onthult een slimme architectonische truc: de before_model_callback.
Door deze callback te gebruiken, behoud je de structuur en de context van de agent, maar sla je de daadwerkelijke aanroep naar het model over wanneer dat niet nodig is. Dit maakt het mogelijk om 1.000 'autopilot' hardlopers gelijktijdig te simuleren, die samen exact nul LLM-calls maken. Dit bespaart niet alleen gigantisch veel tokens, maar optimaliseert ook de responstijd drastisch.
Schalen in de praktijk: Redis en stateless sessies
Het runnen van duizend agents brengt een tweede uitdaging met zich mee: infrastructuur en kosten. Naast het tokenbeheer moeten al deze sessies ergens live worden gehouden. In de video wordt uitgelegd hoe het team dit oplost door gebruik te maken van stateless sessies die worden beheerd via Redis en Google Cloud Memory Store.
Gecombineerd met het Agent2Agent (A2A) Protocol en de Agent Runtime, laat deze showcase zien dat schaalbare multi-agent systemen niet synoniem hoeven te zijn met onbetaalbare API-rekeningen.
