AI-agenten krijgen steeds meer verantwoordelijkheid
AI-agenten evolueren razendsnel. Ze beantwoorden niet langer alleen vragen, maar plannen complexe taken, gebruiken softwaretools, nemen beslissingen en voeren acties uit die niet eenvoudig kunnen worden teruggedraaid. Daarmee verschuift de uitdaging van "kan een AI dit?" naar "weet een AI wanneer het fout dreigt te gaan?"
Tijdens een technische lezing georganiseerd door Cohere Labs presenteerde professor Sharon Li van de University of Wisconsin-Madison een nieuwe wetenschappelijke benadering om precies dat probleem op te lossen. Haar onderzoek richt zich op een fundamentele vraag: kan een AI-agent tijdens een taak zelf herkennen dat hij de controle dreigt te verliezen?
Klassieke betrouwbaarheidstests schieten tekort
De meeste evaluaties van grote taalmodellen zijn gebaseerd op benchmarks en ranglijsten waarbij een model één vraag krijgt en één antwoord produceert. Dat werkt prima voor traditionele chatbots, maar niet voor moderne AI-agenten.
Een agent voert immers vaak tientallen of zelfs honderden opeenvolgende stappen uit. Hij zoekt informatie op, gebruikt externe applicaties, maakt plannen en past die onderweg aan. Eén kleine fout vroeg in het proces kan ervoor zorgen dat de volledige taak mislukt.
Volgens Li ontbreken daardoor goede meetinstrumenten om tijdens zo'n lang proces vast te stellen of een agent nog steeds op koers ligt.
Onzekerheid is een eigenschap, geen zwakte
In de AI-wereld wordt veel onderzoek gedaan naar uncertainty quantification (UQ): technieken waarmee een model kan aangeven hoe zeker het is van zijn antwoorden.
Bij klassieke taalmodellen werkt dat redelijk goed, maar bij agenten wordt het veel ingewikkelder. Hun onzekerheid verandert voortdurend terwijl zij nieuwe informatie verzamelen, hulpmiddelen gebruiken en onverwachte feedback ontvangen.
Daardoor ontstaat een dynamisch proces waarin vertrouwen niet langer één getal is, maar voortdurend moet worden bijgewerkt.
Wanneer weet een AI dat het verdwaald is?
Een van de centrale vragen uit de presentatie was verrassend eenvoudig:
"Weet een AI-agent eigenlijk wanneer hij de verkeerde kant op loopt?"
Juist dat moment blijkt cruciaal. Een agent hoeft niet pas aan het einde van een taak te ontdekken dat alles mislukt is. Idealiter merkt hij al halverwege dat eerdere beslissingen waarschijnlijk tot een verkeerde uitkomst leiden.
Dat maakt het mogelijk om het plan tijdig aan te passen, extra informatie op te vragen of de gebruiker om hulp te vragen.
Een verborgen signaal uit reinforcement learning
Het meest opvallende onderdeel van het onderzoek is dat hiervoor mogelijk geen nieuwe trainingsmethoden nodig zijn.
Sharon Li laat zien dat bestaande reinforcement learning-technieken al een verborgen intern signaal produceren tijdens het trainen van AI-modellen.
Dat signaal noemt zij de progress advantage.
In plaats van alleen te beoordelen of een eindresultaat goed of fout is, meet dit signaal voortdurend hoeveel vooruitgang een agent daadwerkelijk boekt richting zijn doel. Het fungeert als een interne graadmeter die aangeeft of iedere nieuwe stap de agent dichter bij succes brengt of juist verder van het gewenste resultaat verwijdert.
Geen extra labels of menselijke beoordelingen nodig
Een belangrijk voordeel van deze methode is dat zij nauwelijks extra trainingsinspanning vraagt.
Veel bestaande systemen vertrouwen op speciaal getrainde beloningsmodellen of grote hoeveelheden handmatig gelabelde voorbeelden om de kwaliteit van beslissingen te beoordelen.
De progress advantage ontstaat daarentegen automatisch als bijproduct van reinforcement learning. Er zijn geen extra annotaties nodig en er hoeft geen afzonderlijk beloningsmodel te worden ontwikkeld.
Dat maakt de aanpak niet alleen eleganter, maar ook goedkoper en eenvoudiger op grote schaal toe te passen.
Betere prestaties dan bestaande methoden
Tijdens de presentatie werden verschillende experimenten besproken waarin de nieuwe methode werd vergeleken met bestaande technieken.
De resultaten laten zien dat het interne voortgangssignaal beter presteert dan traditionele betrouwbaarheidsmetingen op meerdere gebieden:
- nauwkeuriger inschatten wanneer een agent waarschijnlijk gaat falen;
- betere detectie van onzekerheid tijdens complexe taken;
- effectievere analyse van de oorzaak van fouten;
- sterkere prestaties dan speciaal getrainde reward-modellen.
Volgens Li blijkt een signaal dat al aanwezig is in het leerproces verrassend waardevoller dan veel aanvullende technieken die speciaal voor betrouwbaarheid zijn ontwikkeld.
Nieuwe uitdagingen voor AI-agenten
Ondanks de veelbelovende resultaten zijn er nog belangrijke open onderzoeksvragen.
Zo is nog niet volledig duidelijk welke methode het beste werkt om onzekerheid over meerdere stappen samen te voegen. Ook blijft het lastig om onzekerheid goed te kalibreren wanneer agenten zeer lange opdrachten uitvoeren of samenwerken met andere AI-agenten.
Daarnaast moet worden onderzocht hoe deze aanpak zich gedraagt in praktijksituaties waarin agents zelfstandig software bedienen, bedrijfsprocessen uitvoeren of fysieke robots aansturen.
Betrouwbaarheid wordt de volgende grote AI-doorbraak
De AI-industrie richt zich al jaren op krachtigere modellen, grotere contextvensters en betere redeneervaardigheden. Volgens Sharon Li verschuift de aandacht nu naar een minstens zo belangrijk onderwerp: betrouwbaarheid.
Een intelligente AI-agent hoeft niet alleen goede antwoorden te geven. Hij moet ook kunnen herkennen wanneer hij onvoldoende informatie heeft, wanneer eerdere keuzes verkeerd blijken en wanneer menselijke tussenkomst nodig is.
Juist dat vermogen om de eigen onzekerheid te herkennen kan uitgroeien tot een van de belangrijkste bouwstenen van veilige, autonome AI-systemen. Naarmate AI-agenten steeds vaker zelfstandig werken binnen bedrijven, gezondheidszorg, softwareontwikkeling en robotica, zal zelfinzicht waarschijnlijk net zo belangrijk worden als intelligentie zelf.
