Met de lancering van 'Evals' introduceert Relevance AI een krachtig bewakings- en testsysteem. Het doel? Voorkomen dat AI-agenten ontsporen, kosten uit de hand lopen en fouten bij de klant belanden.
Wanneer een bedrijf een AI-agent uitrolt naar de praktijk, begint het echte werk pas. In het begin lijken de resultaten bemoedigend, maar al snel kunnen er onvoorziene problemen optreden. Prompts raken verouderd, zeldzame randgevallen (edge cases) duiken op en schijnbaar kleine misstappen kunnen snel uitgroeien tot grote risico's voor de klandizie of onverwacht hoge facturen.
Om dit hardnekkige probleem in de AI-sector aan te pakken, introduceert Relevance AI een nieuw systeem genaamd Evals. Dit platform is specifiek ontworpen voor het continu testen, verbeteren en monitoren van de prestaties van individuele AI-agenten én complete digitale teams.
Kwaliteitscontroles in gewoon Nederlands
In een uitgebreide demonstratie laat Nick Dadar van Relevance AI zien hoe het systeem in de praktijk werkt. Eén van de meest opvallende vernieuwingen is de drempelloze aanpak: ontwikkelaars en managers hoeven geen ingewikkelde code te schrijven om kwaliteitscontroles in te stellen. Deze kunnen simpelweg in alledaags Nederlands (of Engels) worden geformuleerd.
Door het opzetten van gestructureerde testsuites worden agenten grondig aan de tand gefolterd voordat ze écht in contact komen met gebruikers. Wanneer een agent faalt op een specifieke taak, biedt Evals de mogelijkheid om diep in te zoomen op de oorzaak, zodat prompts gericht en efficiënt bijgeschaafd kunnen worden.
Streng aan de poort: Geen updates zonder goedkeuring
Een cruciaal onderdeel van de filosofie achter Evals is het instellen van zogenaamde quality gates. Veranderingen of updates in het gedrag van een AI-agent worden niet zomaar live gezet. Evals fungeert als een digitale uitsmijter: pas wanneer een aanpassing alle geautomatiseerde tests succesvol doorloopt, krijgt de update groen licht voor de productieomgeving.
Daarnaast stopt de controle niet zodra de software live staat. Het platform blijft de prestaties en de bijbehorende operationele kosten op de lange termijn nauwlettend volgen.
De balans tussen kwaliteit en kosten
Een van de grootste uitdagingen voor bedrijven die AI op schaal inzetten, is het vinden van de juiste balans tussen rekenkracht en budget. Niet elke taak vereist immers het duurste of meest geavanceerde taalmodel. Met Evals kunnen organisaties verschillende modelconfiguraties direct met elkaar vergelijken. Hierdoor ontdekken teams exact welk model de optimale verhouding biedt tussen hoge kwaliteit en acceptabele kosten.
Met de introductie van Evals zet Relevance AI een duidelijke stap richting een volwassen, betrouwbare en controleerbare inzet van kunstmatige intelligentie in het bedrijfsleven.
