Microsoft heeft samen met de Arizona State University een virtuele testomgeving gelanceerd — de zogenoemde “Magentic Marketplace” — waarin autonome AI-agenten in simulatie een marktplaats leven: klantenagenten bestellen bijvoorbeeld een maaltijd, terwijl bedrijf-agenten concurreren om die bestelling binnen te halen. Deze gesimuleerde wereld dient als proefopstelling om te ontdekken hoe goed (of hoe gebrekkig) huidige agent-modellen functioneren in real-worldachtige interacties, samenwerking en onderhandeling.
Microsoft built a fake marketplace to test AI agents — they failed in surprising ways | TechCrunchThe research raises new questions about how well AI agents will perform when working unsupervised — and how quickly AI companies can make good on promises of an agentic future. |
Achtergrond: Waarom dit belangrijk is
De opkomst van ‘agentic AI’ – agenten die zelfstandig taken uitvoeren, beslissingen nemen en samenwerken – behoort tot de grote beloften van de huidige AI-golf. Microsoft zag de noodzaak om deze beloften kritisch te toetsen: immers, bedrijven bouwen snel agenten in toepassingen zoals klantenservice, workflowautomatisering en productaanbevelingen. Door een gecontroleerde simulatieomgeving te bieden kunnen zwakke plekken boven water komen vóór de agenten grootschalig worden ingezet.
|
Microsoft Build 2025: The age of AI agents and building the open agentic web - The Official Microsoft BlogTL;DR? Hear the news as an AI-generated audio overview made using Microsoft 365 Copilot. You can read the transcript here. We’ve entered the era of AI agents. Thanks to groundbreaking advancements in reasoning and memory, AI models are now more capable and efficient, and we’re seeing how AI systems can help us all solve... |
Hoe de testomgeving werkt
De Magentic Marketplace is volledig open-source beschikbaar en werd opgezet met 100 klantagenten (customer-side agents) en 300 bedrijfagenten (business-side agents) die in allerlei scenario’s interacteren. Een voorbeeldscenario: een klantagent wil een avondmaaltijd bestellen, diverse virtuele restaurants concurreren om die bestelling, in een setting waar keuzes, onderhandelingen en samenwerking een rol spelen.
Dankzij de open-source aard is de omgeving door derden reproduceerbaar — wat onderzoek door andere groepen bevordert.
Wat de tests aan het licht brachten
De eerste experimenten lieten een aantal opmerkelijke gebreken zien bij krachtige modellen zoals GPT‑4o, GPT‑5 en Gemini 2.5‑Flash. Enkele cruciale bevindingen:
- Keuze-overload (option overload): hoe meer opties een klantagent kreeg voorgeschoteld, hoe minder efficiënt hij werd — simpelweg “verloren” in het keuzeruimte.
- Manipuleerbaarheid: bedrijfagenten konden technieken inzetten om klantagenten te beïnvloeden richting aankoopgedrag.
- Samenwerking (collaboration) bleek problematisch: wanneer meerdere agenten samen moesten werken met een gemeenschappelijk doel, ontstond onduidelijkheid over wie welke rol nam. Alleen met expliciete instructies verbeterde de samenwerking.
Kortom: de agenten zijn verre van ‘plug-and-play’ betrouwbaar in complexe interacties.
Implicaties voor de praktijk
Voor ondernemingen die inzetten op agent-technologie is dit een harde wake-up call. De beloften van volledig autonome assistenten die zonder toezicht workflows afhandelen, moeten met de nodige twijfel worden benaderd. De testomgeving toont aan dat menselijke sturing, beperking van opties, duidelijke rolverdeling en toezicht voorlopig nog onmisbaar zijn.
Daarnaast onderstreept het open-source karakter van het project hoe belangrijk transparantie en reproduceerbaarheid zijn in AI-onderzoek. Microsoft kiest hier niet voor een gesloten black-box, maar stelt de infrastructuur beschikbaar voor bredere toetsing.
Microsoft Launches Magentic Marketplace for AI AgentsMicrosoft Research has just launched an open source environment for studying agentic markets, called Magentic Marketplace. In advance of the release, I spoke to Ece Kamar, Managing Director of the AI Frontiers Lab at Microsoft Research. Kamar’s research group had previously developed AutoGen, an agentic development framework that has become popular with Python developers — especially for building multi-agent AI systems. In part due to that succe… |
De Magentic Marketplace van Microsoft laat zien dat de “agentige” toekomst – vol autonome AI-assistenten – pas in de kinderschoenen staat. Ondanks indrukwekkende technologische vooruitgang blijken krachtige modellen kwetsbaar voor eenvoudiger concepten zoals keuze-overload, manipulatie en gebrek aan rolhelderheid. De hype blijft spannend, maar de praktijk vraagt een dosis realisme. De virtuele markt van Microsoft fungeert daarbij als waardevolle testbank voor wat komen gaat.
