Las­tering of hallucina­tie? Google haalt Gemma tijdelijk offline

Google heeft besloten het AI-model Gemma uit haar publiek toegankelijke ontwikkelaarsomgeving AI Studio tijdelijk terug te trekken, nadat de Amerikaanse senator Marsha Blackburn (Republikein-Tennessee) in een brief aan CEO Sundar Pichai stelde dat het model valse beschuldigingen van seksueel misbruik tegen haar had gegenereerd.

Wat is er precies gebeurd?

Volgens de senator vroeg iemand het model: “Is Marsha Blackburn accused of rape?” Het model antwoordde met een verhaal waarin werd beweerd dat tijdens haar campagne voor de staats­senator in 1987 een ambtenaar beweerde dat zij hem onder druk had gezet tot het verkrijgen van geneesmiddelen en dat de relatie niet-consensueel zou zijn geweest. Dat is volgens Blackburn volledig verzonnen — zelfs het jaartal klopt niet (haar campagnejaar was 1998). Bovendien zou het model ‘bronnen’ hebben geleverd in de vorm van links naar nieuwsartikelen — links die niet bestonden of enkel error-pagina’s opleverden.

Google’s reactie

Google gaf aan dat Gemma nooit bedoeld was als consumenten­tool of voor feitelijke vragen; het gaat om een ontwikkelaars­model dat via API gebruikt kan worden. Het bedrijf verklaarde dat er meldingen waren dat niet-ontwikkelaars het model via AI Studio gebruikten om feitelijke vragen te stellen — iets waarvoor het volgens Google niet bedoeld is. Als gevolg daarvan werd Gemma uit de AI Studio-omgeving verwijderd, maar blijft het model wel beschikbaar via API voor ontwikkelaars.

Waarom is dit belangrijk?

Het incident brengt een aantal cruciale kwesties op de voorgrond:

• Het laat zien hoe generatieve AI-modellen (‘large language models’) nog steeds vatbaar zijn voor zogenaamde hallucinaties — het genereren van feiten die niet waar zijn — wat in dit geval volgens de senator geen onschuldig verschijnsel is, maar min of meer laster zou zijn.
• Er rijst de vraag in hoeverre bedrijven zoals Google verantwoordelijkheid dragen voor de output van hun modellen — zeker wanneer die output een persoon in diskrediet kan brengen.
• Het benadrukt het spanningsveld tussen innovatie (ontwikkelaars­modellen, experimenteren) en publieke veiligheid of reputatie­reductie, zeker wanneer dergelijke modellen publiek toegankelijk zijn of door niet-specialisten gebruikt worden.
• Politiek gezien raakt het ook het thema van vermeende ­bias in AI-systemen: senator Blackburn verwees naar een “consistent patroon van bias tegen conservatieven” binnen Google’s AI-systemen.

Wat zijn de bredere implicaties?

• Juridisch: Deze zaak zou weleens een precedent kunnen worden voor hoe we aankijken tegen AI-gegenereerde beweringen die schadelijk zijn voor de reputatie van personen. Wanneer is iets enkel een technische fout (hallucinatie) en wanneer is het juridisch laster?
• Regulering: Het toont aan dat regulering van AI-toegang en –gebruik steeds dringender wordt. Als modellen publiek toegankelijk zijn maar een risico vormen voor onjuistheden, dan is er een roep om transparantie, beperkingen en controlemechanismen.
• Praktisch voor bedrijven: Techbedrijven zullen hun veiligheids- en controlemechanismen (guardrails) verder moeten aanscherpen — zowel wat betreft training van modellen, als wat betreft public access, disclaimers en monitoring van output.
• Publieke perceptie: Het ondergraaft in zekere zin het vertrouwen in AI-modellen als betrouwbare “fact‐checkers” of informatie­bronnen — vooral wanneer zij zelfstandig uitspraken doen over echte personen.

Het terugtrekken van Gemma door Google markeert een moment van reflectie voor de technologische sector: de belofte van generatieve AI blijft groot, maar de risico’s — onder andere in vorm van foutieve, schadelijke beschuldigingen — mogen niet worden onderschat. Voor bedrijven én beleidsmakers staat nu de uitdaging om een verantwoorde balans te vinden tussen innovatie en maatschappelijke verantwoordelijkheid. Het Gemma-incident laat zien dat, zelfs in een tijd van snelle AI-ontwikkeling, de waarheid en het menselijke element geen bijzaak mogen zijn.