Als AI bronnen verzint: De verborgen impact op academisch vertrouwen

In de schaduw van kennis: een groeiend probleem in academisch onderzoek

In de wereld van academisch onderzoek gebeurde iets wat tot voor kort bijna ondenkbaar leek: citaties — hét fundament van wetenschappelijke betrouwbaarheid — bleken niet te bestaan. Generatieve AI-chatbots, ontworpen om taal te produceren op basis van enorme datasets, zijn steeds vaker verantwoordelijk voor compleet bedachte verwijzingen naar studies, artikelen en tijdschriften — en die worden vervolgens geciteerd in echte wetenschappelijke publicaties. Facebook

Als het er echt uitziet, moet het wel echt zijn — toch?

De uitvinding van een citatie klinkt niet spectaculair, maar het is precies wat deze technologie doet — en dat is problematisch. In plaats van bestaande data te geven, verzinnen sommige modellen academische bronnen die nooit hebben bestaan, compleet met geloofwaardige titels, auteursnamen en tijdschriftvermeldingen. Dat maakt het moeilijk voor lezers én onderzoekers om feiten van fictie te onderscheiden.

AI Is Inventing Academic Papers That Don't Exist -- And They're Being Cited in Real Journals Academic articles from authors using large language model are creating an ecosystem of fake research that threatens human knowledge itself.

De domino-effecten in de wetenschappelijke wereld

Wat begon als incidentele “hallucinaties” van AI — een term die verwijst naar overtuigend klinkende maar onjuiste antwoorden van taalmodellen — lijkt nu een systemisch probleem te worden in de wetenschap. Artikelen waarin deze valse citaties terugkomen duiken op in tijdschriften, preprint-archieven en zelfs peer-reviewed publicaties, waardoor ze een vals gevoel van legitimiteit krijgen. 

Journals are publishing fake citations, too Apropos to my earlier post about the Springer textbook with fake citations, academic journals are seeing a rash of the same thing. What Heiss came to realize in the course of vetting these papers was that AI-generated citations have now infested the world of professional scholarship, too. Each time he ONTDEK MEER

Bibliothecarissen en onderzoekers zijn al uren bezig met het opsporen van deze verzinsels, en in sommige gevallen blijkt dat meer dan 15% van hun tijd besteed wordt aan het checken van bronnen die simpelweg niet bestaan. X (formerly Twitter)

Waarom gebeurt dit?

AI-chatbots zijn niet ontworpen als waarheidsgaranties — ze zijn taalmodellen. Hun algoritmen voorspellen wat plausibel klinkt, aan de hand van welke woorden vaak samen voorkomen in de trainingsdata. Als je zo’n model vraagt om citaties, creëert het vaak precies wat er lijkt op echte wetenschappelijke referenties — maar er is geen echte database achter die verificatie uitvoert.

Dat is geen opzet om te misleiden; het is simpelweg een bijwerking van hoe deze systemen zijn gebouwd. Maar intussen kan dat misleidende output wél gigantische implicaties hebben voor hoe kennis wordt opgebouwd en gedeeld.

De risico’s voor de integriteit van kennis

Wanneer verkeerd geciteerde of volledig verzonnen studies worden opgenomen in echte publicaties, brokkelt het vertrouwen af. Wetenschap bouwt voort op wat eerder is gepubliceerd — als dat fundament onbetrouwbaar wordt, dan is de rest ook kwetsbaar. Experts waarschuwen dat onderzoeksvelden die sterk leunen op literatuurverwijzingen extra risico lopen op een kettingreactie van foutieve data.

Geen paniek, maar wel waakzaamheid

Het goede nieuws? Het besef van het probleem groeit. Universiteiten, uitgevers en zelfs technologiebedrijven zoeken naar manieren om AI-tools minder vatbaar te maken voor dit soort “hallucinaties”, bijvoorbeeld door ze te koppelen aan echte databases of krachtige verificatiesystemen. Dat zou de betrouwbaarheid kunnen vergroten zonder de creativiteit en efficiëntie van AI compleet te verliezen.