Chatbot van Reddit raadt heroïne aan bij pijn — opnieuw falend AI-advies

In een alarmerend voorbeeld van hoe artificiële intelligentie (AI) buiten de lijntjes kan kleuren, heeft het conversatie-hulpmiddel van Reddit gebruikers met pijnklachten aangeraden om heroïne te proberen. Deze bizarre aanbeveling werd ontdekt in een medische subreddit en zet opnieuw vraagtekens bij de betrouwbaarheid van chatbots voor gezondheidsadvies.

Wanneer ging het mis?

Het begon toen een gebruiker opmerkte dat, in een thread op de subreddit r/FamilyMedicine, de functie “Related Answers” van Reddit’s AI-systeem – genoemd Reddit Answers – werd weergegeven. Deze functie suggereerde een antwoord met de titel “Approaches to pain management without opioids” waarin gebruikers werden geadviseerd om kratom en zelfs heroïne te proberen.

Kratom is een kruidenextract afkomstig van de bladeren van de boom Mitragyna speciosa. Hoewel het in de VS niet nationaal als gecontroleerde stof geldt, waarschuwt de FDA voor “serious adverse events, including liver toxicity, seizures, and substance use disorder”.

Waarom is dit zorgwekkend?

1. Ongecontroleerd medisch advies: Een chatbot die letterlijk heroïne aanbeveelt: dat is niets minder dan licht ontvlambaar in een gezondheidscontext. Het illustreert hoe AI-systemen, zelfs wanneer getraind op grote plaatjes, fatale fouten kunnen maken.
2. Gebrek aan menselijke tussenkomst: De gebruiker die de suggestie zag, merkte op dat moderators geen optie hadden om dit AI-advies uit te schakelen of te corrigeren. Het systeem leek rechtstreeks advies te geven zonder adequate toezichtmechanismen. 
3. Implicaties voor geloofwaardigheid: Voor platforms zoals Reddit, die gezien worden als community-forums, ondermijnt dit soort incident het vertrouwen in AI-ondersteunde functies. Als een zogenaamd intelligente assistent zulke extreme suggesties doet, roept dat vragen op over algorithmetraining, dataset-bias en veiligheidsprotocollen.

Wat zegt Reddit?

Tot op heden is er geen uitgebreide publieke reactie van Reddit zelf over het incident. Het ligt in de lijn der verwachtingen dat het platform intern zal onderzoeken hoe het AI-advies is gegenereerd en waarom er geen “ander filter” actief was voordat het werd getoond.

Wat kunnen gebruikers en moderators doen?

• Voor gebruikers: Wees kritisch wanneer u via forums of chatbots medisch advies krijgt. Een AI is geen vervanging voor een arts of gekwalificeerde zorgverlener.
• Voor moderators en platformbeheerders: Zorg voor mechanismen waarbij AI- gegenereerde adviezen worden gescreend, vooral in gevoelige subreddits waarin gezondheid of medicatie aan bod komt.
• Voor ontwikkelaars van AI-systemen: Dit incident benadrukt de noodzaak van strengere controles, audit-trajecten en failsafes — zeker wanneer het systeem zich begeeft op medische of therapeutische terreinen.

Wat begon als een ogenschijnlijk onschuldige suggestie middels Reddit’s AI-tool, mondde uit in het schokkende advies om heroïne te gaan gebruiken bij pijnklachten. Het incident herinnert aan de grenzen van AI-advies binnen gezondheidsdomeinen — en aan de verantwoordelijkheid die boekdelen spreekt voor ontwikkelaars, platforms én gebruikers. AI kan krachtig zijn, maar zonder juiste safeguards is het ook kwetsbaar voor misleiding of gevaarlijk advies.