Anthropic, het Amerikaanse AI-bedrijf achter de Claude-chatbot, zet een nieuwe stap om de manier waarop zijn systemen omgaan met gevoelige en emotioneel beladen gesprekken veiliger en empathischer te maken. In een recent bericht stelt het bedrijf dat gebruikers AI niet alleen voor praktische taken gebruiken, maar soms ook zoeken naar steun in moeilijke momenten — en dat de antwoorden op zulke gesprekken zorgvuldig moeten worden ontworpen.
Protecting the well-being of our usersAnthropic is an AI safety and research company that's working to build reliable, interpretable, and steerable AI systems. |
Empathie met grenzen: Zelfmoord en zelfbeschadiging
Een van de belangrijkste aandachtspunten van Anthropic is hoe Claude reageert op gesprekken over zelfmoordgedachten en zelfbeschadiging. Het bedrijf benadrukt dat Claude geen vervanging is voor professionele hulp of medische zorg, maar de chatbot moet wel gevoelig en respectvol reageren en waar mogelijk gebruikers naar menselijke ondersteuning verwijzen — denk aan hulpverleningslijnen, psychologen of vertrouwde mensen in hun omgeving.
Om dit te bereiken, combineert Anthropic twee methoden:
- Geavanceerde training met reinforcement learning, waarin Claude wordt beoordeeld en beloond voor passende antwoorden op gevoelige vragen.
- Technische productbescherming, waaronder een classifier die gesprekken scant en een banner toont met contactgegevens voor crisis- en hulplijnen wanneer signalen van ernstige nood worden gedetecteerd. Deze hulpbronnen worden onder andere aangeboden via ThroughLine, een wereldwijd netwerk van crisissteun.
Transparantie en training met echte feedback
Anthropic zegt dat het zowel menselijke feedback als eigen zorgvuldig ontworpen gedragspatronen gebruikt om Claude’s reacties te leren sturen. Dat betekent dat experts bepalen wat in deze context als “geschikt” wordt gezien — bijvoorbeeld eerlijke en liefdevolle taal, zonder onrealistische geruststellingen of onjuiste informatie.
Context, evaluatie en uitdagingen
Het bedrijf geeft toe dat het beoordelen van AI-gedrag bij zulke gesprekken een uitdaging is: niet alle bedoelingen zijn meteen duidelijk, en het is moeilijk om te bepalen wat in alle scenario’s gepast is. Daarom voert Anthropic diverse evaluaties uit, van gesimuleerde enkel-bericht-testen tot meer complexe gesprekken, om te begrijpen hoe Claude momenteel reageert.
AI en geestelijke gezondheid in de schijnwerpers
Het bericht van Anthropic komt op een moment dat de bredere AI-industrie onder druk staat om beter om te gaan met mentale-gezondheidsrisico’s tijdens AI-interacties. Recente mediaberichten tonen aan dat veel chatbots moeite hebben met het correct herkennen van signalen van zelfbeschadiging of psychische nood, en dat zelfs uitdagende gesprekken kunnen uitmonden in onveilige antwoorden als ze niet goed zijn ingebouwd.
Chatbots are struggling with suicide hotline numbersA Verge test of major chatbots like Claude, DeepSeek, and Grok revealed failures in how they respond to suicide and self-harm disclosures experts described as dangerous. |
Deze ontwikkelingen roepen ook vragen op over leeftijdsgrenzen en toezicht: sommige AI-bedrijven, inclusief Anthropic, ontwikkelen mechanismen om gebruikers onder 18 te detecteren of uit te sluiten, vooral bij gevoelige onderwerpen.
Wat dit betekent voor gebruikers
Voor gewone gebruikers van Claude betekent dit dat de AI zorgvuldiger en empathischer moet reageren bij gesprekken over geestelijke nood, en duidelijker kan verwijzen naar echte hulpbronnen wanneer nodig. Tegelijkertijd benadrukt Anthropic dat Claude nog steeds een assistent is — geen therapeut — en dat mensen in nood altijd professionele hulp moeten zoeken.
