Roblox heeft zijn kunstmatige-intelligentiesysteem Sentinel open-source beschikbaar gesteld om andere digitale platforms te helpen bij het detecteren van subtiele tekenen van kindermishandeling en online grooming. Het systeem is sinds eind 2024 actief op Roblox en heeft al geleid tot ongeveer 1.200 meldingen van mogelijke kindermisbruikpogingen aan het National Center for Missing and Exploited Children in de eerste helft van 2025.
Wat is Roblox Sentinel?
Sentinel is een AI-systeem dat gebruikmaakt van contrastief leren om vroegtijdige signalen van kindermishandeling, zoals seksuele uitbuiting of grooming, te detecteren. Het systeem analyseert chatgesprekken op Roblox, waarbij het onderscheid maakt tussen onschuldige en potentieel schadelijke communicatie. Door patronen in gesprekken te herkennen, kan Sentinel verdachte interacties identificeren en, indien nodig, doorsturen naar menselijke moderators voor verdere beoordeling.
Waarom open-source?
Roblox heeft ervoor gekozen om Sentinel open-source te maken om andere digitale platforms in staat te stellen dezelfde technologie te gebruiken en bij te dragen aan een veiligere online omgeving voor kinderen. Door deze stap hoopt Roblox de effectiviteit van Sentinel te vergroten en de veiligheid op het internet te verbeteren.
Hoe werkt Sentinel?
Sentinel maakt gebruik van twee indexen: een positieve index met onschuldige berichten en een negatieve index met berichten die zijn gemarkeerd als schadelijk. Nieuwe berichten worden vergeleken met deze indexen om te bepalen of ze passen bij schadelijke patronen. Het systeem verzamelt gegevens over gebruikersinteracties en analyseert deze om te beoordelen of ze afwijken van normaal gedrag.
Impact en toekomst
Sinds de implementatie van Sentinel heeft het systeem geholpen bij het detecteren van 35% van de gevallen van kindermishandeling, vaak voordat een misbruikmelding kon worden ingediend. Roblox blijft werken aan het verbeteren van de technologie en het uitbreiden van de open-sourcegemeenschap om de veiligheid op het platform en daarbuiten te vergroten.
Met de openstelling van Sentinel hoopt Roblox een nieuwe standaard te zetten in het gebruik van AI voor online veiligheid en andere platforms aan te moedigen om vergelijkbare maatregelen te nemen.
|
Open-Sourcing Roblox Sentinel: Our Approach to Preemptive Risk DetectionOpen-Sourcing Roblox Sentinel: Our Approach to Preemptive Risk Detection |
