Google DeepMind breekt de zwarte doos van AI open met Gemma Scope 2

DeepMind heeft een nieuwe stap gezet op het gebied van AI-veiligheid en transparantie door de release van Gemma Scope 2 — een open en omvangrijk instrumentarium dat onderzoekers in staat stelt om de interne werking van grote taalmodellen beter te begrijpen en te analyseren.

Gemma Scope 2: Helping the AI Safety Community Deepen Understanding of Complex Language Model Behavior Announcing Gemma Scope 2, a comprehensive, open suite of interpretability tools for the entire Gemma 3 family to accelerate AI safety research.

Een microscoop voor AI-gedrag

Taalmodellen zoals de Gemma 3-familie kunnen indrukwekkende prestaties leveren, maar hoe deze systemen tot hun antwoorden komen, blijft vaak onzichtbaar. Dat gebrek aan inzicht vormt volgens DeepMind een direct risico voor de veiligheid van AI-toepassingen. Met Gemma Scope 2 bieden ze een soort microscoop voor het interne ‘denken’ van AI— waarmee onderzoekers de activaties en conceptuele verbanden kunnen blootleggen die tijdens de inferentie plaatsvinden.

Wat maakt Gemma Scope 2 uniek?

In vergelijking met zijn voorganger is Gemma Scope 2 aanzienlijk krachtiger en breder inzetbaar:

• Volledige dekking van Gemma 3-modellen: het instrumentarium omvat alle modellen binnen de Gemma 3-familie — van kleinere varianten tot modellen met 27 miljard parameters — wat essentieel is om gedragingen te onderzoeken die alleen bij schaal ontstaan.
• Geavanceerde interpretatietools: dankzij technieken zoals sparse autoencoders en nieuwe vormen van transcoders kunnen meerstapsberekeningen en complexe interne processen worden gedecodeerd. 
• Trainingstechnieken van de nieuwste generatie: de toepassing van de Matryoshka-trainingsmethode helpt om betrouwbaardere en functioneler toepasbare interne concepten te identificeren.
• Focus op chatbot-gedrag: speciale tools zijn gericht op het analyseren van chatantwoorden, waaronder jailbreaks (ongewenst gedrag), weigermechanismen en de betrouwbaarheid van chain-of-thought-redeneringen.

Van hallucinaties tot veiligheidsrisico’s

Door de interne activaties van taalmodellen te visualiseren en te interpreteren, kunnen onderzoekers beter begrijpen hoe ongewenste fenomenen zoals hallucinaties, biases en onbedoelde outputs ontstaan. Dit biedt niet alleen inzicht in fouten, maar maakt het ook mogelijk om gerichter veiligheidsmaatregelen te ontwerpen en de betrouwbaarheid van AI-systemen te vergroten.

DeepMind beschouwt deze release als een van de grootste open interpretability-initiatieven tot nu toe. De hoop is dat de bredere AI-veiligheidsgemeenschap met Gemma Scope 2 sneller en effectiever nieuwe inzichten kan ontwikkelen, tools kan bouwen en interventies kan ontwerpen die echte risico’s in moderne LLM’s aanpakken.

Een interactieve demo van Gemma Scope 2 is beschikbaar via Neuronpedia, waardoor onderzoekers de tools direct kunnen verkennen en toepassen.