Een doorbraak in AI-geheugen
Onderzoekers bij Google Research onthullen twee baanbrekende ontwikkelingen: een nieuwe architectuur genaamd Titans en een theoretisch kader met de naam MIRAS. Samen maken ze het mogelijk dat AI-modellen razendsnel werken én gigantische hoeveelheden context verwerken — doordat de “kerngeheugen” van het model continu evolueert, zelfs terwijl het draait.
|
Titans + MIRAS: Helping AI have long-term memory
|
Tot nu toe was de populaire Transformer-architectuur dominant: dankzij het “attention”-mechanisme kan het model terugkijken naar eerdere input en relevante informatie benadrukken. Maar naarmate de context langer wordt — denk aan volledige documenten of genetische data — loopt de rekenkracht exponentieel op, waardoor Transformers hun limiet bereiken.
Andere modellen — zoals recurrente netwerken (RNN’s) of state-space modellen — proberen het anders: ze comprimeren de context tot een vaste “staat”. Dat is efficiënt, maar verliest vaak de rijke details die van belang zijn bij lange reeksen.
"Titans + MIRAS willen het beste van twee werelden: de snelheid van RNN’s én de precisie van Transformers."
Geheugen dat leert terwijl het gebruikt wordt
Het belangrijkste verschil zit in de manier waarop geheugen behandeld wordt. Titans introduceert een “neurale langetermijn-geheugenmodule”, een diep neuraal netwerk (een multi-layer perceptron), die — anders dan bij een vaste geheugenvector — voortdurend leert en zichzelf bijwerkt terwijl nieuwe data binnenkomt.
Niet elke input is even belangrijk. De module maakt gebruik van wat men noemt de “surprise-metric”: een interne maat voor hoe onverwacht of verrassend nieuwe informatie is. Net zoals wij mensen routine snel vergeten, en opmerkelijke gebeurtenissen onthouden, zo kiest Titans wat wel of niet de moeite is om vast te houden. Is iets voorspelbaar, dan wordt het genegeerd; is iets ongewoon of significant — dan wordt het opgeslagen in het geheugen.
Bovendien: naast verrassing houdt het model ook rekening met recente “momentum”. Daardoor kunnen samenhangende maar verspreide details — die op zichzelf misschien niet opvallen — toch bewaard blijven. En om te voorkomen dat het geheugen overbelast raakt, is er een “vergeet-mechanisme” ingebouwd: minder relevante herinneringen verwateren met de tijd.
"Die combinatie van selectiviteit, adaptiviteit en “vergeten” maakt dat AI voortaan op een veel natuurlijker manier met geheugen kan omgaan — eerder mensachtig dan machine-matig."
MIRAS: Het theoretisch raamwerk achter de magie
Waar Titans de concrete architectuur is, fungeert MIRAS als de onderliggende blauwdruk: een raamwerk dat fundamenteel herinterpreteert hoe ‘sequentie-modellen’ (modellen die met reeksen data werken) werken. Volgens MIRAS zijn vrijwel alle succesvolle modellen — van moderne Transformers tot lineaire RNN’s en Titans — in essentie variaties op hetzelfde probleem: hoe combineer je nieuwe input met oud geheugen, zonder dat je de essentie verliest?
MIRAS definieert een model via vier kernkeuzes: de geheugenstructuur, de “attentional bias” (wat bepaalt wat belangrijk is), de “retention gate” (hoe geheugen behouden of vergeten wordt), en het algoritme dat geheugen bijwerkt.
Op grond daarvan ontstaan meerdere mogelijke varianten — ieder met eigen sterktes. In sommige taken blijkt zo’n model robuuster, in andere taken efficiënter, afhankelijk van welke ontwerpkeuzes gemaakt worden.
Resultaten én reële belofte — maar met nuance
Volgens de onderzoekers bereikt Titans indrukwekkende resultaten: in taalmodellering, redenering op basis van gezond verstand, tijdreeksen, genomica — zelfs in extreem lange contexten (meer dan 2 miljoen tokens) blijft het model relevant en accuraat.
In benchmarks die “naald in hooiberg”-achtige redeneeropdrachten representeren, doet Titans het beter dan stevige concurrenten — inclusief sommige zeer grote modellen.
Toch is er ook terughoudendheid. Een recente “re-implementatie en kritische analyse” stelt dat Titans — afhankelijk van hoe je het gebruikt — niet altijd beter presteert dan gevestigde modellen. Maar: de neurale geheugencomponent blijkt wél consequent voordelen te bieden ten opzichte van modellen die enkel op “attention” vertrouwen.
"Met andere woorden: de belofte is groot, maar in de praktijk is het complex — en de echte potentie moet zich nog bewijzen buiten onderzoekslabs."
Wat betekent dit voor de toekomst van AI?
De komst van Titans en MIRAS kan betekenen dat we afstevenen op AI’s die veel meer mensachtige geheugenstructuren hebben — ze kunnen onthouden, vergeten, context bewaren over lange tijdsperiodes, en flexibeler omgaan met informatiestromen.
Voor toepassingen: denk aan AI-systemen die documenten van duizenden pagina’s begrijpen, genetische data analyseren, of conversaties en lange interacties beheren zonder “contextverlies”.
Tegelijk roept dit vragen op over stabiliteit, betrouwbaarheid en ethiek. Want geheugen impliceert opslag — wat betekent dat AI’s potentieel grote hoeveelheden data kunnen blijven bijhouden.
"De introductie van Titans en MIRAS markeert dus mogelijk het begin van een nieuwe generatie AI-modellen: sneller, slimmer, maar ook — als we niet opletten — complexer en machtiger."
