Recirculatie: gratis recursie in je LLM - de training-vrije truc die state tracking repareert

Een model dat over 'bank' eerst praat als rivieroever en drie zinnen later aanneemt dat er een pinautomaat staat, dat is geen leuke curiositeit. Dat is een state tracking failure, en het is precies het soort fout dat de betrouwbaarheid van AI in de publieke sector ondermijnt.

Onderzoekers van Google DeepMind (onder wie Michael Mozer en Rosanne Liu) en de University of Texas at Austin publiceren nu een opvallend eenvoudige remedie: recirculation. Je verandert niets aan de gewichten van een getraind model. Je voegt alleen, op inference-tijd, een beetje activatie van een diepe laag toe aan een ondiepe laag. Geen fine-tuning, geen nieuwe training, geen extra latency tijdens generatie. En toch daalt de perplexity substantieel en stijgt de nauwkeurigheid op redeneertaken.

Dit is de paper arXiv:2608.17981, en dit artikel legt uit waarom het werkt, wat het oplevert, en waarom het relevant is voor wie in Nederland serieuze AI-systemen bouwt.

---

Het onderliggende probleem: een feedforward plafond

Een standaard transformer is feedforward: het signaal loopt per token van laag naar boven, en de states die een token kan overdragen aan latere tokens zijn begrensd door de diepte van het model. Die grens heeft een prijs.

Wanneer een model de zin "Fred pakte zijn vishengsteen en reed naar de bank" verwerkt, ontstaat in een diepe laag de juiste interpretatie: bank = rivieroever. Maar als je het model daarna vraagt "Is er een pinautomaat bij deze bank?", begint de verwerking van de vraag in de ondiepe lagen die alleen het ambigue embedding van 'bank' zien; een mix van rivieroever en financiële instelling. Het model gokt dan op de sterkste associatie, en gokt verkeerd.

Een experiment in de paper (naar de literatuur die contextualisatiefouten karakteriseerde als een race tussen respons-generatie en interne semantische convergentie) liet zien dat dit repareerbaar is: kopieerde men één keer de activatie van een diepe laag naar een ondiepe laag op het kritieke token, dan daalden de contextualisatiefouten met 60%.

De vraag die dit team stelt, is de radicale versie: wat als we dit bij élk token doen, zonder targeten, en zonder de gewichten te veranderen?

---

Wat is recirculatie precies

Recirculatie werkt zo: je draait het model stap voor stap, en na elke stap lekt je een beetje activatie van een bronlaag (diep) naar een doellaag (ondiep). De bron en de bestemming worden gemengd met een coëfficiënt, en de bron wordt herschaald naar de norm van de doellaag, zodat de embeddings niet uit hun distributie schieten.

Dit is de sleutel: het residual stream van een transformer fungeert als een gedeeld whiteboard waarop alle lagen schrijven, waardoor representaties over lagen heen uitgelijnd zijn. Een feature uit een diepe laag (bijvoorbeeld het 'vocht'-concept) heeft hetzelfde directe effect op de output als dezelfde feature uit een ondiepe laag, vanwege de commutativiteit van optellen. Daardoor heb je geen adapter, geen cross-attention, geen full-rank affine transformatie nodig; een eenvoudige mix volstaat.

Het onderscheid met de populaire looped transformer is cruciaal:

Aspect	Looped transformer	Recirculatie
Recursie	alleen in de diepte (binnen een stack)	in diepte en tijdstap
Parallelle prefill	wel (hele sequentie in parallel)	nee (serieel, token voor token)
Wat wordt doorgegeven	de hele residual-stream als vervanging	een kleine gemixte activatie
Cost tijdens generatie	~gelijk	~gelijk (twee stacks in parallel)

Het wiskundige punt zit in de tweede rij: in een looped transformer is dezelfde laag noodgedwongen één level dieper om de state te houden; in recirculatie kan dezelfde laag zowel de oude als de nieuwe state vasthouden, omdat de recursie over tijdstap én diepte loopt. Daardoor wordt recirculatie een echt dynamisch systeem dat belief states kan volgen; iets waar de parallelle transformer structureel niet toe in staat is.

---

De resultaten: indrukwekkend voor "gratis"

De onderzoekers tonen resultaten op de Gemma3-familie (1B, 4B, 12B):

Perplexity over tien taalmodellering-datasets (arXiv, PG19, C4, booksum, gov_report, pubmed, ...):

• 1B: reducties tot 16%
• 4B: tot 16%
• 12B: tot 35% (bijvoorbeeld op PG19: 52,86 → 34,15)
• Consistent over modelgroottes en datasets (9 van de 10).

Downstream taken (Gemma3 4B/12B IT):

• Instructievolgen: foutkans 25% lager (4B) en 75% lager (12B)
• Contextualisatie: winst op 1B en 4B, gemengd op 12B
• GSM8k: 21% hogere nauwkeurigheid

Cruciaal: recirculatie is niet slechts een temperatuurtruc. De onderzoekers sluiten dit uit door te laten zien dat temperatuurtuning en recirculatie bijna additief zijn (14,21% → 19,55% gecombineerd), dus niet hetzelfde effect.

Adaptive recirculatie (het slimste deel): in plaats van vaste coëfficiënten train je een klein neuraal net om token-specifieke mixvectoren te genereren, terwijl de gewichten van het model volledig bevroren blijven. Resultaat:

• 23% perplexity-reductie (tegen 8,5% voor basis-recirculatie)
• doet even veel als volledige fine-tuning (23,0% vs 21,6%); zonder de overfit-risico's van fine-tuning
• GSM8k: 8,8% en 20,9% minder fouten op pass@1 en pass@128

---

Waarom dit er toe doet voor de publieke sector

Laat me dit vertalen naar de praktijk van de Nederlandse publieke sector:

1. Je wilt geen miljoenen uitgeven aan fine-tuning. Recirculatie is training-free: je kunt het als een inference-wrapper draaien op een model dat je al hebt; of een model dat je van een leverancier huurt en waar je de gewichten niet mag aanpassen. Voor overheden die met uitbesteedde modellen werken is dat een interessante optie: een kwaliteitsprong zonder de juridische en technische queeste van modelaanpassing.

2. State tracking is precies de zwakte die betrouwbaarheid ondermijnt. Als een model in een meerrondig gesprek zijn eigen interpretatie 'vergeet' (de bank-fout is hier het symbool van), dan werkt AI in een gesprek met een burger of dossieranalyse niet robuust. Dat zijn precies de contexten waarin overheids-LLM's bezig zijn: conversatie over persoonsgegevens, semantische zoektochten over een zaak, een kennisbasis die je eenvoudig moet laten interpreteren. Een 'self-steering' die hier niet meer consistent is, raakt iets fundamenteels.

3. Dit is een 'model-design affordance'; de filosofie is relevant. De onderzoekers stellen dat ze het model laten vertellen waar en hoe het verbeterd wil worden, in plaats van een willekeurige architectuur-tweak door te voeren en te hopen. Deze mindset; vraag het model waar het verbeterd wil worden, verrijk de representatie, bevries de gewichten; sluit aan op de groeiende neiging naar inference-time methoden (activatie-sturende, control-vectoren, latente thought). Voor wie AI-compliance denkt in termen van wat er in het model zit is dat een nuttige verbreding.

---

De beperkingen die je moet weten

Een paar caveats die van praktisch belang zijn:

• Prefill is seriëel. Recirculatie is serieel in de prefill-fase. Voor lange context en state-of-the-art modellen is dat een echte computationele last; de onderzoekers noemen zelf de noodzaak om dit blockwise te maken (een groep tokens tegelijk).

• Hyperparameters zijn taakafhankelijk. De optimale bron-/doellaag en de coëfficiënt variëren per taak en model. De gekozen waarden generaliseren deels, maar er is nog geen automatische mapping van taak naar hyperparameters.

• Modelafhankelijkheid. De grootste winst komt bij de Gemma3-familie (Peri-LN-architectuur). Of het generaliseert naar andere architecturen, is nog open.

• Gemengde resultaten op downstream. Op single-token taken (MMLU, ARC, BoolQ) zijn de accuracy-verschillen bescheiden en soms negatief. De sterke winst zit in taalmodellering (perplexity) en generatieve/reasonerende taken (GSM8k, instructie-following); niet overal.

---

Conclusie: een stap naar "gratis" capaciteit

De belofte van Recirculation is niet dat het direct in productie gaat (de onderzoekers noemen blockwise recirculatie en meer iteraties als open werk). De belofte is dat er een klasse van verbeteringen bestaat die je zonder training uit een getraind model kunt halen, door te luisteren naar de eigen interne structuur in plaats van een architectuur te forceren.

Voor de publieke sector is de les sober en bruikbaar: voordat je aan een fine-tuning-traject begint of een duurder model huurt, is er een tussencategorie van inference-time zelfsturing die vaak wordt overgeslagen. Recirculatie is de meest systematische demonstratie tot nu toe dat die categorie reëel is; en dat hij verdomd goed kan zijn als je de hyperparameters voor je eigen taak en context afstemt.

---

Bron: M.C. Mozer, S.A. Siddiqui, D. Sawyer, S. Sanyal, R. Liu, "Recirculation", arXiv:2608.17981 [cs.LG], ingeleverd 18 aug 2026. Google DeepMind en University of Texas at Austin. Dit artikel is een samenvatting van de openbare paper en bevat geen eigen empirische claims.