Stale-Document Poisoning: wanneer verouderde RAG-bronnen correcte antwoorden overschrijven

Analyse van arXiv:2609.31342, Stale-Document Poisoning: When Outdated Retrieval Overrides Correct Model Answers. Ahmed et al., 2026.

---

1. Het probleem: retrieval is geen garantie voor juistheid

Retrieval-Augmented Generation (RAG) wordt breed toegepast om het kennis-afsnijdingsprobleem van grote taalmodellen op te lossen. Door externe documenten op te halen en aan het model te presenteren, lijkt het antwoord beter onderbouwd. Maar wat als de opgehaalde documenten zelf verouderd zijn?

Ahmed et al. identificeren stale-document poisoning: een temporal alignment failure waarin verouderde evidence een model fout maakt, ook al zou het zonder retrieval correct hebben geantwoord.

2. De benchmark: 317 verified knowledge reversals

Het onderzoek bouwt een benchmark van 317 geverifieerde kennisreversals over vier domeinen:

• Geneeskunde: bètablokkers na myocardinfarct, vitamine D en calcium voor fractuurpreventie, vaste-duur antibioticakuren, allemaal standaardaanbevelingen die later werden teruggetrokken of ingeperkt.
• Recht: Loper Bright Enterprises v. Raimondo (2024), waarbij de U.S. Supreme Court het 40 jaar oude Chevron-arrest overrulede.
• Software: API's die zijn vervangen of deprecated.
• Platform-beleid: gebruiksvoorwaarden en content-beleid dat is gewijzigd.

Elke reversal is gedocumenteerd met gedateerde officiële bronnen, waardoor de benchmark empirisch verankerd is.

3. Resultaten: poisoning zonder opdracht tot vertrouwen

Over 12 modellen gemeten, met name Llama en Qwen, tonen de resultaten een duidelijk patroon:

Scenario	Llama	Qwen
Stale document, geen "follow document" instructie	30% poisoning	37% poisoning
Stale document, met "follow document" instructie	66% poisoning	75% poisoning

Zonder expliciete instructie om het document te volgen, laat 30-37% van de antwoorden zich al beïnvloeden door verouderde evidence. Met een expliciete "follow instructions" prompt stijgt dit naar 66-75%.

Belangrijker: matched up-to-date evidence wordt in 97-100% van de gevallen gevolgd. Het model discrimineert niet tussen verouderd en actueel, het volgt beide bronnen even bereidwillig.

4. De temporal applicability test

Om temporal applicability te isoleren, houdt het onderzoek de historische evidence constant over 50 reversals en varieert alleen de evaluatiedatum:

• Datums alleen: produceren slechts bescheiden adaptatie
• Expliciete geldigheidsinformatie: grotere modellen schakelen bijna perfect over naar het juiste antwoord

Causale interventies bevestigen dat deze geldigheidsinformatie direct de uiteindelijke beslissing beïnvloedt. Dezelfde interne componenten ondersteunen ook bredere vergelijkingstaken, temporal applicability kan een algemeen redeneermechanisme aanspreken.

Een fixed recency-aware hybrid re-ranker reduceert poisoning met 4,6-10,0 punten wanneer datums accuraat zijn. De winst hangt af van betrouwbare temporele metadata.

5. Nederlandse context: wet, regelgeving en aansprakelijkheid

Voor overheidsorganisaties die RAG-systemen bouwen op wet- en regelgeving, beleidsdocumenten en procedures, is stale-document poisoning een operationeel en juridisch risico:

EU AI Act artikel 13 (transparantie) vereist dat output traceerbaar is naar de gebruikte bronnen. Wanneer een opgehaald document verouderd is, is de traceerbaarheid technisch aanwezig maar substantief misleidend.

GDPR-verantwoordingsplicht vereist dat organisaties kunnen aantonen dat hun geautomatiseerde besluitvorming juist is. Een RAG-systeem dat een verouderd beleidsdocument citeert om een burgers vraag te beantwoorden, voldoet niet aan deze verantwoordingsplicht, zelfs als de retrieval-pipeline technisch correct werkt.

Voor gemeenten, UWV, Belastingdienst en andere organisaties die juridische of beleidsinformatie via LLM's ontsluiten: een fout antwoord over burgerrechten, subsidies of procedures, gebaseerd op een verouderd maar autoritatief klinkend document, is moeilijker te detecteren dan een hallucinatie. Het antwoord klinkt correct omdat het op een bron is gebaseerd.

6. Consulting-kansen

• RAG-temporal-audit voor overheids-KB-systemen. Scope: inventarisatie van kennisreversals in het domein, validatie van retrieval-pipeline tegen temporal criteria, implementatie van geldigheidsdatums. Geschatte waarde: €20.000-€45.000 per traject.
• Selective trust framework voor organisaties die RAG-systemen bouwen. Dit omvat het expliciet modelleren van temporal applicability als eerste-class citizen in de retrieval-pipeline.
• Compliance-gap-assessment tegen EU AI Act artikel 13 en GDPR-verantwoordingsplicht voor bestaande RAG-implementaties.

7. Wat te doen

Organisaties die RAG-systemen inzetten of overwegen:

1. Inventariseer knowledge reversals in je domein. Welke aanbevelingen, regels of procedures zijn in de afgelopen jaren gewijzigd? Dit is de eerste lijn van verdediging.

2. Eis temporal metadata bij bronnen. Geen document in de knowledge base zonder expliciete geldigheidsdatum of versie-informatie.

3. Implementeer recency-aware ranking. Niet alleen op relevantie, maar ook op temporal applicability. Een hybride re-ranker die datums meeweegt reduceert poisoning significant.

4. Test je RAG tegen knowledge reversals. Gebruik de benchmark-methodologie van Ahmed et al. om te verifiëren of je systeem verouderde evidence filtert of volgt.

8. Conclusie

Stale-document poisoning toont aan dat retrieval geen wondermiddel is, het is een nieuw risicovlak. Verouderde evidence is schadelijker dan geen evidence: het produceert fouten die moeilijker te detecteren zijn dan hallucinaties omdat ze op een bron lijken te zijn gebaseerd.

Betrouwbare RAG vereist selective trust: modellen moeten niet alleen bepalen wat opgehaalde evidence zegt, maar ook of het nog steeds van toepassing is. Voor de Nederlandse publieke sector, waar wet- en regelgeving voortdurend evolueert, is dit geen optionele optimalisatie maar een compliance-vereiste.

De vraag is niet of je RAG hebt, maar of je RAG weet wanneer zijn bronnen zijn verlopen.

---

Bron: Ahmed, M.S., Galke, L., Poech, T. & Röttger, R. (2026). Stale-Document Poisoning: When Outdated Retrieval Overrides Correct Model Answers. arXiv:2609.31342.