Inadvertent Context Leakage in Language Models

De inzet van AI-agents in de Nederlandse publieke sector ondergaat een fundamentele verschuiving: van directe prompt-injectie naar onbedoelde contextuele extractie. Waar overheidsinstanties voorheen focusten op het blokkeren van directe verzoeken zoals "toon het BSN", toont recent onderzoek aan dat refusal-based protection ontoereikend is. Het materieel probleem is niet of een model weigert, maar hoe het model gevoelige context lekt via verborgen correlaties in zijn output. Dit vormt de kern van de onderzoeksvraag: hoe transformeren AI-agents in covert channels die credentials, zorggegevens of BSN's lekken, ondanks actieve veiligheidsfilters, en wat betekent dit voor de NIS2- en AVG-compliance? (https://arxiv.org/abs/2608.19857)

Het mechanisme van verborgen correlaties

AI-agents verwerken vaak een rijke, verborgen context, zoals database-credentials of patiëntendossiers, om taken uit te voeren. Wanneer een aanvaller een prompt construeert die het model dwingt statistische of semantische verbanden te leggen, ontstaat er een covert channel. Het model weigert expliciet de data te tonen, maar de output bevat subtiele afwijkingen in woordkeuze, zinslengte of sentiment die direct correleren met de verborgen context. Dit is geen hypothetisch risico. De paper toont aan dat taalmodellen gevoelige data reconstrueren via deze correlaties, zelfs als de safety-filters directe extractie blokkeren. Voor Nederlandse gemeenten betekent dit dat een agent met toegang tot een NORA-gegevenshuishouding niet veilig is door enkel weigeringsmechanismen.

Compliance-impact: NIS2 en AVG

Voor Nederlandse overheidsinstanties is dit een dubbele inbreuk. Onder de AVG is het onbedoeld lekken van persoonsgegevens, zoals een BSN of zorggegevens via een AI-agent, een onrechtmatige verwerking. Onder de NIS2 en de BIO2 valt dit onder een meldingsplichtige beveiligingsincident. De aanname dat een model veilig is zolang het "ik kan niet helpen met dat verzoek" antwoordt, is een falend paradigma. Het risico verschuift van zichtbare data-exfiltratie naar steganografie in modeloutput. Dit vereist een herziening van de risico-inventarisatie en DPIA voor AI-systemen die vallen onder de AI Act. Overheidsinstanties moeten aannames over refusal-based protection laten vallen en hun architectuur herzien om statistische lekkages in agent-outputs te detecteren.

Claim C1: Refusal-based protection ontoereikend voor verborgen correlaties

Refusal-based protection in taalmodellen is ontoereikend om context leakage via verborgen correlaties te voorkomen. Dit is een materiële observatie die voortvloeit uit recent primair onderzoek. Evidence uit de paper "Inadvertent Context Leakage in Language Models" toont aan dat Large Language Models (LLMs) gevoelige context lekken via verborgen correlaties, zelfs als directe extractie wordt geweigerd (bron: https://arxiv.org/abs/2608.19857, classificatie: PRIMARY). De evidence-sterkte is hoog, aangezien de studie direct de mechanismen van extractie en refusal test.

Een nadere observatie uit dezelfde bron (https://arxiv.org/abs/2608.19857, PRIMARY) stelt dat refusal-mechanismes uitsluitend directe extractie blokkeren. Ze verhinderen niet dat statistische representaties van gevoelige data doorlekken in de gegenereerde output. De interpretatie van dit mechanisme is dat het model fungeert als een covert channel. Een aanvaller construeert prompts die de statistische distributie van de verborgen context uitlokken, zonder de directe string op te vragen.

Mechanisme en onzekerheden

Het lek ontstaat doordat de interne representatie van context de probabilistische outputruimte beïnvloedt. Wanneer een AI-agent een credential of BSN in zijn systeem-prompt of context window heeft, weegt dit door in de token-kansverdeling. Refusal-training leert het model een afwijzing te genereren bij een directe vraag. Bij indirecte vragen, zoals het vragen om een hash of het genereren van tekst in een specifieke stijl die correleert met de verborgen data, verschuift de output statistisch. Dit is de observatie. De interpretatie is dat alignment-technieken zoals RLHF onvoldoende diep ingrijpen op de representatielaag om dit statistisch doorlekken te dichten.

Een relevante onzekerheid hierbij is de reproduceerbaarheid in specifieke commerciële modellen. De paper bewijst het fenomeen, maar de exacte extractiesnelheid varieert per modelarchitectuur en contextlengte. De drempel voor aanvallers is laag, maar de opbrengst per poging is stochastisch.

Implicaties voor de Nederlandse publieke sector

Voor Nederlandse overheidsinstanties die AI-agents inzetten met toegang tot BSN's, zorggegevens of credential stores, vormt dit een direct risico. Onder de AVG is het ongewild lekken van persoonsgegevens via een statistisch nevenkanaal een datalek. Het ontbreken van opzet maakt het niet minder een inbreuk op de verwerkingsgrondslag.

Tegelijkertijd raakt dit de NIS2-richtlijn en het BIO2-framework. Een agent die als covert channel fungeert, is een informatiestromingsincident dat de integriteit en vertrouwelijkheid van systemen aantast. De AI Act eist robuustheid en nauwkeurigheid, maar de huidige refusal-gebaseerde beveiliging voldoet niet aan dit criterium voor gegevensbescherming. NORA-principes rondom strikte scheiding van datastromen worden hierdoor ondermijnd. Overheden moeten hun threat models aanpassen: refusal is geen toegangscontrole.

Mechanisme van contextuele data-exfiltratie

Aanvallers kunnen prompts construeren die een Large Language Model (LLM) als covert channel gebruiken voor de extractie van gevoelige data, zoals BSN, zorggegevens of credentials. Dit vormt de materiële invulling van claim C2. Onderzoek toont aan dat op weigering gebaseerde beveiliging ontoereikend is. Wanneer een model directe extractie blokkeert, blijft de gevoelige context aanwezig in de latente representatie van het model. Een aanvaller omzeilt de filter door prompts te ontwerpen die verborgen correlaties in de output afdwingen. De observatie is dat het model weigert een BSN direct te printen. De interpretatie is dat hetzelfde model via indirecte prompts wel degelijk leidt tot ongewenste openbaarmaking van datzelfde BSN via statistische bijproducten in de gegenereerde tekst. (Bron: https://arxiv.org/abs/2608.19857, classificatie: PRIMAIRE bron).

Provenance en bewijskracht

De bewijsvoering voor dit mechanisme rust op twee sporen uit dezelfde primaire bron (https://arxiv.org/abs/2608.19857). Evidence E1 stelt dat LLMs gevoelige context lekken via verborgen correlaties, zelfs als directe extractie wordt geweigerd. Evidence E3 bevestigt dat aanvallers dit specifiek kunnen misbruiken door prompts te construeren voor data-exfiltratie. De bewijskracht is technisch fundamenteel: het mechanisme volgt direct uit de architectuur van autoregressive taalmodellen die probabilistisch volgende tokens genereren op basis van de volledige context. Een onzekerheidsfactor is de reproduceerbaarheid in specifieke overheidsimplementaties. De paper toont het fenomeen aan in gecontroleerde settings. De exacte exfiltratie-snelheid in productieomgevingen met Nederlandse overheidsdata vereist aanvullende empirische validatie. De structurele kwetsbaarheid is echter vaststaand.

Implicaties voor de Nederlandse publieke sector

Voor de Nederlandse publieke sector raakt dit direct de centrale hypothese dat standaard prompt-filters onvoldoende bescherming bieden. Overheidsinstanties die AI-agents inzetten met toegang tot BSN-registers, elektronische patiëntendossiers of credential stores lopen een acuut risico. Een covert channel exfiltratie is tegelijkertijd een NIS2-incident en een AVG-schending. De Algemene Verordening Gegevensbescherming eist dat persoonsgegevens verwerkt worden met passende technische en organisatorische maatregelen. Als een taalmodel via statistische correlaties een BSN lekt, is er sprake van een onbevoegde openbaarmaking. Binnen het NORA-raamwerk en de BIO2-normering betekent dit dat risicoanalyses voor AI-systemen de latent space van het model als een potentieel lekkend gegevensmedium moeten classificeren, niet enkel de API of de onderliggende database.

Claim C3: Context Leakage als NIS2-incident en AVG-schending

De observatie dat taalmodellen gevoelige context lekken via verborgen correlaties in hun output, zelfs bij succesvolle directe weigeringen, kwalificeert direct als een NIS2-incident en een schending van de Algemene Verordening Gegevensbescherming (AVG) voor Nederlandse overheidsinstanties. Dit is een interpretatie gebaseerd op wettelijke kaders rondom data-exfiltratie. De centrale hypothese dat refusal-based protection ontoereikend is, wordt hierdoor materieel: een AI-agent die een BSN of zorggegevens bevat, fungeert als een covert channel voor aanvallers. Voor overheidsinstanties die AI-agents inzetten, vormt de implementatie van dergelijke systemen zonder specifieke exfiltratie-controles een direct compliance-risico.

Juridische Onderbouwing: NIS2 en AVG Artikel 32

De sterkte van deze claim rust op wettelijke secundaire bronnen. NIS2 (Richtlijn (EU) 2022/2555) vereist strikte beveiliging van essentiële diensten en de actieve voorkoming van ongeautoriseerde toegang en exfiltratie van data (https://eur-lex.europa.eu/eli/dir/2022/2555/oj). Een covert channel in een AI-agent valt hier direct onder. Evenzo stelt GDPR artikel 32 dat organisaties passende technische en organisatorische maatregelen moeten nemen om persoonsgegevens te beveiligen tegen ongeautoriseerde openbaarmaking (https://gdpr-info.eu/art-32-gdpr/). Exfiltratie via verborgen correlaties in model-output is een vorm van ongeautoriseerde openbaarmaking. De onzekerheid hierbij ligt in de detecteerbaarheid: het lekken van data via output-statistieken is subtieler dan een directe database-export, wat incident-response trajecten bemoeilijkt.

Nederlandse Casuïstiek en Kaders (BIO2/NORA)

Beschouw een gemeente die een AI-agent inzet voor Wmo-voorzieningen. De agent heeft toegang tot een contextvenster met BSN's en medische dossiers. Bij een prompt-injectie weigert het model expliciet de namen of BSN's te printen. De observatie uit het arxiv-signaal (https://arxiv.org/abs/2608.19857) toont echter aan dat een aanvaller prompts construeert die het model dwingen specifieke output-formaten te genereren. Hierbij lekt de context via verborgen correlaties, zoals ongewone token-frequentie of semantische structuren. Binnen de Nederlandse context raakt dit direct de Baseline Informatiebeveiliging Overheid (BIO2) en de NORA-architectuurprincipes rondom gegevensisolatie. Het vertrouwen op refusal-mechanismen volstaat niet aan de BIO2-eisen voor strikte scheiding van informatiestromen. De AI Act eist bovendien robuuste technische risicobeperkingen, wat puur taalkundige weigeringen onvoldoende maakt.

Hypothese H1: Context leakage ontstaat door fundamentele statistische eigenschappen van LLM-architecturen

Stelling

Context leakage is geen fout die valt te patchen met betere refusal-rules. Het is een structurele eigenschap van hoe transformer-gebaseerde taalmodellen informatie verwerken. Gevoelige context, BSN-nummers, zorggegevens, credentials, wordt gecomprimeerd tot latente representaties die verspreid liggen over meerdere lagen en attention-heads. Deze representaties beïnvloeden de output-distributie via verborgen statistische correlaties, ook wanneer het model expliciet weigert om de gevoelige data te herhalen. Refusal-mechanismes werken op het niveau van token-generatie, niet op het niveau van latente representatievorming. Dat gap is waar een aanvaller een covert channel vindt. (arxiv.org/abs/2608.19857)

Supporting evidence

E1, Latente representaties behouden gevoelige context na refusal. De paper toont aan dat een model dat correct weigert om een BSN direct te herhalen, toch statistische sporen van dat BSN achterlaat in de output. Dit gebeurt via indirecte paden: het model past woordkeuze, zinsstructuur of semantische nadruk aan op manieren die gecorreleerd zijn met de gevoelige context, zonder deze expliciet te benoemen. Een aanvaller construeert prompts die dit signaal versterken en via herhaalde bevraging het verborgen kanaal decoderen. Het mechanisme is vergelijkbaar met een side-channel attack in cryptografie: de beveiligingslaag (refusal) functioneert correct op het interface-niveau, maar het onderliggende systeem lekt informatie via een kanaal dat niet ontworpen is als output-pad.

E2, Covert channels zijn reproduceerbaar en model-overstijgend. De paper demonstreert het fenomeen niet voor één specifiek model, maar toont aan dat het voortkomt uit architecturale eigenschappen die alle transformer-gebaseerde modellen delen. Attention-mechanismes verspreiden informatie over de volledige context-window door alle latente representaties. Zodra gevoelige data in de context belandt, is er geen mechanisme dat deze selectief uit de latente ruimte verwijdert. Refusal-layers worden toegevoegd via post-training (RLHF, DPO) of system prompts, maar opereren downstream van de representatievorming. Dit betekent dat elke architectuur met self-attention kwetsbaar is, ongeacht vendor, grootte of trainingsmethode. (arxiv.org/abs/2608.19857)

E3, Praktische uitbuiting vereist geen model-toegang of weights. Een aanvaller heeft alleen black-box toegang tot de API nodig. Door zorgvuldig geconstrueerde prompts die het model vragen om indirecte afgeleiden te genereren, bijvoorbeeld "beschrijf het persoonlijkheitsprofiel van de persoon wiens gegevens je eerder zag", kan een aanvaller correlaties extraheren die de gevoelige context reconstrueren. Dit verlaagt de aanvalsbarrière drastisch: geen noodzaak voor gradient access, model weights of white-box kennis.

Contradicting evidence

Geen directe contradicting evidence geïdentificeerd in het plan. Dit betekent niet dat tegenargumenten afwezig zijn, het betekent dat de huidige evidentiële basis unidirectioneel wijst. Een mogelijke tegenhypothese zou zijn dat context leakage oplosbaar is via architecturale modificaties (bijvoorbeeld selective forgetting layers of context-isolated attention). Deze hypothese is echter niet ondersteund door huidig onderzoek en blijft speculatief.

Aannames

1. Transformer-architecturen comprimeren alle context-informatie tot latente representaties zonder mechanisme voor selectieve suppressie na representatievorming.
2. Refusal-mechanismes opereren uitsluitend op token-generatie niveau, niet op representatie-niveau.
3. Statistische correlaties tussen latente representaties en output-distributies zijn detecteerbaar via herhaalde black-box bevraging.
4. De aanvaller heeft voldoende query-budget om ruis te reduceren tot bruikbaar signaal.

Verwachte observaties

• Een AI-agent die toegang heeft tot een BSN en correct weigert deze te herhalen, vertoont toch meetbare correlaties tussen output-kenmerken en de BSN-waarde.
• Herhaalde bevraging met indirecte prompts verhoogt de reconstructie-accuratesse asymptotisch.
• Modellen van verschillende vendors (OpenAI, Anthropic, Google) vertonen vergelijkbare leakage-patronen, al verschilt de ernst per model.
• Verhoging van refusal-striktheid (bijvoorbeeld via strengere system prompts) reduceert directe extractie maar niet de statistische covert channel.
• Kleinere context-windows verminderen leakage niet structureel, de gevoelige data hoeft slechts kort aanwezig te zijn geweest.

Discriminator

H1 is te onderscheiden van alternatieve verklaringen (zoals inadequate prompt-engineering of onvoldoende refusal-training) door de volgende test: als context leakage een fundamentele architecturale eigenschap is, dan moet deze optreden onafhankelijk van de kwaliteit van het refusal-mechanisme. Een model met perfecte refusal (geen enkele directe extractie mogelijk) dat nog steeds statistische correlaties lekt, bevestigt H1. Een model waar verbeterde refusal de leakage elimineert, weerlegt H1 en steunt de alternatieve hypothese dat het een training- of configuratieprobleem is. De paper levert gegevens die in de eerste categorie vallen.

NL-relevantie

Voor Nederlandse overheidsinstanties die AI-agents inzetten met toegang tot BSN, zorggegevens of credential stores is dit direct toepasbaar. Een agent die via RAG toegang heeft tot een BWW-dossier en correct weigert het BSN te herhalen, kan toch BSN-gecorreleerde informatie lekken via output-statistiek. Onder de AVG is dit een persoonsgegevenslek, de data is indirect rekonstrueerbaar, wat onder de GDPR-val als verwerking van persoonsgegevens zonder rechtmatige grondslag valt. Onder NIS2 is het een incident dat gemeld moet worden indien het leidt tot ongeautoriseerde toegang tot gevoelige informatie. De AI Act high-risk-classificatie voor overheids-toepassingen met fundamentele rechten impact maakt dit nog urgenter: artikel 15 eist robuuste technische borging tegen ongewenste output. Refusal-only protection voldoet niet aan die eis. (arxiv.org/abs/2608.19857)

Confidence

Hoog (0.85). De evidentiële basis is consistent, architecturaal onderbouwd, en reproduceerbaar. De afwezigheid van contradicting evidence verhoogt de confidence, maar de relatieve nieuwheid van het onderzoeksdomein en de beperkte onafhankelijke replicatie temperen de score naar 0.85 in plaats van 0.95. Verdere empirische validatie op specifieke overheids-use-cases (bijv. BWW-dossiers, UZI-credentials) kan de confidence verhogen.

Hypothese H2: Context leakage als applicatie-ontwikkelingsprobleem

De hypothese stelt dat context leakage niet voortkomt uit een inherente architectonische zwakte van het taalmodel, maar uit onvoldoende prompt-engineering en inadequate input-sanitization door de applicatie-ontwikkelaar. Dit impliceert dat voldoende strikte isolatie van systeeminstructies, gebruikersinput en opgehaalde context voldoende is om data-exfiltratie te voorkomen.

Supporting Evidence Er is geen directe empirische ondersteuning voor deze hypothese binnen de huidige analyse-dataset. De aanname rust op klassieke software-engineeringprincipes waarbij het model als een voorspelbare, stateless functie wordt behandeld. Dit negeert de probabilistische aard van transformer-architecturen.

Contradicting Evidence Onderzoek toont aan dat refusal-based protection ontoereikend is (https://arxiv.org/abs/2608.19857). Zelfs wanneer een model directe extractie van gevoelige context correct weigert, kan een aanvaller prompts construeren die het model als covert channel gebruiken. Gegevens zoals BSN of zorgrecords lekken via verborgen correlaties in de output. Dit mechanisme bewijst dat data-exfiltratie mogelijk is onafhankelijk van de toegepaste prompt-isolatie. Dit vormt een directe contradictie (E1, E2) op de stelling dat betere applicatieontwikkeling het probleem volledig oplost.

Assumptions De hypothese gaat ervan uit dat ontwikkelaars volledige controle hebben over de informatiestromen binnen de prompt. Daarnaast veronderstelt het dat standaard input-sanitization technieken, zoals het strippen van ongewenste karakters of het afdwingen van structuur met XML-tags, voldoende zijn om cross-context contaminatie in de latente ruimte van het model te stoppen.

Expected Observations Als H2 geldig is, zou het toepassen van geavanceerde prompt-engineering en strikte input-sanitization de context leakage tot nul moeten reduceren. In de praktijk verwachten we echter, gegeven de contradictie, residual leakage te zien. Aanvallers zullen statistische patronen in gegenereerde tokens gebruiken om achtergrondcontext te reconstrueren, ongeacht de door de ontwikkelaar gebouwde veiligheidsbarrières.

Discriminator De discriminator is een gecontroleerde test waarbij een applicatie wordt voorzien van state-of-the-art prompt-isolatie en input-sanitization. Vervolgens wordt het systeem blootgesteld aan adversarial prompts gericht op covert channels. Als de context leakage ondanks deze maatregelen optreedt, is de hypothese gefalsifieerd en ligt de oorzaak bij het model.

Confidence Laag. De afwezigheid van ondersteunende evidence, gecombineerd met de sterke contradictie uit onderzoek naar covert channels, maakt de waarschijnlijkheid klein dat applicatieontwikkeling het enige of primaire falingspunt is. Voor Nederlandse overheidsinstanties betekent dit dat AVG- en NIS2-compliance niet uitsluitend op applicatieniveau kan worden afgedwongen.

Hypothese H3: De getoonde aanvallen zijn puur theoretisch en vereisen zoveel voorkennis dat ze in een realistische overheidsomgeving niet uitvoerbaar zijn

Stelling

Deze hypothese stelt dat context leakage-aanvallen, zoals beschreven in het signaal, academische constructies zijn die alleen werken onder gecontroleerde laboratoriumomstandigheden. De redenering is dat een aanvaller zoveel voorkennis moet hebben over de specifieke context die een AI-agent bevat, bijvoorbeeld welke BSN's, welke zorggegevens, welke credential-structuren, dat de aanval in de praktijk onuitvoerbaar wordt zonder interne toegang. Onder deze lezing zijn de getoonde aanvallen een interessant theoretisch kader, maar geen operationele dreiging voor Nederlandse overheidsinstanties.

Supporting evidence

Het plan-element bevat geen supporting evidence voor H3. Er is geen empirische of analytische bron die aantoont dat de aanvallen uitsluitend theoretisch zijn of disproportioneel veel voorkennis vereisen. De hypothese rust op een aannemelijke, maar ongeïnformeerde redenering: dat covert-channel aanvallen per definitie hoge voorkennis vereisen. Deze aanname is niet gevalideerd door enige geciteerde bron.

Contradicting evidence (E3)

Het signaal zelf fungeert als contradicting evidence. De paper (https://arxiv.org/abs/2608.19857) toont aan dat refusal-based protection ontoereikend is en dat een aanvaller prompts kan construeren die het model als covert channel gebruiken. De kern van de contradictie is dat context leakage niet afhankelijk is van volledige voorkennis over de specifieke context. In plaats daarvan exploiteert de aanvaller statistische correlaties in de modeloutput die indirect informatie over de verborgen context prijsgeven. De aanvaller hoeft niet te weten wélke BSN in de context staat, de aanval is ontworpen om dat juist te achterhalen via inductieve prompting.

Dit is een fundamenteel verschil met H3's aanname. De aanval werkt niet ondanks gebrek aan voorkennis, maar juist vanwege het ontbreken ervan: het doel is het extraheren van onbekende context, niet het bevestigen van bekende context.

Assumptions

H3 rust op drie veronderstellingen die alle drie problematisch zijn:

1. Aanvallen vereisen volledige voorkennis van de target-context. Dit is onjuist volgens het beschreven mechanisme. De aanval is inductief, niet deductief. Een aanvaller construeert prompts die het model dwingen om output te genereren waarin verborgen correlaties zichtbaar worden, bijvoorbeeld door het model te vragen om statistische samenvattingen, aggregaties, of vergelijkingen die indirect over de context lekken.

2. Overheidsomgevingen bieden voldoende isolatie om aanvallen te blokkeren. Nederlandse overheidsinstanties zetten AI-agens in via API's, RAG-pijplijnen, en MCP-protocollen waarbij de agent toegang heeft tot BSN-gekoppelde records, zorggegevens, of credential stores. De agent-context is juist de plek waar gevoelige data resideert tijdens verwerking. Isolatie op netwerkniveau (BIO2-maatregelen) beschermt niet tegen leakage via de modeloutput zelf.

3. Refusal-mechanismen zijn voldoende als access control. De paper toont het tegenovergestelde aan: een model kan directe extractie correct weigeren ("Ik kan geen BSN delen") terwijl indirecte prompts via statistische omwegen toch informatie lekken. Dit is analoog aan een SQL-injection via een parameterized query die technisch klopt maar semantisch lekt.

Expected observations

Als H3 juist is, verwacht je:

• Dat aanvallen alleen slagen wanneer de aanvaller de exacte context kent die het model bevat, wat de aanval overbodig maakt.
• Dat in realistische overheidsdeployments geen context leakage optreedt, omdat de aanvaller de benodigde voorkennis mist.
• Dat refusal-based guardrails voldoende zijn om extractie te blokkeren in productieomgevingen.

Als H3 onjuist is (en E3 juist), verwacht je:

• Dat aanvallen slagen met minimale voorkennis, de aanvaller hoeft alleen te weten dat de agent toegang heeft tot een bepaalde datatype (bijv. BSN), niet de specifieke waarde.
• Dat context leakage optreedt zelfs bij correct functionerende refusal-mechanismen.
• Dat Nederlandse overheidsinstanties die AI-agents inzetten met BSN- of zorggegevens in de agent-context blootstaan aan dit aanvalsoppervlak.

Discriminator

De discriminator tussen H3 en E3 is de vraag: vereist de aanval voorkennis over de specifieke contextwaarden, of alleen voorkennis over het type context? Het signaal beschrijft aanvallen die vallen in de laatste categorie. De aanvaller weet dat de agent een BSN bevat, maar niet welk BSN. De aanval is ontworpen om dat gat te overbruggen. Dit maakt H3's kernaanname onhoudbaar onder het beschreven mechanisme.

Confidence

Confidence in H3: laag. De hypothese heeft geen supporting evidence, wordt direct gecontradiceerd door E3, en rust op aannames die niet overeenkomen met het beschreven aanvalsmechanisme. De hypothese behoudt beperkte geldigheid in het geval van aanvallen die wél deductief werken (waarbij de aanvaller een specifieke hypothese bevestigt), maar het signaal beschrijft nadrukkelijk inductieve aanvallen die juist zonder volledige voorkennis opereren. Voor Nederlandse overheidsinstanties is de operationele implicatie dat context leakage een reële dreiging is, niet een theoretische, en dat dit zowel onder de AVG (artikel 32, beveiliging van verwerking) als onder NIS2 (incidentmeldingsplicht) valt.

Discriminators, wat onderscheidt de hypotheses

Discriminator D1: Gesanitiseerde gebruikersinput met intacte systeem-context

De kernvraag die H1 van H2 scheidt is of context leakage een structureel eigenschap is van het model zelf, of een gevolg van onvoldoende input-sanitizing aan de gebruikerskant. H1 stelt dat verborgen correlaties in de model-output gevoelige context lekken, ongeacht refusal-mechanismes. H2 stelt dat leakage herleidbaar is tot directe extractie via ongesanitiseerde of adversariële gebruikersprompts. De discriminator is eenduidig: construeer een testopstelling waarin de gebruikersinput volledig gesanitiseerd is, geen PII, geen BSN, geen zorggegevens, geen credential-achtige patronen, terwijl de systeem-prompt of RAG-context wél gevoelige data bevat (bijvoorbeeld een BSN in een gekoppelde BRP-record of een API-key in een credential store).

Als het model onder deze condities nog steeds leakage vertoont, bijvoorbeeld door statistische correlaties in woordkeuze, antwoordlengte, of timing-patronen die de aanwezigheid van specifieke gevoelige data verraden, is H1 bevestigd en H2 weerlegd. De leakage is dan niet afhankelijk van wat de gebruiker vraagt, maar van wat het model intern verwerkt. Dit is precies het mechanisme dat de onderliggende studie beschrijft: het model functioneert als covert channel, waarbij refusal-based protection ontoereikend is.

Operationele uitwerking voor Nederlandse overheidsinstanties

Concrete testcasus: een gemeente draait een AI-agent met RAG-toegang tot een Wmo-dossier. De systeem-context bevat gezondheidsgegevens en een BSN. De gebruikersprompt is gesanitiseerd: "Geef een algemene uitleg van Wmo-voorzieningen." De verwachte output onder H2 is een generiek antwoord zonder enige leakage. Onder H1 kan het model subtiele signalen uitzenden, een specifieke terminologie die alleen in het dossier voorkomt, een antwoordlengte die correleert met de ernst van de zorgindicatie, of een antwoord dat onbewust de aanwezigheid van specifieke voorzieningen bevestigt door wat het niet noemt.

Dit is direct toetsbaar. De discriminator vereist een A/B-test: identieke gesanitiseerde prompts met twee verschillende systeem-contexten (één met gevoelige data, één zonder). Statistische afwijkingen in output-distributies tussen beide condities vormen het bewijs. Dit raakt AVG-artikel 5(1)(f), integriteit en vertrouwelijkheid, en NIS2-artikel 21 over incidentpreventie. Onder de AI Act valt dit onder artikel 15 (accuracy, robustness, cybersecurity) voor high-risk systemen. NORA-principe 3 (vertrouwelijkheid) is eveneens in het geding.

Wat de discriminator uitsluit

De discriminator elimineert de confounder dat leakage verklaard kan worden door slechte input-hygiëne. Als H2 correct zou zijn, volstaat input-sanitizing als mitigatie. De testopstelling bewijst dat dit niet volstaat, de aanvalsvector zit in de model-architectuur zelf, niet in de prompt. Dit verschuift de mitigatieverantwoordelijkheid van de gebruikerskant naar de systeemontwerp-kant: context-isolatie, differentiële privacy, of output-filtering op systeemniveau worden noodzakelijk. Een gemeente die alleen input-sanitizing implementeert, heeft een valse zekerheid.

Falsification, wat zou de conclusie verzwakken?

De falsifieerbare kern

De conclusie dat refusal-based protection ontoereikend is tegen context leakage via verborgen correlaties is alleen epistemisch robuust als er een concrete waarneming bestaat die deze conclusie materieel zou verzwakken. Die waarneming is scherp afgebakend: een taalmodel dat, na blootstelling aan gevoelige context, bij identieke adversarial prompts output-distributies produceert die statistisch niet te onderscheiden zijn van een model dat aan diezelfde context niet is blootgesteld. In dat scenario is er geen covert channel, de gevoelige context lekt niet door in de output, en refusal-based protection is voldoende.

Dit is de nulhypothese: de output-distributies van beide modellen zijn gelijk. De paper stelt dat deze nulhypothese in de praktijk wordt verworpen, er is meetbare divergentie. Maar de falsifier blijft noodzakelijk: zonder een mogelijkheid om de conclusie te weerleggen, is het geen analyse maar een stellingname.

Het waarneembare testprotocol

De falsifier is operationeel meetbaar via een statistische divergentietest. Het protocol is rechttoe-rechtaan: neem twee instanties van hetzelfde model. Laad in instantie A een gevoelige context (bijvoorbeeld een BSN, een zorgdossier, of een credential string). Laat instantie B leeg of met niet-gevoelige context. Stuur beide instanties een identieke reeks adversarial prompts, zowel willekeurig gegenereerde als specifiek geconstrueerde prompts die ontworpen zijn om het model als covert channel te gebruiken.

Vergelijk vervolgens de output-distributies met een geschikte divergentiemaat (bijvoorbeeld KL-divergie of Jensen-Shannon-divergie over token-distributies). Als de nulhypothese niet kan worden verworpen, dat wil zeggen, de divergentie valt binnen een vooraf bepaalde statistische marge, dan is de conclusie gefalsificeerd voor dat specifieke model en die specifieke context. Refusal-based protection is dan toereikend.

Waarom deze falsifier betekenisvol is

De falsifier is niet triviaal. Het is denkbaar dat bepaalde modelarchitecturen of fine-tuning strategieën context daadwerkelijk isoleren van de generatieve output. Een model dat via architectural safeguards (zoals strict context partitioning of output-space constraints) gevoelige context niet in zijn generatieve distributie laat doorstromen, zou de test kunnen doorstaan. Dit zou betekenen dat refusal-based protection in combinatie met specifieke architecturale maatregelen voldoende is, een zwakkere variant van de conclusie maar materieel anders.

Voor Nederlandse overheidsinstanties is dit onderscheid kritiek. Als de falsifier zich voordoet voor een specifieke modelconfiguratie, verandert het advies: niet "stop met refusal-based protection" maar "deze specifieke configuratie is toereikend onder deze specifieke dreigingsmodel". Dat is een fundamenteel andere beleidsimplicatie onder de AVG en NIS2.

Grenzen van de falsifier

De falsifier geldt per model, per context-type, en per prompt-reeks. Een model dat de divergentietest doorstaat voor financiële data kan falen voor zorggegevens. Een model dat robuust is tegen willekeurige prompts kan lekken bij specifiek geconstrueerde adversarial prompts. Dit betekent dat falsificatie van de conclusie voor één configuratie niet generaliseert naar alle configuraties. De conclusie kan dus partieel gefalsificeerd worden, verzwakt voor een subset van scenario's, zonder volledig ongeldig te worden.

Dit is consistent met de epistemische status van de claim: het is geen universele stelling over alle taalmodellen, maar een empirische observatie over huidige refusal-based architectures. De paper (arxiv.org/abs/2608.19857) presenteert evidence dat de nulhypothese wordt verworpen in de geteste configuraties. De falsifier definieert precies welke waarneming dat zou ongedaan maken.

Counterfactual, causale stresstest

Het kernmechanisme onder druk

De stelling dat refusal-based protection ontoereikend is, rust op één causale schakel: de doorvertaling van latente representaties van de context window naar output-statistiek. De counterfactual is scherp: als LLMs geen statistische co-occurs patronen van hun context window in hun output zouden verwerken, zou het model dan nog steeds als covert channel kunnen fungeren? Het antwoord is nee. Zonder die doorvertaling valt het covert channel weg. Het model zou gevoelige context wel "zien" in zijn attention-lagen, maar die informatie zou niet doorsijpelen naar de token-distributie die de output vormt. Een aanvaller die prompts construeert om het model als covert channel te gebruiken, zou dan niets ontvangen, refusal-based protection zou volstaan.

Dit is geen hypothetische nuance. Het verklaart waarom de paper (https://arxiv.org/abs/2608.19857) aantoont dat een model dat correct weigert om credentials te extraheren, diezelfde credentials toch lekt via verborgen correlaties in woordkeuze, zinslengte en entiteitsfrequentie. De refusal blokkeert de directe paden; de statistische co-occurs omzeilt die blokkade.

Causale ontkoppeling: wat gebeurt er zonder co-occurs?

De stresstest werkt als volgt. Stel dat een overheidsagent toegang heeft tot een BSN-register en een zorgdossier, en een aanvaller vraagt: "Schrijf een neutrale samenvatting van een willekeurig burgerprofiel." Het model weigert correct als het directe extractie detecteert. Maar de output, een ogenschijnlijk generiek profiel, vertoont statistische sporen van de context: de leeftijdsklasse, de regio-aanduiding, de zorgcode-frequentie. Dit zijn geen hallucinaties; dit zijn residuen van de attention-gewichten die de context-representatie vormen en die de output-distributie sturen.

Als we de counterfactual doorvoeren, het model verwerkt geen co-occurs patronen van context naar output, dan produceert het model een generiek profiel dat statistisch onafhankelijk is van de BSN- en zorgdata in zijn context. De aanvaller meet geen signaal. Het covert channel is dood. Dit bevestigt dat de kwetsbaarheid niet zit in de refusal-logica, maar in de architecturale eigenschap dat elke token die het model emitteert een functie is van alle eerdere attention-gewichten, inclusief die over gevoelige context.

Implicatie voor Nederlandse overheidsinzet

De counterfactual is niet academisch. Hij definieert het exacte punt waarop refusal-based protection faalt en waarop aanvullende maatregelen nodig zijn. Voor Nederlandse overheidsinstanties die AI-agents inzetten met toegang tot BSN-gegevens, zorgdossiers of credential stores, betekent dit dat AVG-artikel 32-maatregelen (pseudonimisering, encryptie, toegangsbeheer) ontoereikend zijn als ze alleen op prompt-niveau worden geïmplementeerd. Het covert channel omzeilt toegangsbeheer omdat het model zelf de geautoriseerde actor is, de lek gebeurt binnen de verwerkingsketen, niet eromheen.

Onder NIS2 valt dit in de categorie van incidenten die voortvloeien uit onvoldoende beveiliging van supply-chain en systeemarchitectuur. Een overheidsinstantie die een LLM-agent inzet met context-toegang tot gevoelige data, zonder het statistische lek-pad te mitigeren, kan niet volhouden dat refusal-based protection voldoet, de counterfactual toont aan dat de enige voorwaarde waaronder refusal volstaat (geen co-occurs-verwerking) architectoniel onwaar is voor huidige transformer-modellen.

NORA-principe "scheiding van informatie" biedt hier een aangrijpingspunt: de context window mag niet tegelijkertijd gevoelige brongegevens en aanvaller-bereikbare output bevatten zonder een statistische isolatielaag. Dat is de operationele vertaling van de counterfactual, niet wachten op betere refusals, maar het co-occurs-pad structureel afsnijden.

Het invariant: probabilistische weging als structureel lek

Generatieve AI-modellen weeg hun volledige context window probabilistisch om output te genereren. Dit mechanisme is een invariant: zolang deze architectuurbasis bestaat, is context leakage via verborgen correlaties onvermijdelijk. Dit geldt onafhankelijk van de specifieke modelgrootte of het aantal parameters. Een Nederlandse overheidsinstantie die een AI-agent inzet met toegang tot een BSN of zorgdossier, bouwt op een fundamenteel onvoorspelbare signaalverwerking. Het model leert patronen in de data die niet direct zichtbaar zijn in de prompt of de directe weigering. Dit raakt de basisprincipes van NORA op het gebied van betrouwbaarheid en informatiebeveiliging. Het probleem zit in de statistische aard van de taalmodellen zelf. Zelfs een perfect geïmplementeerd model volgens BIO2-normen kan dit structurele lek niet dichten.

Nieuwe verpakking versus daadwerkelijke nieuwheid

Dat taalmodellen gevoelige data kunnen reproduceren, is algemeen bekende kennis. Guardrails die directe extractie blokkeren via refusal-mechanismen zijn de standaardindustrie-oplossing. Dit is slechts een nieuwe verpakking van een oppervlakkige filterlaag. De daadwerkelijke nieuwheid ligt niet in het bestaan van het lek, maar in de observatie dat deze refusal-mechanismen een valse schijn van veiligheid creëren. Onderzoek toont aan dat aanvallers prompts construeren die het model als covert channel gebruiken (https://arxiv.org/abs/2608.19857). Het model weigert de directe vraag, maar lekt de informatie via bijproducten. Denk aan stochastische variabelen in gegenereerde code of statistische distributies in teksten die de aanwezigheid van specifieke zorggegevens verraden.

De nieuwe implicatie: maskering van exfiltratie onder NIS2 en AVG

De combinatie van de probabilistische invariant en de ontoereikendheid van refusal-mechanismen leidt tot een scherpe, nieuwe implicatie voor compliance. Refusal-based protection werkt specifiek averechts voor Nederlandse publieke sectoren. Het model geeft een correcte weigering, waarna de beheerder de logging als 'veilig' classificeert. Ondertussen vindt data-exfiltratie plaats via verborgen correlaties. Dit maskeert het daadwerkelijke lek. Onder de NIS2-richtlijn en de AVG is een overheidsinstantie verplicht data-exfiltratie te detecteren en te melden. Een agent met toegang tot credential stores die via een covert channel lekt, is een onopgemerkt incident. De valse schijn van veiligheid door refusal-mechanismen verhindert effectieve monitoring. Dit leidt tot een structurele non-compliance, iets wat ook onder de AI Act-systemrisico's zwaarder wordt beoordeeld.

Onzekerheid, expliciete classificatie

Classificatie van het dreigingsmechanisme

De claim dat refusal-based protection ontoereikend is tegen context leakage via covert channels is ESTABLISHED. Onderzoek toont aan dat taalmodellen gevoelige context lekken via verborgen correlaties in hun output, zelfs wanneer directe extractie wordt geweigerd (https://arxiv.org/abs/2608.19857). Voor Nederlandse overheidsinstanties betekent dit dat het instrueren van een AI-agent om geen BSN of zorggegevens te printen, niet voldoet aan de AVG-vereisten voor gegevensminimalisatie en vertrouwelijkheid.

De exacte drempel van voorkennis die een aanvaller nodig heeft om een succesvolle covert channel aanval uit te voeren, is UNKNOWN. Het is PLAUSIBLE dat een aanvaller met minimale partiële kennis, zoals het weten van een BSN of de aanwezigheid van een specifieke ziektegeschiedenis in de prompt-context, voldoende heeft om het model als decoderingsmechanisme te gebruiken. De onzekerheid hier is met name op causaal niveau: de exacte relatie tussen de hoeveelheid voorkennis van de aanvaller en de entropie van de gegenereerde output is niet eenduidig vastgesteld in de literatuur.

Effectiviteit van mitigatie-tools in productie

De effectiviteit van huidige mitigatie-tools zoals differential privacy (DP) en context-isolatie in productieomgevingen bij Nederlandse overheidsinstanties is SPECULATIVE. Hoewel DP wiskundig garanties biedt voor statistische databases, is de toepassing op sequence-to-sequence generatie bij LLM's technisch complex. Op modelniveau is onduidelijk of het toevoegen van voldoende ruis om covert channels te maskeren de bruikbaarheid van de agent voor primaire processen niet vernietigt. Volgens NORA-richtlijnen moeten functionaliteit en privacy in balans zijn, maar deze balans is hier fundamenteel onzeker.

Op bron- en meetniveau ontbreekt empirische data. Er zijn geen publicaties die de robuustheid van context-isolatie of DP bij LLM-agents aantonen binnen de specifieke operationele stack van de Nederlandse publieke sector. De stelling dat deze tools een NIS2-incident of AVG-schending adequaat voorkomen in een live-omgeving met BSN's en credentials, is daarom PROBABLE maar niet bewezen. De implementatie van dergelijke mechanismen vereist aanzienlijke aanpassingen in de informatiebeveiligingsarchitectuur conform BIO2, waarvoor momenteel geen gevalideerde best practices bestaan.