Het mozaïekeffect: autorisatie per document faalt zodra de agent combineert

Toegangscontrole is de klassieke verdediging tegen datalekken: een gebruiker krijgt per document een clearance, en wat hij niet mag zien, ziet hij niet. Die verdediging gaat uit van één stille aanname: dat vertrouwelijkheid op het niveau van het document ligt. Maar een LLM-agent leest niet alleen documenten, hij trekt conclusies. Als een agent uit meerdere afzonderlijk geoorloofde documenten een conclusie afleidt die samen hoger geclassificeerd is dan de som van de delen, dan lekt hij informatie die geen enkel toegangsrecht hem ooit heeft getoond. Dat is het mozaïekeffect, en een nieuwe meting van Ruiz, Luceri en Ferrara (USC) kwantificeert voor het eerst hoe vaak dit bij agentische LLM-systemen daadwerkelijk gebeurt.

Wat er is gemeten

De onderzoekers bouwden 30 synthetische scenario's uit drie domeinen (cybersecurity, medisch, militair), waarin een agent toegang had tot meerdere documenten die elk afzonderlijk waren vrijgegeven, maar waarvan de combinatie een gevoelige conclusie onthulde. Ze lieten drie LLM-agents in een gecontroleerde simulatie 10.800 antwoorden produceren, plus 1.440 antwoorden van live agents in twee open-source harnesses.

Het resultaat is ongemakkelijk. Zelfs bij goedaardige queries die bedoeld zijn om vanuit één document te beantwoorden, lekte het best presterende model, GPT-5.6-Sol, in 7,08 procent van de antwoorden de verboden composietconclusie (95% betrouwbaarheidsinterval 3,75 tot 10,67 procent). In de live harnesses lag het lekpercentage nog hoger.

De kerncijfers

Maatregel	Onveilige antwoorden
Zonder extra safeguards (GPT-5.6-Sol, simulatie)	7,08% (CI 3,75-10,67%)
Mét zichtbare classificatie-headers én aggregatieregels	32,37% (CI 28,33-36,19%)

De tweede rij verdient een dubbele lezing. De auteurs voegden expliciete classificatie-headers en aggregatieregels toe als verdediging, en die verlaagden het gepoolde lekpercentage substantieel. Toch bleef ruim een derde van de antwoorden onveilig, ondanks die safeguards. Er is dus geen eenvoudige prompt- of labeloplossing die het mozaïekeffect afdoende dicht.

De meest verraderlijke secundaire vondst staat los van de percentages: een weigering garandeert geen vertrouwelijkheid. Soms verraadt de weigering zelf de verboden conclusie, omdat de agent die conclusie al geformuleerd heeft om haar te kunnen weigeren. Wie "daar mag ik niet over antwoorden" zegt, heeft de grens al overschreden.

Epistemische classificatie

De claims scheiden zich naar bewijssterkte, niet naar overtuigingskracht.

Claim	Type	Status
Agents lekken verboden composietconclusies in gecontroleerde simulatie	SOURCE_CLAIM	Empirisch ondersteund (10.800 antwoorden)
Weigeringen kunnen de conclusie zelf verraden	SOURCE_CLAIM	Empirisch ondersteund, kwalitatieve observatie
Het mozaïekeffect is een reëel risico in productie-RAG met echte RBAC	HYPOTHESIS	Niet getest; externe validiteit is de zwakke plek
Safeguards elimineren het risico	HYPOTHESIS	Weerlegd door de 32,37%-meting
"Inference control" is de ontbrekende laag	DJIMIT_INFERENCE	Eigen interpretatie, geen conclusie van de auteurs

De sterkste verdedigbare claim is het mechanisme, niet een specifiek percentage: per-document autorisatie is correct, maar de inferentie over documenten heen produceert een hoger-geclassificeerde conclusie die buiten het toegangsrecht valt. Dat mechanisme staat los van de exacte lekkagegetallen.

Wat de paper niet test

De methodologische beperkingen zijn materieel en moeten de reikwijdte van elke conclusie begrenzen:

• Synthetisch, niet echt. De 30 scenario's zijn geconstrueerd, niet afkomstig uit echte vertrouwelijke datasets. De 7,08 en 32,37 procent zijn simulatiegetallen, geen veldmeting.
• Geen productie-omgeving. Er is niet getest tegen een productie-RAG met echte role-based access control, echte compartmentalisering of echte audit-logging.
• Geen Nederlandse context. Geen test tegen NEN 7510-records (medische compartimenten) of BIO2-classificaties. Het mixed-clearance-scenario is geconstrueerd, niet afkomstig uit een bestaande overheidsimplementatie.
• Beperkt modelbereik. Drie LLM's in simulatie plus twee open-source harnesses; de generaliseerbaarheid naar andere modellen en architecturen is onbewezen.

Wat desondanks overeind blijft, is de conceptuele vondst: het toegangsrecht regelt wat de agent leest, niet wat de agent afleidt. Dat onderscheid verdwijnt niet met betere percentages.

Waarom dit de publieke sector raakt

Het mozaïekeffect treft precies de situatie waarvoor Nederlandse organisaties hun classificaties inrichten. De BIO2 vereist passende maatregelen voor beschikbaarheid, integriteit en vertrouwelijkheid, maar denkt in termen van informatieobjecten en toegangsrechten. NEN 7510 compartimenteert medische gegevens per doelgroep. De AVG begrenst verwerking op grondslag en doelbinding. Geen van deze kaders adresseert de laag die deze paper blootlegt: de inferentie van het model over documentgrenzen heen.

Concreet: een medewerker met toegang tot dossier A en dossier B mag beide afzonderlijk zien, maar mag de conclusie die beide dossiers samen rechtvaardigen niet kennen. Een LLM-agent die beide dossiers voor hem samenvat, heeft die conclusie al getrokken, of hij haar nu uitspreekt of niet. De weigering kan het verraden. Dit is niet een access-control-probleem dat met betere permissies is op te lossen; het is een inferentie-controleprobleem dat op het niveau van het model en de orchestratie moet worden aangepakt.

Wat te doen

Drie maatregelen volgen direct uit het mechanisme, in volgorde van rendement:

1. Beperk wat de agent over documenten heen mag aggregeren, niet alleen wat hij mag openen. Een aggregatiebeleid dat cross-document inferentie expliciet begrenst, adresseert het gat dat per-document rechten openlaten.
2. Meet lekkage, niet alleen weigering. Een agent die correct weigert, kan alsnog de conclusie hebben geformuleerd. Audit op geformuleerde conclusies, niet alleen op gecommuniceerde antwoorden.
3. Behandel classificatie-headers als noodzakelijke maar onvoldoende maatregel. De paper toont dat headers en aggregatieregels het risico verlagen maar niet elimineren; wie erop vertrouwt als eindoplossing, houdt een derde van de antwoorden onveilig.

Zie ook

• AgentCIScope: waarom AI-agents privacy lekken, ook als ze hun taak goed doen
• Agents that know too much: privacy in LLM-agents
• Het audittrail lekt meer dan het antwoord: wat CIPL leert over privacy in LLM-agents

Bronnen

• Agent Mosaic: Recognizing Confidentiality Leaks in Agentic LLM Systems, Ruiz, Luceri, Ferrara, arXiv preprint, 21 oktober 2026
• Baseline Informatiebeveiliging Overheid (BIO), Digitale Overheid
• NEN 7510-1:2024 Informatiebeveiliging in de zorg, NEN