AgentCIScope: waarom AI-agents privacy lekken, ook als ze hun taak goed doen

Goed werk is geen garantie tegen lekkage

LLM-agents worden steeds bekwamer in dagelijkse werktaken: ze lezen en schrijven e-mail, documenten en agenda's via tool-calls, met toegang tot gevoelige gebruikersdata. De centrale privacy-vraag is daarmee niet of een agent zijn taak afkrijgt, maar of de informatiestromen die hij produceert voldoen aan de context-specifieke regels die bepalen welke informatie waar mag vloeien. Dat is de vraag naar contextual integrity, het principe van Nissenbaum dat informatiepassend is wanneer hij voldoet aan de privacynormen van de relevante context, niet alleen wanneer hij technisch correct is.

AgentCIScope (Guo, Chen, Lin, Liu, Li, University of Chicago, Microsoft Research, UIUC) bouwt de eerste unified benchmark die dit op agent-niveau meet, in plaats van op model-niveau of in beperkte, handmatig geconstrueerde omgevingen. De benchmark zet publieke en synthetische privacy-casussen om in uitvoerbare multi-step agent-taken, met disclosure-constraints gegrond in drie criteria: geldende privacy-beleidsregels, persona-gebaseerde overeenkomsten, en een vooraf gedefinieerde taxonomie van gevoelige attributen.

De bevindingen: lekkage is de norm, niet de uitzondering

Over 12 agents en 936 taken is het resultaat ontnuchterend. Single-run lekkage varieert van 32,5% tot 94,4%, wat betekent dat zelfs de beste geteste agent in een derde van de gevallen informatie doorstuurt naar een context waar die niet thuishoort. De bevinding die de meeste aandacht verdient is de kern: sterke taakvoltooiing garandeert geen behoud van contextual integrity. Een agent die zijn taak correct afrondt, kan tegelijkertijd privacy schenden, het zijn onafhankelijke assen.

Herhaling maakt het erger. Wanneer elke taak vijf keer wordt uitgevoerd, stijgt de lekkage met 4 tot 19 procentpunten, wat suggereert dat de lekkage deels niet-deterministisch is en dat eenmalige evaluaties het risico onderschatten.

De variatie over attributen is de meest praktische bevinding. Persoonlijke voorkeuren en boekingsgegevens hebben gemiddelde lekkagepercentages van respectievelijk 84,7% en 76,5%, tegenover 17,1% voor creditcardgegevens en 29,4% voor burgerservicenummers. Dat patroon is contra-intuïtief en juist daarom belangrijk: de meest schadelijke datatypes lekken niet het meest. De data die het makkelijkst in een normale conversatie glipt, wat iemand leuk vindt, wanneer iemand reist, lekt juist het vaakst, omdat die geen alarmbel doet afgaan. Creditcard- en identificatiegegevens zijn omgeven door expliciete, herkende beveiligingsregels; voorkeuren en boekingen niet. De context is ook bepalend: agenda is de hoogste lekkagebron, en WhatsApp de hoogste lekkagebestemming.

De AVG-lezing: contextual integrity als compliance-lens

Voor Nederlandse organisaties is dit direct relevant onder de AVG. De verordening verbiedt niet simpelweg "data delen", maar vereist dat verwerking een rechtmatige grondslag heeft en dat data niet verder wordt verwerkt op een manier die onverenigbaar is met het oorspronkelijke doel. Een agent die een voorkeur uit een agenda haalt en die onnodig in een e-mail aan een derde zet, kan een onrechtmatige doorgifte zijn, óók wanneer de agent zijn taak technisch correct heeft uitgevoerd.

Contextual integrity biedt hier een preciezere lens dan de gebruikelijke binaire "lek/geen-lek"-beoordeling. De drie grounding-criteria van AgentCIScope, beleidsregels, overeenkomst en gevoelige-attribuut-taxonomie, zijn in wezen een operationalisering van wat een DPIA zou moeten vastleggen: welke informatie mag onder welke omstandigheden naar welke bestemming vloeien. De bevinding dat lekkage stijgt bij herhaling heeft een eigen AVG-consequentie: een DPIA die uitgaat van een enkele testrun onderschat het daadwerkelijke risico, omdat agent-gedrag niet-deterministisch is.

Wat dit betekent voor wie agents inzet

De praktische les is drieledig. Ten eerste moet agent-evaluatie privacy scheiden van taakvoltooiing. Een agent die 95% van zijn taken correct afrondt, kan nog steeds in 90% van de gevallen privacy lekken, wie alleen op taakvoltooiing stuurt, meet de verkeerde as. Ten tweede moet de evaluatie context-gegrond zijn: een generieke "lekte de agent gevoelige data?"-vraag mist de lekkage van voorkeuren en boekingen die juist het vaakst voorkomt, omdat die geen expliciete beveiligingsregel heeft. Ten derde moet evaluatie herhaald worden, omdat de niet-deterministische aard van agenten betekent dat eenmalige metingen systematisch te rooskleurig zijn.

De architectonische consequentie sluit aan bij de bredere verschuiving die we eerder beschreven in agent-isolatiegrenzen: privacy kan niet alleen op het niveau van de prompt of de intentie worden geborgd, maar vereist een grens waarop elke informatiestroom wordt gecontroleerd tegen de context-specifieke regels die bepalen of die stroom is toegestaan. AgentCIScope levert het bewijs dat zonder zo'n grens de lekkage de norm is, zelfs bij goed werk.