Accountable partial understanding: verantwoorden wat je niet volledig begrijpt

Ergens in een werkende organisatie neemt een softwaresysteem nu een beveiligingsrelevante beslissing die niemand in de kamer volledig begrijpt. Het kan een kwetsbaarheidspatch aanbevelen, een toegangsbeleid wijzigen, een incident samenvatten, code genereren, een alert triëren, of beslissen of een klinische of operationele workflow mag doorgaan. De beslissing kan nuttig zijn, zelfs correct. Het probleem is wat de automatisering achterlaat: niemand kan precies zeggen wat er werd begrepen, wat werd aangenomen, welk bewijs de handeling ondersteunde, en wie het resterende onbekende heeft geaccepteerd.

Accountable Partial Understanding, van Josiah Dykstra (RTX BBN Technologies), karakteriseert deze kloof als een zelfstandig aanvalsoppervlak en geeft er een naam en een raamwerk aan.

Wat de paper vond

De kern van de analyse is dat softwarebeveiliging de kloof tussen systeemgedrag en menselijk begrip altijd heeft behandeld als een conditie die je moet verkleinen door analyse en assurance, en dat wat overbleef als geaccepteerd risico werd geboekt. Agentic AI verandert die kloof fundamenteel: wanneer software leest, schrijft, uitlegt en autoriseert, wordt gedeeltelijk begrip sneller, ondoorzichtiger en gekoppeld aan gedelegeerde autoriteit.

De paper legt een taxonomie van vier elkaar beïnvloedende aanvalscategorieën bloot die dit epistemische aanvalsoppervlak raken:

1. Interpretatie van intent: aanvallen op hoe het systeem bedoeling uitlegt.
2. Productie en consumptie van bewijs: aanvallen op hoe bewijs wordt gemaakt en gelezen.
3. Scope van gedelegeerde autoriteit: aanvallen op de grenzen van wat is overgedragen.
4. Begrip van menselijke supervisors: aanvallen op wat de toezichthouder wel en niet doorziet.

Daaruit definieert de paper accountable partial understanding (APU) en specificeert zes noodzakelijke condities: begrensde scope met expliciete aannames, inspecteerbaar bewijs, toegewezen verantwoordelijkheid, zichtbare resterende onbekenden, handelbaarheid en temporeel onderhoud.

Uit die condities volgen vijf ontwerpprincipes: begrensde delegatie, ontkoppeld bewijs, aanname-tracking met invalidatie, rol-specifieke verantwoordingsaanzichten, en interventie-behoudend ontwerp met registers van resterende onbekenden. Om te testen of verantwoordingsmechanismen standhouden onder verandering en tegendruk, introduceert de paper twee meetbare probe-dimensies: bewijs-koppeling en invalidatie-latentie.

De analyse wordt gedragen door drie werkende voorbeelden: een AI-coderingsagent, een autonome cyber-defense-agent en een AI-gemedieerde update van een insuline-afgiftesysteem. De conclusie is scherp: beveiliging zonder volledig begrip is er al; de opgave is om het verantwoordbaar te maken.

Waarom dit de Nederlandse publieke sector raakt

Voor wie een agent in een publieke context inzet, snijdt deze paper precies de spanning aan die de AI Act en NIS2 stellen aan menselijk toezicht en risicomanagement.

Drie punten maken dit concreet:

1. Volledig begrip is een illusie die verantwoording ondermijnt. De AI Act vraagt in art. 14 om menselijk toezicht, en NIS2 in art. 21 om risicomanagement. Wie toezicht en risicobeheer inricht op de aanname dat iemand het systeem volledig begrijpt, bouwt op een fictie. APU verschuift de norm van begrip naar verantwoording: je hoeft niet alles te begrijpen, maar je moet kunnen zeggen wat je begrijpt, wat je aanneemt, welk bewijs je hebt, en wat je resterende onbekenden zijn.
2. Gedeeltelijk begrip wordt een aanvalsoppervlak. Waar een agent bewijs produceert en consumeert, is dat bewijs zelf een doelwit. Een DPIA die uitgaat van een statische, begrepen systeemgrens mist de dynamische kloof die de paper karakteriseert.
3. Verantwoording is meetbaar. De twee probe-dimensies (bewijs-koppeling en invalidatie-latentie) geven een concrete manier om te toetsen of een verantwoordingsmechanisme standhoudt onder verandering, in plaats van te vertrouwen op een eenmalige conformiteitsverklaring.

Epistemische classificatie

Claim	Status
Agentic AI maakt gedeeltelijk begrip sneller, ondoorzichtiger en gekoppeld aan gedelegeerde autoriteit	Hypothese (conceptuele karakterisering, geen meting)
Vier aanvalscategorieën vormen een volledige taxonomie	Hypothese (auteurskader, geen exhaustief bewijs)
Zes APU-condities zijn noodzakelijk	Hypothese (normatief ontwerp, geen empirische toets)
Twee probe-dimensies meten verantwoording onder verandering	Empirisch ondersteund (voorgestelde meetmethode, niet gevalideerd op schaal)
Een specifieke NL-toepassing is reeds kwetsbaar	Niet aangetoond (drie illustratieve voorbeelden, geen NL-casus)

De sterkste verdedigbare uitspraak is het conceptuele raamwerk, niet een gemeten resultaat: er bestaat een kloof tussen systeemgedrag en menselijk begrip die bij agentic AI verandert, en die kloof kan als verantwoordingsopgave worden gespecificeerd in plaats van als onbereikbaar volledig begrip.

Wat te doen

1. Vervang de begripsnorm door een verantwoordingsnorm. Eis niet dat iemand het systeem volledig begrijpt, maar dat de organisatie kan specificeren wat begrepen is, wat is aangenomen, welk bewijs de handeling draagt, en wie het resterende onbekende heeft geaccepteerd.
2. Documenteer aannames met een invalidatiemechanisme. Leg aannames expliciet vast en koppel er een trigger aan die ze ongeldig verklaart wanneer de context verandert, in plaats van ze stilletjes te laten verouderen.
3. Scheid bewijs van delegatie. Zorg dat het bewijs dat een handeling ondersteunt, ontkoppeld is van de autoriteit die de handeling uitvoert, zodat bewijs niet met autoriteit mee kan worden vervalst.
4. Meet verantwoording onder verandering. Gebruik bewijs-koppeling en invalidatie-latentie als toetsen die je doorlopend uitvoert, niet als eenmalige acceptatiecriteria.

De les is niet dat je AI-agents moet afwijzen omdat niemand ze volledig begrijpt. De les is dat volledig begrip nooit de lat was, en dat de verantwoording van gedeeltelijk begrip de eigenlijke opgave is, waar de AI Act en NIS2 om vragen.

Bronnen

• Accountable Partial Understanding: Securing the Epistemic Attack Surface of Agentic Systems, arXiv:2610.26799, Dykstra, 19 oktober 2026