Welke bewijsclaims kan een AI-agent ondersteunen? Een evidence model

Agentic AI-systemen wisselen berichten uit, roepen tools aan, vragen goedkeuring aan, houden gestructureerde beslissessies en wijzigen gedeelde artefacten. Logs en anchors kunnen die records tamper-evident maken, maar ze kunnen ook misleiden als hun evidentiële betekenis impliciet blijft. Een hash bewijst geen semantische waarheid, een handtekening bewijst geen autorisatie, en een externe anchor bewijst geen opname-compleetheid. Dat is de kernboodschap van het paper An Evidence Model for Agentic Processes: Evidence Claims, Trust Assumptions, and Policy Assessment (arXiv:2609.08481).

Het paper is conceptueel: het valideert geen implementatie, voorkomt geen failures en automatiseert geen juridische compliance. Wat het wel levert, is een vocabulaire om precies te zeggen welke claim een agentic black box kan ondersteunen, welke claim het niet kan vestigen, en welke controles eromheen nodig zijn.

Waarom evidentiële betekenis impliciet is, is een probleem

De motiverende vraag van de auteur (Arslan Brömme) is bewust smal: welke evidentiële claims kan een agentic black box eigenlijk ondersteunen? Het antwoord is niet binair. Een record kan integriteits-verifieerbaar zijn maar semantisch onwaar. Het kan ondertekend zijn door een agent-identiteit maar toch beleid schenden. Het kan extern ge-anchord zijn en toch een onderdrukte gebeurtenis missen.

De kern is dat de evidentiële betekenis van een logrecord zelden expliciet wordt gemaakt. De betrokken partijen doen vaak de impliciete aanname: "het is vastgelegd, dus het is bewezen." Het paper ontmantelt die aanname met een claim-georiënteerde decompositie, waarin elke bewijsclaim wordt verbonden aan een mechanisme, een trust-assumptie, een beperking en een dreigingscope.

De vier bewijsclaims die systematisch worden verward

Het paper onderscheidt vijftien evidentiële claims. Het scherpste inzicht zit in vier daarvan, omdat die in de praktijk voortdurend door elkaar worden gehaald:

• Artifict-integriteit (canonisatie + hash): het bewaarde record matcht de gecommitteerde digest. Dat vestigt géén waarheid, intentie, correctheid of compleetheid.
• Temporele existentie (externe anchor): de commitment bestond niet later dan het inclusie- of finality-moment. Dat vestigt géén exacte creatietijd of causale ordening.
• Provenance (agent- of menselijke handtekening): het record is ondertekend door een specifieke sleutel of identiteit. Dat vestigt géén intentie, eerlijkheid of juridische verantwoordelijkheid van de ondertekenaar.
• Goedkeuringsbewijs (vastgelegde approval): een specifieke goedkeuring of afwijzing is vastgelegd en gekoppeld aan beleidscontext. Dat vestigt géén wijsheid, juridische toereikendheid of dat alle gevolgen zijn begrepen.

Een menselijke approval is het perfecte voorbeeld. Een gecanoniseerd record, een SHA-512-digest en een externe anchor ondersteunen de claim dat het bewaarde goedkeuringsrecord nog matcht met de gecommitteerde representatie en dat de commitment niet later bestond dan het anchor-moment. Ze vestigen niet dat de goedkeuring juridisch geldig was, dat de mens alle gevolgen begreep, of dat er geen andere, niet-gelegde discussie heeft plaatsgevonden.

Het centrale ontwerpprincipe

Tabel 1 in het paper illustreert het centrale ontwerpprincipe: de evidentiële vraag is niet of een systeem in het algemeen verifieerbaar is, maar welke eigenschap wordt ondersteund, door welk mechanisme, onder welke aannames en tegen welke dreiging.

Dat is een fundamenteel andere vraag dan de vraag die veel audit-trajecten stellen. Die beginnen vaak bij "kunnen we bewijzen dat het systeem deed wat het deed?" Het paper dwingt de vraag om: "welke claim kunnen we nú ondersteunen, op basis van wélk mechanisme, en welke beperking blijft staan?"

Voor een Nederlandse overheidsorganisatie die een agent inzet voor besluitondersteuning, is dit precies de vraag die een EU AI Act-conformiteitsbeoordeling (Art. 9 risicobeheer, Art. 12 record-keeping, Art. 14 menselijk toezicht, Art. 26 deployer-verplichtingen) en NIS2-verantwoording (Art. 20 bestuursgovernance, Art. 21 risicobeheersmaatregelen, Art. 23 meldplicht) zou moeten sturen. Die bepalingen bevatten echter geen algemeen evidentiemodel voor AI-agenten. Het model in dit paper vult precies dat gat: het vertaalt de record-keeping-verplichting naar concrete, onderscheiden bewijsclaims.

Opname-compleetheid als verwachtingsmodel

Het scherpste operationele inzicht betreft opname-compleetheid. Een logger-capture levert een capture-claim: de gebeurtenis is door het logpad gegaan. Die claim vestigt niet dat alle relevante gebeurtenissen zijn vastgelegd.

Compleetheid kan alleen worden beoordeeld ten opzichte van een verwachtingsmodel, en niet worden afgeleid uit de geobserveerde stroom zelf. Dat is de crux: als ontbrekende records uit de noemer verdwijnen, wordt de bezettingsgraad structureel overschat. Een simpele operationele indicator is de mandatory-event coverage ratio: het aantal verwachte verplichte events met ten minste één gevalideerde observatie, gedeeld door het aantal verplichte events onder een onafhankelijk gedefinieerd, versieerd opnamebeleid (een workflow-specificatie of tool-gateway-regel). Een ratio van één betekent niet global completeness; het is het kwantitatieve signaal dat de evidence supervisor gebruikt voor zijn monitoring-claim.

Deze logica heeft een directe consequentie voor elke auditor: wie opname-compleetheid beweert op basis van de eigen logs, valideert zichzelf. Het verwachtingsmodel moet onafhankelijk van de agent-self-report worden gedefinieerd, anders is de ratio een tautologie.

Segregatie van rollen: waarom het evidentiekanaal apart moest

Het paper situeert het model in een agent-organisatie met functionele CEO-agent, executive, operational, evidence- en audit-rollen. De centrale eis is segregatie: evidence-productie en audit-beoordeling moeten onderscheidbaar zijn van operationele uitvoering, zowel binnen de agent-organisatie als in de omringende menselijke governance-structuur.

Als operationele agenten, logging, evidentie-classificatie, anchoring-keys, audit-beoordeling en managementrapportage allemaal in hetzelfde trust-domein zitten, wordt de evidentiële waarde zwakker. In kleinere teams kan de segregatie worden benaderd via onafhankelijke maintainers, aparte keys, externe audit-diensten of technisch geïsoleerde evidentiecomponenten.

Deze segregatie-is-eis is de architecturale vertaling van een principiële regel: wie over zichzelf bewijs levert, levert een self-reporting claim, geen compleetheidsgarantie. De agent wiens actie wordt geëvalueerd, mag niet ook de component zijn die de actie rapporteert.

Wie beoordeelt de beoordelaar?

De belangrijkste onopgeloste kwestie is de regress: wie beoordeelt de assessor? Als de audit-agent zijn bevindingen produceert, verzendt en opslaat via dezelfde infrastructuur die hij moet evalueren, blijft een adresseringsregres bestaan. Een gecompromitteerde of fout geconfigureerde audit-agent kan een goedgevormde, ondertekende, ge-anchorde bevinding produceren die de onderliggende evidence toch misrepresenteert.

Het paper biedt mitigaties: de audit-functie in een apart trust-domein plaatsen, apart bestuurde ondertekenings-keys gebruiken, onveranderlijke beleidsversies binden, input- en output-commitments vastleggen, de model- en promptconfiguratie documenteren, een onafhankelijk capture-pad volgen en onderworpen zijn aan periodieke menselijke steekproeven. Maar het erkent dat tweede-orde-evidence over het audit-proces zelf een proportionele control moet zijn, en dat dezelfde vertrouwensproblematiek zich één niveau hoger kan verplaatsen.

Deze erkende onvolledigheid is precies waar een goed evidentiemodel zich van een marketingverhaal onderscheidt: het claimt geen perfectie, het maakt de resterende beperking expliciet.

Wat dit betekent voor de Nederlandse praktijk

Voor overheidsorganisaties, zorginstellingen en semi-publieke instellingen die agentic AI verkennen, levert dit paper vooral één ding: een taal om te eisen dat een leverancier zijn evidentie-claims expliciteert. In plaats van te accepteren dat "alles wordt gelogd," kan een inkoop- of audit-team per bewijsclaim vragen: welk mechanisme ondersteunt deze claim, onder welke aannames, en welke beperking blijft staan?

Concreet betekent dit vier vragen bij elke agentic inzet:

1. Bevestigt een hash wél integriteit, en wat bevestigt hij niet (semantische waarheid, intentie, compleetheid)?
2. Bevestigt een handtekening wél key-binding, en wat bevestigt hij niet (autorisatie, juridische verantwoordelijkheid)?
3. Bevestigt een externe anchor wél temporele existentie, en wat bevestigt hij niet (causale ordening, compleetheid)?
4. Wordt opname-compleetheid gemeten tegen een onafhankelijk verwachtingsmodel, of tegen de eigen logs?

Wie deze vier vragen kan stellen, heeft de evidentiële taal die het paper biedt al geïnternaliseerd. Wie ze niet kan stellen, koopt een black box waarvan de evidentie-claims impliciet blijven.

Het paper is een position paper zonder empirische validatie. De kracht zit niet in nieuwe resultaten, maar in een conceptuele ordening die de Nederlandse audit- en compliancepraktijk direct kan toepassen om over te gaan van vage "we loggen alles"-claims naar precieze, onderbouwde bewijsclaims.

Primaire bron: An Evidence Model for Agentic Processes: Evidence Claims, Trust Assumptions, and Policy Assessment · volledige PDF