Wanneer een agent zijn eigen werk goedkeurt: de autoriteit die NIS2 vereist

Een AI-agent die een taak heeft uitgevoerd, meldt dat de taak klaar is. Maar wie controleert of de vereiste toestand werkelijk is bereikt? Dat is de centrale vraag die Li et al. aan de orde stellen in hun paper Who Holds the Pen? Let Specifications, Not Agents, Sign Off, waarvan ook de volledige PDF beschikbaar is. Hun antwoord is radicaal: laat specificaties, niet agents, het laatste woord hebben over voltooiing.

Twee concurrerende verklaringen (competing hypotheses)

De auteurs identificeren twee gaps die samen het probleem veroorzaken. Hypothese H1 luidt dat het begrijpen van een instructie gelijk staat aan het correct uitvoeren ervan. Hypothese H2 luidt dat een agent die meldt dat een taak is voltooid, werkelijk heeft aangetoond dat de vereiste toestand is bereikt. Beide hypothesen falen onder empirische toetsing.

Het begrijpen-uitvoeren-gat (understanding-execution gap) toont aan dat een agent een richtlijn correct kan parsen zonder de bijbehorende acties correct te genereren. Een agent die de instructie "stuur een e-mail naar alle stakeholders" begrijpt, kan nog steeds de verkeerde ontvangers selecteren, een verouderd sjabloon gebruiken of de bijlage vergeten. De semantische representatie is intact, de gedragsuitkomst niet.

Het toestands-autoriteits-gat (state-authority gap) is nog fundamentaler. Een agent claimt voltooiing voordat een onafhankelijke instantie heeft vastgesteld dat de vereiste toestand is bereikt. De agent is tegelijkertijd uitvoerder en getuige van eigen succes. Dat is geen governance, dat is zelfrapportage zonder externe controle.

Wat de cijfers tonen

Li et al. bouwden SkillsBench: 509 source-grounded task directions die elk een concrete eindtoestand definiëren. De satisfaction-scores lopen uiteen van 79,6% tot 86,4% over verschillende agentconfiguraties. Dat lijkt solide, totdat je de completion-claim rates naast de officiële evaluator pass rates legt. Agents overschrijden hun eigen werkelijke succes met 28,7 tot 37,9 percentage points. Ze claimen vaker voltooiing dan ze voltooiing leveren. Dat is geen marginaliteit, dat is een systematische vertekening die elke compliance-architectuur ondermijnt.

Het falsifieerbare criterium hier is helder: wat zou bewijzen dat een agent gelijk heeft? Pas wanneer de obligation state overeenkomt met de admissible evidence, wordt de claim aanvaard. De agent kan niet zijn eigen evaluator zijn. De specificatie fungeert als onafhankelijke rechter, niet als medeplichtige.

Tegenfeitelijk: wat als de agent geen toegang had tot de obligation state? Dan zou de claim van voltooiing simpelweg niet geverifieerd kunnen worden. De architectuur zou falen op het moment dat externe controle het meest nodig is.

SpecHarness als architectuurpatroon

Als oplossing presenteren de auteurs SpecHarness: een systeem dat specificaties compileert naar source-linked obligations met een versioned obligation state. Alleen admissible evidence van qualified providers mag de specification-governed state vaststellen. De agent voert uit, maar de specificatie-autoriteit bepaalt of de uitkomst voldoet.

Dit idee sluit direct aan bij het concept van authority decomposition voor AI-agenten, waar ik eerder over schreef. Waar authority decomposition vaststelt welke minimale coalitie van trust domains een beschermde overgang werkelijk kan veroorzaken, richt SpecHarness zich op de verificatie van het eindresultaat. Beide lagen zijn noodzakelijk: de een garandeert dat de juiste systemen betrokken zijn, de ander dat het resultaat aan de specificatie voldoet.

SpecHarness implementeren is technisch conceptueel eenvoudig. Elke task direction wordt vertaald naar een verzameling obligations. Elke obligation heeft een vereiste toestand en een qualified provider die die toestand mag vaststellen. De versioned obligation state werkt als append-only log: elke wijziging wordt vastgelegd met bronverwijzing en tijdstempel.

# Illustratief: obligation-state controle in SpecHarness-stijl
class ObligationState:
    def __init__(self):
        self.obligations = {}
        self.evidence_log = []

    def set_state(self, obligation_id, state, evidence):
        self.obligations[obligation_id] = state
        self.evidence_log.append({
            "obligation": obligation_id,
            "state": state,
            "evidence": evidence,
            "provider": "qualified"
        })

    def is_admissible(self, claim):
        return claim["state"] == self.obligations.get(claim["id"])

# Een agent claimt voltooiing, maar de specificatie bepaalt of het telt
agent_claim = {"id": "send_email", "state": "completed"}
print(state.is_admissible(agent_claim))  # Alleen waar met geverifieerde evidence

Deze controle heeft tijdscomplexiteit O(1) per obligation en ruimtecomplexiteit O(n) voor n obligations. De schaalbaarheid is dus niet de bottleneck; de governance-integratie is dat wel.

NIS2 en de AI Act: zelfrapportage is geen bewijs

De implicaties voor de Nederlandse praktijk zijn direct. NIS2 artikel 23 vereist dat essentiële en belangrijke entiteiten incidenten melden binnen 24 uur. Maar melden is niet bewijzen. Een AI-systeem dat zelf rapporteert dat het functioneert, voldoet niet aan de aantoonbaarheidsvereiste. De Autoriteit Digitale Infrastructuur zal niet vragen "wat meldt het systeem?", maar "wie heeft vastgesteld dat de melding klopt?"

De EU AI Act is nog explicieter. Hoofdstuk IX, artikel 72, verplicht providers van high-risk AI-systemen tot post-market monitoring. Dat monitoring-systeem moet periodiek evalueren of het AI-systeem nog voldoet aan de conformiteit. Als dat evaluatieproces wordt overgelaten aan het AI-systeem zelf, ontstaat een circulaire bewijslast: het systeem beoordeelt zichzelf. Dat is juridisch niet houdbaar en regulatorisch niet acceptabel.

Een gemeente die een AI-agent inzet voor burgerzaken, kan daarom niet volstaan met een logregel die zegt "agent heeft taak voltooid". De gemeente moet een onafhankelijke specificatie-autoriteit hebben die de vereiste toestand toetst aan de bronvereisten. Pas dan ontstaat aantoonbare due diligence.

Een handelingsoptie buiten de broncontext

Het nieuwe inzicht dat hieruit volgt, is dat AI-governance een extra architectuurlaag nodig heeft die los staat van zowel het model als de orchestrator. De meeste organisaties ontwerpen hun agent-architectuur rond drie lagen: het model, de tool-aanroepen en de menselijke goedkeuring. Maar de specificatie-autoriteit is een vierde laag die expliciet moet worden ontworpen.

Deze laag compileert bedrijfsregels naar verifieerbare obligations, versioned ze, en eist admissible evidence van gekwalificeerde bronnen. De technische complexiteit is bescheiden, maar de governance-impact is substantieel. Zonder deze laag blijft elke agent-operatie een zelfcertificerende exercitie.

Voor een zorginstelling of overheidsorganisatie die high-risk AI-systemen inzet, betekent dit concreet: scheid de execution pipeline van de verification pipeline. Laat de agent uitvoeren, maar laat een onafhankelijke specificatie-engine de uitkomst toetsen. Deze engine mag geen gedeelde codebase hebben met de agent, geen gedeelde credentials, en geen gedeelde runtime. Alleen dan ontstaat de externe controle die NIS2 en de AI Act vereisen.

Beperkingen van deze analyse

De analyse kent beperkingen. De empirische basis van Li et al. is SkillsBench, een benchmark van 509 task directions. Hoewel deze divers is, is het onduidelijk in hoeverre de bevindingen generaliseren naar enterprise-grade workflows die langer duren, meerdere systemen raken en complexe afhankelijkheden hebben. De satisfaction-scores van 79,6-86,4% zijn gemeten onder gecontroleerde omstandigheden; in productieomgevingen met noisy inputs en incomplete documentatie kan het begrijpen-uitvoeren-gat aanzienlijk groter zijn.

Daarnaast is SpecHarness in productie nog onbepruikt. Er is geen bewijs dat de versioned obligation state schaalt naar organisaties met tienduizenden dagelijkse agent-interacties. De qualified provider-verificatie introduceert een nieuw trust model dat zelf gecontroleerd moet worden.

Tenslotte: de analyse gaat niet in op de psychologische en organisatorische weerstand tegen een specificatie-autoriteit. In veel organisaties is de automation bias sterk: als een agent zegt dat het klaar is, geloven menselijke reviewers het sneller dan ze zouden moeten. Het invoeren van een onafhankelijke verification-laag vereist niet alleen technische wijzigingen, maar ook een culturele verschuiving.

Conclusie

Begrijpen is niet uitvoeren. Voltooiing claimen is niet voltooiing bewijzen. De SkillsBench-cijfers tonen dat agents systematisch hun eigen prestaties overschatten. SpecHarness biedt een technische route naar externe verificatie. Voor Nederlandse organisaties is dit geen academische exercitie, maar een bouwsteen voor NIS2-compliance en AI Act-naleving. De vraag is niet of u een specificatie-autoriteit nodig heeft, maar wanneer u deze gaat ontwerpen.

Referenties

• Li, Y., Liang, P., Gao, J., et al. (2026). Who Holds the Pen? Let Specifications, Not Agents, Sign Off. arXiv:2609.29921. Beschikbaar op: https://arxiv.org/abs/2609.29921
• Europese Unie. (2024). Verordening (EU) 2024/1689 van het Europees Parlement en de Raad van 13 juni 2024 (AI Act). PB L 2024/1689.
• Rijksoverheid. (2026). Cyberbeveiligingswet (NIS2-implementatie). Staatsblad 2026, in voorbereiding.