De envelop is een onvolledig contract: een kritische lezing van AI-GRACE voor agentic AI in het openbaar bestuur

AI-GRACE: A Use-Case Operationalization Framework for Agentic AI (Cuneo, Chun & Khanna, 2026, arXiv:2609.21192)

Stelling

AI-GRACE (Cuneo, Chun & Khanna, 2026) is de meest bruikbare poging tot nu toe om governance van agentic AI tot op architectuurniveau door te trekken. Het onderbouwt zijn belangrijkste inzicht alleen niet: bij oplopende autonomie verschuift de bewijslast van testen naar afdwingen. In deze bijdrage doe ik drie dingen. Ik geef dat argument een formele basis. Ik laat zien waar het framework botst met het Nederlandse bestuursrecht. En ik stel een uitbreiding voor die het paper mist: een minimale soevereine kern.

Wat het paper claimt en wat niet

De methode legt per use-case een traceerbare keten. Die loopt van doelstellingen en verplichtingen (G), via risico's in zeven domeinen (R), naar eisen voor assurance vóór livegang, runtime controls en evidence (A/C/E). Daarna worden capabilities gekwalificeerd in vier fit-states, volgt een logische architectuur en ten slotte een autorisatiebesluit. Dat besluit bestaat uit een Agent Operating Envelope plus een samenvattend Risk-Aligned Independence Level (RAIL 0-4).

Methodologisch positioneert het zich als design science. In de termen van Peffers et al. (2007) doorloopt het paper probleemidentificatie, ontwerp en demonstratie, maar geen evaluatie. De demonstratie is een fictieve casus, en in de FEDS-taxonomie van Venable et al. (2016) is dat de zwakste evaluatievorm: een illustratief scenario, geconstrueerd door de ontwerpers zelf. De auteurs erkennen dit. De zeven domeinen noemen ze uitdrukkelijk een ontwerpinterpretatie. Wederzijdse uitsluiting, volledigheid en interbeoordelaarsbetrouwbaarheid van de fit-states zijn niet getoetst.

Het artefact is dus een propositie. Het design principle is wel falsifieerbaar: expliciete koppeling van verplichting, risico, capability en bewijs leidt tot completere en beter toetsbare deploymentbesluiten. Daar valt op te bouwen.

Waarom testen niet schaalt met autonomie

Het paper merkt op dat een geaggregeerde accuracy-score een kleine set onacceptabele fouten kan verbergen. Het sterkere argument is statistisch.

Bovengrens bij nul waargenomen fouten. Observeer je in n onafhankelijke runs geen enkele fout, dan is de 95%-bovengrens van de werkelijke foutkans bij benadering 3/n (Hanley & Lippman-Hand, 1983). Wie wil aantonen dat een agent minder dan eens per 10.000 gevallen een onjuiste beschikking voorbereidt, heeft circa 30.000 foutloze, onafhankelijke en representatieve runs nodig (3/30.000 = 1/10.000). Dat geldt per modelversie, per promptwijziging en per toolconfiguratie. De onafhankelijkheids- en stationariteitsaannames houden in productie niet stand, want de inputverdeling verschuift en een adversary kiest zijn inputs juist níet willekeurig.

Compositie over trajecten. Een agentische taak is een keten. Bij stapbetrouwbaarheid p en k stappen is de trajectbetrouwbaarheid hooguit p^k: 0,99²⁰ ≈ 0,82 en 0,999²⁰ ≈ 0,98. Foutcorrectie binnen het traject helpt, maar is zelf probabilistisch.

De conclusie die het paper impliciet trekt, volgt hier dwingend uit. Assurance kan het probabilistische deel van het systeem alleen begrenzen tot een orde van grootte die voor consequente handelingen onvoldoende is. De gevolgen moeten daarom deterministisch begrensd worden. Dit is het uitgangspunt van Levesons STAMP/STPA (2011): veiligheid is een beheersingsprobleem en geen betrouwbaarheidsprobleem. AI-GRACE is in wezen een STPA-achtige analyse van unsafe control actions, maar mist het bijbehorende instrumentarium. De assurance-eis in het paper (claim, methode, acceptatiecriterium, populatie, versie) is een halve assurance case. De argumentstructuur en de expliciete defeaters uit Goal Structuring Notation of Claims-Arguments-Evidence ontbreken.

Controls: de reference monitor in nieuwe kleren

Het paper stelt dat guardrails feilbaar zijn en dat consequente verboden waar mogelijk onafhankelijk van de interpretatie van de agent moeten worden afgedwongen. Dat is een herontdekking van het reference-monitorconcept (Anderson, 1972). Een afdwingingsmechanisme moet elke toegang mediëren, niet te omzeilen zijn en klein genoeg zijn om te verifiëren.

Een LLM-gebaseerde guardrail faalt op het derde criterium, want hij is even onverifieerbaar als de agent die hij bewaakt. Guardrails zijn daarmee detectie, geen enforcement. Het paper suggereert dat onderscheid wel, maar maakt het niet scherp.

Twee klassieke modellen verklaren de architectuur van het bankvoorbeeld beter dan het paper zelf doet:

Confused deputy (Hardy, 1988). Prompt-injectie is geen nieuw aanvalstype. De agent beschikt over de autoriteit van de cliënt en wordt door een derde, via de inhoud van een factuur, tot gebruik daarvan bewogen. Betere detectie is niet de structurele remedie. De remedie is dat autoriteit meereist met de opdracht en niet met de identiteit van de agent. Dat is wat het paper bedoelt wanneer het vraagt of identiteit en scope "delegatie overleven". Praktisch betekent dat token exchange met scope-inperking per stap, in plaats van een serviceaccount met brede rechten.

Clark-Wilson (1987). De payment gate die goedkeuring bindt aan exacte transactiedetails is een well-formed transaction met functiescheiding. De agent stelt voor, de mens autoriseert en een onafhankelijke dienst committeert. Integriteit komt voort uit de constructie van de transactie. Het gedrag van de actor doet er niet toe.

De ontwerpregel die hieruit volgt: behandel het model als niet-vertrouwde component binnen de trust boundary. Alles wat het model produceert is een verzoek aan een policy decision point, nooit een handeling.

RAIL: één as voor een meerdimensionaal probleem

RAIL staat in een lange traditie, van de tien niveaus van Sheridan & Verplank (1978) tot SAE J3016. Parasuraman, Sheridan & Wickens (2000) lieten zien waarom één as tekortschiet: automatisering varieert onafhankelijk over informatieverwerving, analyse, besluitselectie en uitvoering. RAIL vouwt bovendien goedkeuringsgranulariteit, omkeerbaarheid, schaal en mandaatbreedte samen. De auteurs ondervangen dit deels door de envelop leidend te verklaren en RAIL uitdrukkelijk geen maturiteits-, capaciteits- of risicoscore te noemen. Dat is terecht, maar dan is RAIL een communicatiemiddel en geen beslisinstrument.

Bij RAIL 2 ligt een ernstiger probleem. "Elke consequente actie vereist expliciete menselijke goedkeuring" klinkt als waarborg. Bainbridge (1983) beschreef veertig jaar geleden waarom het er geen is. Hoe betrouwbaarder de automatisering, hoe slechter de mens wordt in de resterende toezichtstaak. Parasuraman & Manzey (2010) documenteren automation bias als robuust effect, ook bij experts. De AI Act codificeert dit: art. 14 lid 4 onder b eist dat toezichthouders zich bewust kunnen blijven van automation bias. RAIL 2 is dus pas een control als de goedkeuringsstap zélf aan assurance is onderworpen. Denk aan het meten van override-ratio's, beslistijden en detectie van ingezaaide fouten. Het paper noemt dat niet.

Botsing met het Nederlandse bestuursrecht

Het paper is geschreven voor een bank. Voor een bestuursorgaan wringt het op vier punten.

1. "Mandaat" is geen mandaat. De envelop spreekt van een mandate. In de Awb (art. 10:1 e.v.) is mandaat de bevoegdheid om namens een bestuursorgaan besluiten te nemen, verleend aan een persoon die onder verantwoordelijkheid van de mandaatgever werkt. Een agent kan geen mandataris zijn. Zijn handelen wordt rechtstreeks aan het bestuursorgaan toegerekend. Dit heeft gevolgen voor het ontwerp. Er is geen tussenliggende verantwoordelijkheidslaag waar fouten blijven hangen. Het mandaatregister en de envelop moeten apart bestaan, en ze moeten op elkaar aansluiten: welke gemandateerde functionaris staat voor welke klasse agentacties?

2. RAIL 1 is niet veilig onder art. 22 AVG. In SCHUFA (HvJ EU 7 december 2023, C-634/21) oordeelde het Hof dat het berekenen van een score zélf een geautomatiseerd besluit is wanneer de afnemer er in belangrijke mate op leunt. Het criterium is materieel. Een agent die "slechts adviseert" (RAIL 1) en wiens advies in de praktijk vrijwel altijd wordt gevolgd, valt dus binnen bereik. De AP publiceerde in juli 2025 handvatten voor de inrichting van betekenisvolle menselijke tussenkomst. Alleen tussenkomst die aan zulke eisen voldoet, haalt de besluitvorming buiten art. 22. RAIL beschrijft wie op de knop drukt. Het recht vraagt wie er feitelijk beslist.

3. Evidence is geen logging maar rechtsbescherming. In de AERIUS-uitspraak (ABRvS 17 mei 2017, ECLI:NL:RVS:2017:1259) eiste de Afdeling dat keuzes, gegevens en aannames bij geautomatiseerde besluitvorming volledig, tijdig en uit eigen beweging inzichtelijk en controleerbaar worden gemaakt, zodat de belanghebbende zich kan verweren. De evidence-laag van AI-GRACE is intern gericht: kan de organisatie op de agent vertrouwen? De Awb-vraag is extern: kan de burger het besluit aanvechten? Dat vergt een andere ontwerpeis. Naast wat deed de agent moet te reconstrueren zijn op welke gronden het besluit rust, in een vorm die aan de belanghebbende verstrekt kan worden.

4. Motivering kan niet uit het model komen. Het paper eist terecht geen toegang tot verborgen modelredeneringen. De onderbouwing is sterker dan het paper geeft. Chain-of-thought is aantoonbaar geen getrouwe weergave van wat de output bepaalde (Turpin et al., 2023; Lanham et al., 2023). Een door het model gegenereerde toelichting is een rationalisatie. Ze voldoet daarom niet aan het motiveringsbeginsel van art. 3:46 Awb. De motivering moet opgebouwd worden uit gezaghebbende gegevens, toepasselijke regels en de vastgelegde menselijke afweging. De agent mag haar opstellen, maar de tekst van de agent is geen bewijs dat de motivering klopt.

Daar komt de archiefdimensie bij. De nieuwe Archiefwet treedt op 1 januari 2027 in werking en halveert de overbrengingstermijn naar tien jaar. Agent-traces die een besluit dragen zijn archiefbescheiden. De evidence store valt daarmee onder het informatiebeheerregime van de organisatie, met selectielijst en vernietigingsplicht. Dat schuurt met de dataminimalisatie die het paper voor telemetrie bepleit. De spanning is oplosbaar door het gezaghebbende actierecord, dat lang bewaard wordt, te scheiden van diagnostische traces, die kort bewaard worden. Het paper maakt dat onderscheid al, maar niet om deze reden.

De timing is relevant. De Annex III-verplichtingen zijn via Verordening (EU) 2026/1744 uitgesteld tot 2 december 2027, terwijl de AI-geletterdheidsplicht uit art. 4 sinds 2 februari 2025 geldt en art. 50 (transparantie) samen met de overige niet-uitgestelde bepalingen sinds 2 augustus 2026 van toepassing is. De AVG, de Awb en de jurisprudentie hierboven gelden al jaren. Wie het uitstel leest als uitstel van governance, vergist zich in de bron van de verplichting.

De ontbrekende laag: een minimale soevereine kern

De referentiearchitectuur in het paper bevat een model gateway, een identity/policy-dienst, een MCP/API-gateway, een telemetriecollector en een evidence store. Jurisdictie komt alleen voor als configuratievariant per entiteit. Voor een overheid is dat onvoldoende. Een aanbieder onder Amerikaans recht kan op grond van de CLOUD Act (18 U.S.C. § 2713) worden verplicht gegevens te verstrekken waarover hij possession, custody or control heeft, ongeacht de locatie. Contractuele waarborgen veranderen dat niet. Soevereiniteit is een eigenschap van de architectuur.

Het reference-monitorargument levert hier een constructief antwoord. Omdat het model als niet-vertrouwde component wordt behandeld, hoeft niet de hele stack soeverein te zijn. De stack valt in drie groepen uiteen:

Groep	Componenten	Eis
Soevereine kern (moet)	Identity en policy decision point, enforcement points en transactiepoort, gezaghebbend actierecord en evidence store, sleutelbeheer	Juridisch én operationeel onder eigen controle, zonder uitzonderingen
Risicogebaseerd	Modelinferentie, retrieval-index, diagnostische tracing	Afhankelijk van dataclassificatie. Bij persoonsgegevens of vertrouwelijke procesinformatie verschuift dit naar "moet"
Vrij	Evaluatietooling op synthetische data, ontwikkelomgevingen	Geen soevereiniteitseis

In AI-GRACE-termen wordt soevereiniteit een verplichting in het G-register, met BIO2, het rijksbrede cloudbeleid en de eigen risicobereidheid als bron. Daarnaast wordt het een fit-criterium bij capability-kwalificatie. Een capability die functioneel "voldoende" scoort maar buiten de kern draait terwijl ze erbinnen hoort, is "deels voldoende". Het framework zou dat nu niet signaleren.

In TOGAF-termen leveren G en R de inhoud voor Phase A en het motivation-aspect (drivers, constraints, requirements). A/C/E zijn architectuurrequirements onder Requirements Management. De capability-kwalificatie is de gap-analyse van Phase E. De herbeoordelingstriggers horen in Phase H. AI-GRACE is dus geen concurrent van de ADM maar een domeinspecifieke invulling ervan.

Compositie: enveloppen zijn niet gesloten onder vereniging

Het paper erkent dat gedeelde platformen en interacterende agents buiten het bereik van een assessment per use-case kunnen vallen. Het eigen voorbeeld laat zien waarom dit fundamenteel is. Beleggingsactiviteit mag geen liquiditeit opsouperen die voor een goedgekeurde betaling is gereserveerd. Twee individueel toelaatbare enveloppen kunnen samen een ontoelaatbare toestand opleveren. Autorisatie is niet compositioneel.

De economische literatuur over onvolledige contracten (Hart & Moore) geeft de reden. Een envelop specificeert toegestaan gedrag voor voorziene toestanden. Een agent is juist waardevol in onvoorziene toestanden, en daar is de envelop stil. Het relevante ontwerpvraagstuk is daarom de toewijzing van residuele beslisrechten: wat gebeurt er bij stilte van de envelop? Het veilige antwoord is fail-closed met escalatie, het principe van Saltzer & Schroeder (1975). Dit hoort expliciet in elke envelop te staan. Het paper noemt escalatie wel, maar niet als default bij ongedefinieerde toestanden.

Vijf toetsbare proposities

Voor wie AI-GRACE in de praktijk wil valideren. De auteurs vragen daar zelf om.

P1. Assessments met expliciete G→R→A/C/E-traceerbaarheid missen minder vereisten dan de gangbare praktijk (IAMA plus DPIA), gemeten door onafhankelijke review op gematchte casussen. P2. De vier fit-states zijn tussen beoordelaars betrouwbaar toe te kennen (Cohen's κ ≥ 0,6). Zo niet, dan is de kernstap van de methode niet reproduceerbaar. P3. Bij RAIL 2 daalt de detectie van ingezaaide fouten door menselijke goedkeurders significant binnen weken na ingebruikname, tenzij de goedkeuringsstap actief wordt bemeten. P4. Organisaties die enforcement buiten het model plaatsen, kennen bij gelijke modelkwaliteit minder consequente incidenten dan organisaties die op guardrails leunen. P5. Een besluit om niet of smaller te deployen komt vaker voor mét dan zonder de methode. De auteurs stellen terecht dat dit als succes telt.

Slot

AI-GRACE bevat weinig dat op zichzelf nieuw is. De waarde zit in de verbinding van inzichten die al decennia bestaan in security-engineering, safety-engineering en human factors, toegepast op agents. Voor het openbaar bestuur is dat niet genoeg. Het bestuursrecht stelt eisen aan toerekening, motivering en verweer die een bancair voorbeeld niet raakt, en de architectuur laat open onder wiens rechtsmacht de afdwinging plaatsvindt. De methode is goed uit te breiden: voeg de Awb-eisen toe aan het G-register, maak soevereiniteit een fit-criterium en schrijf fail-closed voor als default in elke envelop. Dan kan een bestuurder het resultaat ook tegenover de rechter verdedigen.

Referenties (selectie)

Anderson (1972), Computer Security Technology Planning Study. Bainbridge (1983), Ironies of automation, Automatica. Clark & Wilson (1987), IEEE S&P. Cuneo, Chun & Khanna (2026), arXiv:2609.21192. Hanley & Lippman-Hand (1983), JAMA. Hardy (1988), The confused deputy. Lanham et al. (2023), arXiv:2307.13702. Leveson (2011), Engineering a Safer World. Parasuraman & Manzey (2010), Human Factors. Parasuraman, Sheridan & Wickens (2000), IEEE SMC-A. Peffers et al. (2007), JMIS. Saltzer & Schroeder (1975), Proc. IEEE. Turpin et al. (2023), NeurIPS. Venable, Pries-Heje & Baskerville (2016), EJIS. HvJ EU C-634/21 (SCHUFA). ABRvS ECLI:NL:RVS:2017:1259.