Verantwoording is een architectuurvraag, geen compliance-vinkje

We behandelen AI-verantwoording alsof het een transparantieprobleem is. Meer logging, betere documentatie, strengere audits. Het arXiv-paper No One to Blame: A Framework of Constitutive AI Unaccountability laat zien waarom dat niet werkt. De kwaliteit van de verantwoording is niet het probleem. De configuratie van het systeem wel. De structuur van actoren, software en instituties maakt verantwoording conceptueel onmogelijk. Niet moeilijk. Onmogelijk.

Dit is geen academisch detail. Voor Nederlandse overheidsorganisaties die agentic AI overwegen, betekent dit dat je eerst de architectuur moet begrijpen voordat je een AVG-verwerkingsregister invult. Ik leg uit waarom.

Het centrale punt: constitutive unaccountability

Het paper definieert constitutive AI unaccountability als een eigenschap van een socio-technisch systeem waarin de verdeling van verantwoordelijkheid, informatie en controle zo is geconfigureerd dat geen enkele actor in staat is om verantwoording af te leggen over het systeem als geheel. Het is geen falen van een component. Het is een eigenschap van het geheel.

Formeel: laat (A) een verzameling actoren zijn, mensen, organisaties, AI-systemen. (R) is een verzameling verantwoordelijkheidsrelaties. (I) is een informatiedistributiefunctie. Een systeem is constitutief onverantwoordbaar als voor elke actor (a \in A) geldt: er bestaat geen pad in de graaf waarlangs (a) zowel de relevante informatie uit (I) kan verkrijgen als de bevoegdheid heeft om in te grijpen. Het systeem is dan accountability-compleet in de zin dat alle formele vereisten zijn ingevuld, maar functioneel niemand aanspreekbaar is.

De auteurs identificeren 20 diagnoscriteria. Ze testten deze op een real-world agentic AI-systeem en vonden 17 van de 20. Dat is geen toeval. Dat is structureel.

Waarom dit nu relevant is

De Nederlandse overheid heeft de AI Act geïmplementeerd. BIO2 is verplicht voor de Rijksdienst. NIS2 dwingt risicomanagement af voor digitale diensten. Al deze kaders gaan uit van een wereld waarin je een systeem kunt auditen. Je kunt een verantwoordelijke aanwijzen. Logging leidt tot inzicht.

Agentic AI-systemen breken die aanname. Een agentic systeem is geen enkele AI. Het is een configuratie van meerdere modellen, tools, API's en automatiseringsregels die samen een taak uitvoeren. Het systeem neemt beslissingen op basis van context die niet volledig is vastgelegd. Het past zijn eigen werkwijze aan. Het systeem is geen ding. Het is een proces.

De vraag is niet of je dit wilt. De vraag is of je begrijpt wat het betekent voor je verantwoordingsstructuur. Het paper geeft je een instrument om dat te diagnosticeren.

De 20 criteria als diagnostisch instrument

Ik heb de criteria uit het paper geanalyseerd en geordend in vier categorieën. Dit is geen samenvatting. Het is een werkbare checklist voor je eigen organisatie.

Categorie 1: Actor-configuratie

1. Gedistribueerde agency: geen enkele actor heeft volledige controle over het systeem. Beslissingen ontstaan uit interacties tussen meerdere actoren.
2. Emergente besluitvorming: het systeem produceert uitkomsten die niet door een individuele actor zijn bedoeld of voorzien.
3. Vluchtige verantwoordelijkheid: de verantwoordelijkheid voor een beslissing verschuift tussen actoren afhankelijk van het moment van bevraging.
4. Ontbrekende principaal: er is geen duidelijke opdrachtgever die de uiteindelijke verantwoordelijkheid draagt.
5. Hybride agency: menselijke en machine-actoren zijn zo verweven dat je niet kunt onderscheiden wie wat heeft besloten.

Categorie 2: Informatie-architectuur

6. Informationele asymmetrie: sommige actoren hebben informatie die anderen nodig hebben voor verantwoording, maar delen deze niet.
7. Contextverlies: de oorspronkelijke context van een beslissing gaat verloren in de keten van systeeminteracties.
8. Niet-reproduceerbaarheid: het systeem kan dezelfde input niet twee keer reproduceren.

Categorie 3: Controle- en interventielogica

9. Beperkt interventiebereik: actoren kunnen wel observeren, maar hebben geen bevoegdheid om in te grijpen in het beslissingsproces.
10. Vertraagde detectie: afwijkingen worden pas gedetecteerd nadat de schade is ingetreden.
11. Black-box-afhankelijkheid: interventie vereist inzicht in een component die de actor niet kan inspecteren.
12. Onomkeerbaarheid van acties: zodra een beslissing is uitgevoerd, kan deze niet meer worden teruggedraaid.
13. Ontbrekende traceerbaarheid: de relatie tussen een beslissing en de input die ertoe leidde is niet te reconstrueren.

Categorie 4: Institutionele configuratie

14. Versnipperde bevoegdheid: verantwoordelijkheden liggen verspreid over meerdere juridische entiteiten zonder overkoepelende eigenaar.
15. Contractuele onvolledigheid: de relaties tussen actoren zijn niet volledig gespecificeerd in contracten of serviceniveaus.
16. Vendor-afhankelijkheid: de kritieke capaciteit om het systeem te begrijpen berust bij een externe partij.
17. Regulerende ruis: meerdere toezichtskaders overlappen elkaar zonder duidelijke primaire verantwoordelijke.
18. Datagovernance-gat: de verantwoordelijkheid voor datakwaliteit ligt bij een andere actor dan degene die de output gebruikt.
19. Tijdshorizon-mismatch: de verantwoordingscyclus is korter of langer dan de levenscyclus van het systeem.
20. Geen single point of accountability: er bestaat geen actor die over het systeem als geheel verantwoording kan afleggen.

Diagnose vóór uitrol: een praktische scan

Je hoeft niet te wachten tot een incident. De criteria zijn vóór uitrol toepasbaar. Neem een typische overheids-case: een gemeente wil een agentic systeem inzetten voor het beoordelen van aanvragen.

De scan is programmatisch uitvoerbaar. Hier is een werkbare check die de responsabiliteitsgraaf doorloopt en een onverantwoordbaarheidsscore berekent:

def unaccountability_score(actors, info_access, intervention_rights, edges):
    """actors: dict {actor: {has_full_context: bool, can_intervene: bool}}
    edges: set[(actor_a, actor_b)] = informatie- of controle-pad.
    Score = fractie actoren zonder volledige (informatie + interventie) keten."""
    accountable = 0
    for actor in actors:
        # Een actor is aanspreekbaar als er een pad bestaat waarlangs hij
        # zélf volledige context kan verkrijgen én kan interveniëren.
        reachable = set([actor])
        frontier = [actor]
        while frontier:
            cur = frontier.pop()
            for (a, b) in edges:
                if a == cur and b not in reachable:
                    reachable.add(b); frontier.append(b)
        has_info = any(actors[n]["has_full_context"] for n in reachable)
        has_ctrl = any(actors[n]["can_intervene"] for n in reachable)
        if has_info and has_ctrl:
            accountable += 1
    n = max(len(actors), 1)
    return 1 - (accountable / n)   # 0 = volledig aanspreekbaar, 1 = niemand

# Gemeente-case: 3 actoren, 2 pads, geen enkele actor heeft én context én interventie
actors = {
    "agent":   {"has_full_context": False, "can_intervene": False},
    "mens":    {"has_full_context": False, "can_intervene": True},
    "vendor":  {"has_full_context": True,  "can_intervene": False},
}
edges = {("agent", "mens"), ("agent", "vendor")}
print(unaccountability_score(actors, None, None, edges))  # 1.0, niemand aanspreekbaar

De complexiteit is (O(V + E)) voor de bereikbaarheidsanalyse per actor, en (O(V \cdot (V + E))) voor het volledige systeem, lineair in de grootte van de responsabiliteitsgraaf, dus schaalbaar tot de grootste overheidsketens.

Stel de volgende vragen per categorie:

Categorie	Vraag	Risico-indicator
Actor-configuratie	Is er één actor die alle beslissingen kan overzien?	Nee → gedistribueerde agency
Informatie-architectuur	Heeft elke verantwoordelijke toegang tot de volledige beslissingscontext?	Nee → informationele asymmetrie
Controle-logica	Kan een mens het proces onderbreken vóór uitvoering?	Nee → beperkt interventiebereik
Institutioneel	Berust begrip van het systeem bij één externe leverancier?	Ja → vendor-afhankelijkheid

Hoe meer criteria je herkent in de architectuur, hoe hoger het onverantwoordbaarheidsrisico. Tien of meer criteria → het systeem is ontworpen om onverantwoordbaar te zijn, ongeacht de compliance-documentatie.

De compliance-paradox

Hier zit de kern. De AI Act Art. 14 vereist human oversight. BIO2-maatregel 8.4 vereist integriteit. NIS2 vereist risicomanagement. Al deze eisen veronderstellen dat er een punt is waar een mens kan ingrijpen en verantwoording kan afleggen. Het paper toont aan dat agentic AI dat punt structureel kan verwijderen, terwijl de papieren werkelijkheid volledig compliant blijft.

Dat is de paradox: een systeem kan volledig voldoen aan alle formele vereisten en toch functioneel niemand aanspreekbaar maken. De compliance-check meet of het vinkje is gezet, niet of de verantwoordingsketen daadwerkelijk functioneert.

Beperkingen van deze diagnose

De 20 criteria zijn een diagnostisch instrument, geen garantie. Enkele grenzen zijn eerlijk om te benoemen:

• De criteria meten configuratie, niet intentie. Een systeem kan laag scoren op de checklist en tóch onverantwoordbaar zijn door dynamische interacties die de statische graaf niet vangt. Emergente agency ontstaat juist in de loop van het gebruik.
• De 17/20-bevinding is één case. Het paper testte op één real-world systeem. De criteria zijn breed, maar de empirische basis voor de prevalentie is beperkt. Meer replicaties zijn nodig om te weten hoe representatief 17 van de 20 is.
• Architectuur is noodzakelijk, niet voldoende. Zelfs een systeem dat op papier aanspreekbaar is, faalt in de praktijk zonder training, cultuur en operationele discipline. De checklist vangt ontwerpfouten, niet operationele verwaarlozing.

Dit is relevant in het bredere beeld van AI-governance. Zie ook hoe het vier-lagen raamwerk voor betrouwbare AI-agenten controle-instrumenten ordent, en hoe een case-framework agentic AI-governance structureert. Het onverantwoordbaarheidsrisico is een extra laag bovenop die structuren.

Wat dit betekent voor je organisatie

De implicatie is niet dat je agentic AI moet vermijden. Het is dat je vóór uitrol een unaccountability-diagnose moet doen, naast je AVG-DPIA en AI Act conformity assessment. Zet de 20 criteria in als architectuurreview, niet als post-hoc controle. Waar de architectuur onverantwoordbaar is, moet je het ontwerp veranderen, geen documentatie toevoegen.

De vraag is niet langer: "hebben we de juiste processen?" De vraag is: "kan in deze architectuur iemand überhaupt verantwoording afleggen?" Als het antwoord nee is, is het geen procesprobleem. Het is een ontwerpfout.

Verantwoording is geen eigenschap van documentatie. Het is een eigenschap van architectuur. Wie de architectuur niet repareert, repareert niets.