AI-veiligheid is een institutioneel ontwerpprobleem, geen modelprobleem

We kijken naar de verkeerde laag als we AI-veiligheid beoordelen. Niet de modelarchitectuur bepaalt of een systeem betrouwbaar functioneert. De institutionele regels eromheen doen dat. Wie mag wat delegeren? Welke autoriteit heeft een agent? Wat gebeurt er als een pad geblokkeerd wordt?

Dit is geen mening. Het is de uitkomst van het POLIS-onderzoeksprogramma, gepubliceerd op arXiv in augustus 2026. De implicaties voor Nederlandse overheidsorganisaties die onder de EU AI Act vallen zijn direct en concreet. arXiv:2608.09828, PDF

De kern: het model is niet het probleem

POLIS formaliseert multi-agent systemen als een graaf G = (A, E) waarbij A de set agents is en E de set delegatierelaties. Elke agent heeft een taak, een autoriteitsstatus en een set toegestane acties. Het systeem faalt niet wanneer een model domme dingen doet. Het faalt wanneer de regels het mogelijk maken dat een agent een actie doorvoert buiten zijn mandaat.

De onderzoekers testten twee configuraties. Een "local-state guard" kijkt alleen naar de huidige staat van één agent. Een "provenance-aware guard" herleidt de volledige delegatieketen naar de oorspronkelijke autoriteit.

Het resultaat is hard voor de eerste benadering. 22 van de 96 laundering-scenario's glippen door de local-state guard. Hierbij verbergt een agent een verboden actie via een keten van delegaties. De provenance-aware guard schendt 0 van de 96 scenario's. De statistische significantie: p = 4.77×10⁻⁷.

Wat betekent dit voor de AI Act?

De EU AI Act Art. 14 vereist menselijke controle over high-risk AI-systemen. Art. 15 vereist robuustheid en nauwkeurigheid. Tot nu toe interpreteerden we dat als volgt: het model moet goed getraind zijn en een mens moet het kunnen overrulen.

POLIS toont aan dat dit onvoldoende is. Menselijke controle is geen knop die je indrukt. Het is een institutioneel ontwerp van autoriteit, delegatie en verantwoording. Als je een AI-systeem inzet dat taken kan delegeren aan andere systemen, dan moet je kunnen aantonen dat die delegatieketen traceerbaar is naar een menselijke beslissing.

De provenance-aware guard is precies wat de AI Act vraagt, maar dan formeel gespecificeerd. Het is geen technisch detail. Het is de operationele invulling van Artikel 14.

Formeel: waarom local-state guards falen

Laten we het probleem formeler maken. Definieer een delegatieketen als een pad P = (a₁, a₂, ..., aₙ) waarbij elke aᵢ een agent is en er een delegatierelatie bestaat van aᵢ naar aᵢ₊₁. Een actie x uitgevoerd door aₙ heeft een oorsprong in de autoriteit van a₁.

Een local-state guard controleert alleen de toestand van aₙ op het moment van actie. Het probleem: aₙ kan een actie uitvoeren die binnen zijn lokale toestand legitiem lijkt, maar die in de context van de volledige keten een schending is.

Stel: a₁ heeft autoriteit om documenten in te zien. a₂ heeft autoriteit om documenten te classificeren. a₃ heeft autoriteit om documenten te delen. Een local-state guard op a₃ ziet alleen: "a₃ deelt een document". Legitiem. Maar als de keten a₁ → a₂ → a₃ een document doorgeeft dat nooit geclassificeerd had mogen worden, dan is de deling een schending van de oorspronkelijke autoriteit.

De local-state guard mist de context. De provenance-aware guard herleidt elke actie naar de wortel van de delegatieboom en valideert daar de autoriteit.

Implementatie: een provenance-aware guard in Python

De paper geeft geen code, maar de logica is eenvoudig te implementeren. Het hart is een graaf-traversal die de delegatieketen reconstructeert:

from dataclasses import dataclass
from typing import Dict, List, Optional, Set

@dataclass
class Agent:
    id: str
    authority: Set[str]  # acties die deze agent mag uitvoeren
    parent: Optional[str]  # wie heeft deze agent gemachtigd?

class ProvenanceGuard:
    def __init__(self, agents: Dict[str, Agent]):
        self.agents = agents