Wie draait er op voor de fouten van AI? De accountability-asymmetrie die je niet kunt negeren

Stel: een AI-agent krijgt toegang tot een Kubernetes-cluster en past zelfstandig een network policy aan. De wijziging is fout. Een service valt uit, data lekt. De AI-agent draait door. De menselijke operator die de agent heeft geïmplementeerd, krijgt de rekening. Denk aan een tuchtzaak, een carrière-risico, misschien een AwB-klacht.

Dit is geen sciencefiction. Dit is de realiteit van autonome AI-systemen die operationele consequenties hebben. Denk aan configuratie-wijzigingen, job-submissies, API-calls. Ze dragen zelf geen verantwoordelijkheid. Een recent paper op arXiv (2608.03670) noemt dit accountability asymmetry. De mens draagt het risico, de AI niet. Dat ondermijnt institutioneel vertrouwen.

Wat is accountability asymmetry precies?

Het paper definieert het als een structureel onevenwicht. Een AI-systeem kan handelingen verrichten met juridische, financiële of operationele gevolgen. Het systeem zelf is geen rechtssubject. Het kan niet worden aangesproken, beboet of ontslagen. De menselijke operator, de human-in-the-loop of human-on-the-loop, wel.

Neem een concreet voorbeeld uit de Nederlandse publieke sector. Een gemeente zet een AI-agent in voor het automatisch verwerken van WMO-aanvragen. De agent wijst een aanvraag af op basis van een foutieve interpretatie van de regels. De burger gaat in bezwaar. Wie is verantwoordelijk? De AI? Nee. De ambtenaar die de agent heeft geconfigureerd? Die loopt een tuchtrechtelijk risico. De gemeente als organisatie? Die moet herstel bieden. De individuele carrière-schade blijft.

Hier raken de AI Act Art. 14 (human oversight) en de Algemene wet bestuursrecht (AwB) elkaar. De AwB eist dat een besluit herleidbaar is tot een menselijke functionaris. De AI Act eist dat een mens toezicht houdt. Als de AI autonoom handelt, wordt die toezichtrelatie een papieren tijger.

Technische diepgang: waarom dit geen abstract probleem is

Het paper beschrijft een scenario waarin een AI-agent een kubectl apply -f deployment.yaml uitvoert op een productiecluster. De agent heeft RBAC-rechten, maar geen accountability. In de praktijk zie ik dat organisaties AI-agents voorzien van service accounts met cluster-admin-achtige rechten. Er is geen logging. Audit trails leiden niet terug naar een mens.

Een voorbeeld uit de zorg: een AI-systeem dat automatisch DICOM-studies archiveert en verwijdert op basis van een retention policy. Als het systeem per ongeluk een studie verwijdert die nog onder een lopend onderzoek valt, is de fout niet terug te draaien. De radioloog die het systeem heeft geïmplementeerd, wordt aansprakelijk gesteld. De AI-agent niet.

Meer toezicht lost dit niet op. Het probleem is structureel. Zolang AI-systemen geen rechtspersoonlijkheid hebben, blijft de accountability bij de mens. Dat creëert een perverse prikkel. Operators gaan risico's mijden. Of ze vertrouwen blind op de AI. Ze denken dat de computer het wel weet.

NL-relevantie: AwB, AI Act, BIO2, NIS2

De Nederlandse overheid werkt aan een Algoritmekader en de Wet algoritmische verantwoording. Die wetten bouwen voort op de AwB en de AI Act. Geen van deze kaders adresseert de accountability-asymmetrie direct.

• AI Act Art. 14: eist human oversight, maar definieert niet wat er gebeurt als de mens het overzicht verliest.
• AwB art. 3:2: eist een zorgvuldige voorbereiding van besluiten. Een AI-besluit zonder menselijke tussenkomst is per definitie niet zorgvuldig voorbereid.
• BIO2 (Baseline Informatiebeveiliging Overheid): eist logging en audittrails. Als de AI-agent zelf geen logboek bijhoudt, voldoe je niet. Logs moeten herleidbaar zijn naar een mens.
• NIS2: eist incidentmelding en toewijzing van verantwoordelijkheden. Wie meldt een incident veroorzaakt door een AI-agent? De operator? De leverancier? De AI zelf?

Het paper stelt dat we een nieuw juridisch concept nodig hebben. Denk aan structural trust. Niet alleen vertrouwen in de output. Vertrouwen in het systeem.