Lokaal compliant, collectief discriminerend: governance voor multi-agent AI

Wanneer een bank een kredietbeslissing neemt met behulp van kunstmatige intelligentie, wordt dat besluit vaak niet door één enkel model gevormd. Het is het resultaat van een samenspel: een agent die de aanvraag classificeert, een tweede die fraude signaliseert, een derde die de risicoscore berekent, en weer een andere die de compliance-check uitvoert. Elke individuele agent voldoet aan zijn lokale specificaties. Toch kan het collectieve resultaat een groep aanvragers systematisch benadelen. Dit fenomeen heeft een naam gekregen: constitutional non-compositionality.

In Compliant with Local Controls, Collectively Discriminatory stellen de la Choca Rodriguez et al. (arXiv:2609.27994) dat governance van multi-agent AI in de financiële sector fundamenteel incompleet is zolang die governance component-gericht blijft. Lokale compliance-checks van afzonderlijke modellen of agents componeren niet noodzakelijk tot een acceptabel collectief outcome. Wat op microniveau fair en transparant lijkt, kan op macroniveau leiden tot bounded disparate impact, verstoorde marktintegriteit en ontoereikende traceerbaarheid.

Het probleem: waarom component-gerichte governance faalt

De gangbare aanpak in gereguleerde financiën is vertrouwd. Een model wordt gespecificeerd, getraind, getest tegen fairness-metrics, geautoriseerd door een model-risicocomité, en vervolgens in productie gemonitord. Deze cyclus herhaalt zich voor elk component afzonderlijk. Het is een solide praktijk voor statische, monolithische modellen, maar het houdt geen rekening met interactie-effecten.

De auteurs illustreren dit met een voorbeeld uit de kredietverlening. Stel dat elke individuele agent in een beslissingsketen lokaal voldoet aan fairness-eisen. De classificatie-agent behandelt thin-file aanvragers (mensen met een beperkte kredietgeschiedenis) gelijkwaardig; de fraude-agent signaleert geen onterechte verhoogde risico's; de risicoscore-agent hanteert een neutrale drempel. Toch kan het samenspel leiden tot een collectieve uitsluiting van thin-file aanvragers. Dit gebeurt wanneer agents gedeelde signalen of datafeeds gebruiken die indirect correleren met beschermde kenmerken. De afzonderlijke agents discrimineren niet express, maar de compositie van hun beslissingen produceert een dispariteit die geen enkele agent afzonderlijk verantwoordt.

Dit is geen theoretisch randgeval. In de praktijk van credit scoring, fraudedetectie, incasso en operationele compliance is het de norm dat meerdere agents parallel of sequentieel opereren, vaak met gedeelde tussenliggende representaties. De supervisievraag die hieruit ontstaat, is niet langer "voldoet dit model aan de eisen?", maar "produceert dit ecosysteem van modellen een uitkomst die wettelijk en ethisch acceptabel is?"

Van componenten naar populaties: de ARIA-architectuur

Om dit governancegat te dichten, introduceren de auteurs ARIA, een referentiearchitectuur voor agent-populatiegovernance in de financiële sector. ARIA is niet bedoeld als een product dat direct te implementeren is, maar als een falsifieerbaar onderzoeksagenda dat zes capaciteiten organiseert over drie vlakken: het normatief-accountabiliteitsvlak, het uitvoeringscontrolevlak en het verzekerings-leervlak.

De zes capaciteiten zijn:

1. Policy specification. Het expliciet formuleren van welke collectieve uitkomsten acceptabel zijn, inclusief drempels voor disparate impact en marktintegriteit.

2. Population-level observed-versus-expected monitoring (M2). Monitort gedrag op populatieniveau in plaats van op modelniveau, waarbij verwachte distributies worden afgezet tegen geobserveerde distributies.

3. Bounded authority. Het begrenzen van de autoriteit die individuele agents hebben, zodat geen enkele agent of combinatie van agents buiten het geautoriseerde gedragsenvelop kan treden.

4. Runtime containment. Het actief beperken van agentgedrag tijdens uitvoering, bijvoorbeeld door het tegenhouden van beslissingsketens die buiten de geaccepteerde parameters vallen.

5. Adaptive policy change. Het aanpassen van policies op basis van nieuwe inzichten uit monitoring, zonder dat menselijke tussenkomst telkens nodig is.

6. Preserved human oversight competence. Het waarborgen dat menselijke toezichthouders de instrumenten en het inzicht behouden om te begrijpen wat het systeem doet en waarom.

De bijdrage van ARIA is niet dat het deze zes capaciteiten voor het eerst benoemt, maar dat het ze systematisch ordenen als een coherente governance-architectuur voor multi-agent systemen in een gereguleerde context. De auteurs benadrukken expliciet dat ze geen productie-effectiviteit claimen, maar een validatie-agenda presenteren.

Relevantie voor de publieke sector en de EU AI Act

Hoewel het artikel zich richt op de financiële sector, zijn de implicaties voor de publieke sector direct en ernstig. De EU AI Act verplicht aanbieders en gebruiksverantwoordelijken van high-risk AI-systemen tot risicobeheersing, datakwaliteit, transparantie en menselijk toezicht. Voor de publieke sector betekent dit dat AI-toepassingen in bijvoorbeeld uitkeringsbeoordeling, belastingcontrole, subsidieverstrekking of publieke financiering moeten voldoen aan rol-gebaseerde verplichtingen.

Het kernprobleem is dat de EU AI Act, net als veel nationale implementaties, impliciet component-gericht denkt. Er wordt gevraagd naar de nauwkeurigheid en robuustheid van individuele systemen, naar de kwaliteit van trainingsdata per model, en naar de transparantie van afzonderlijke algoritmes. Maar wanneer een overheidsorganisatie meerdere AI-systemen inzet die onderling data of signalen delen, ontstaat precies hetzelfde compositionality-probleem als in de financiële sector.

Stel dat een gemeente een systeem gebruikt voor het beoordelen van uitkeringsaanvragen, waarbij een agent de inkomensgegevens analyseert, een tweede agent de woonsituatie beoordeelt, en een derde agent de historische betrouwbaarheid van de aanvrager inschat. Individueel kunnen deze agents voldoen aan alle AI Act-eisen. Collectief kunnen ze echter een groep aanvragers systematisch benadelen, bijvoorbeeld mensen met een complexe woonsituatie of een onderbroken arbeidsverleden. De lokale compliance garandeert geen rechtvaardigheid op populatieniveau.

De auteurs koppelen hun bevindingen expliciet aan vier regulatoire domeinen: fair-lending, de EU AI Act, model-risk governance en conduct supervision. Voor Nederlandse en Europese toezichthouders betekent dit dat het toezicht op AI niet langer uitsluitend op modelniveau kan plaatsvinden, maar dat er populatie-gebaseerde monitoring en accountability-mechanismen nodig zijn.

Wat dit betekent voor model-risk governance

Model-risk governance is in Nederland en de Europese Unie gebaseerd op principes van de BCBS 239-standaarden en de EBA-richtlijnen. De kern daarvan is dat een model risks mag produceren, mits die risks geïdentificeerd, gemeten, gemanaged en gerapporteerd worden. Maar wanneer risico ontstaat door interactie tussen modellen, valt dat buiten het traditionele framework.

ARIA stelt voor om M2, populatie-niveau observed-versus-expected monitoring, als een aparte laag in te voeren. Dit betekent dat naast het valideren van individuele modellen, er een statistische monitoring plaatsvindt van de gezamenlijke uitkomsten. Worden bepaalde subpopulaties vaker uitgesloten dan op basis van hun profiel verwacht? Wijken de goedkeuringspercentages af van historische of synthetische benchmarks? Zijn er gedragswijzigingen die duiden op collectieve drift?

Dit soort monitoring is technisch veeleisend, omdat het causale attributie vereist: welke agent of welke interactie is verantwoordelijk voor de waargenomen dispariteit? De auteurs erkennen dit expliciet en presenteren hun simulaties dan ook als een begin van een onderzoeksagenda, niet als een afgeronde oplossing.

De Nederlands-Europese context

In Nederland is de toepassing van AI in de publieke sector in ontwikkeling. De Nationale Strategie Artificiële Intelligentie en de daaropvolgende inzet van algoritmes door overheidsinstanties vragen om governance die vooruitloopt op problemen. Het concept van constitutional non-compositionality biedt hier een waardevol theoretisch kader: het maakt duidelijk dat het toevoegen van meer lokaal geteste AI-componenten niet automatisch leidt tot een betrouwbaar geheel.

Voor conduct supervision, het toezicht op gedrag in de financiële sector, betekent dit dat toezichthouders moeten kunnen vragen naar de gezamenlijke effecten van AI-systemen, niet alleen naar hun individuele specificaties. Een bank kan aantonen dat elk van haar twintig credit-scoring agents voldoet aan interne fairness-richtlijnen, maar als die twintig agents samen thin-file aanvragers systematisch uitsluiten, is er een conduct-issue dat de individuele compliance-cirkels niet vangen.

Conclusie

De la Choca Rodriguez et al. leveren een belangrijke theoretische bijdrage aan AI-governance door een fenomeen te benoemen en te formaliseren dat in de praktijk al optreedt, maar structureel wordt onderschat. Constitutional non-compositionality is geen abstractie: het is de reden waarom een ecosysteem van compliant componenten toch een discriminerend of instabiel geheel kan vormen.

De ARIA-architectuur biedt een pad vooruit, niet als kant-en-klaar product, maar als een onderzoeksagenda die populatie-niveau monitoring, bounded authority en preserved human oversight centraal stelt. Voor de publieke sector, en met name voor organisaties die onder de EU AI Act vallen, is dit een uitnodiging om governance niet alleen op modelniveau te organiseren, maar op systeemniveau. Lokale compliance is noodzakelijk, maar niet voldoende.

Referenties

de la Choca Rodriguez, A., et al. (2026). Compliant with Local Controls, Collectively Discriminatory: A Governance Architecture for Multi-Agent AI in Regulated Finance. arXiv:2609.27994. https://arxiv.org/abs/2609.27994