Causale Bewijslast: Waarom SHAP-waarden Niet Volstaan Onder de EU AI Act

De governance van high-risk machine learning staat voor een materiële verschuiving: van observationele fairness-metrics naar causale bewijsvoering. Waar huidige frameworks volstaan met het meten van statistische ongelijkheid en post-hoc verklaringen, eisen de EU AI Act en de AVG dat overheidsinstellingen causaal verantwoording afleggen over besluitvorming. De centrale onderzoeksvraag is hoe Causal Evidentiary Governance (CEG) de kloof overbrugt tussen deze wettelijke causale verantwoordingsplicht en de structurele beperkingen van observationele metrics in high-risk ML-systemen.

Dit is geen abstract juridisch vraagstuk, maar een concreet technisch probleem. Als een gemeente met een NORA-gebaseerd ML-model uitkeringen of woonruimte toewijst, moeten zij kunnen bewijzen dat beslissingen niet onrechtmatig discrimineren langs causale paden zoals etniciteit of geslacht. Observatie van correlaties in de data is hiervoor onvoldoende; er ontbreekt een mechanisme voor efficiënte bewijsverificatie.

Het verantwoordingsdilemma in de publieke sector

Huidige fairness-governance levert voornamelijk observationele metrics op. Deze tonen slechts dat er een verschil bestaat in uitkomsten tussen groepen, niet waarom. De EU AI Act (Artikel 9 en 10) en de AVG (Artikel 22) vereisen echter dat geautomatiseerde beslissingen traceerbaar en rechtvaardig zijn. Post-hoc explainability-tools, zoals SHAP-waarden, identificeren correlaties maar bieden geen causale attributie.

Voor de Nederlandse publieke sector, die onder BIO2- en NIS2-architectuurrichtlijnen opereert, betekent dit dat de huidige audit- en compliance-infrastructuur tekortschiet. Een toezichthouder kan met huidige middelen niet cryptografisch verifiëren of een beslissing tot stand kwam via toegestane causale paden, of dat er sprake was van verborgen bias. De kloof tussen de wettelijke eis van causale verantwoording en de observationele realiteit vormt een systeemfalie, geen incidentele tekortkoming.

Het paper van Kareem en Çeliktas (Isik University, Istanbul), geaccepteerd voor ICCCNet 2026 en te verschijnen in Springer Lecture Notes in Networks and Systems, introduceert Causal Evidentiary Governance (CEG) als antwoord op dit probleem. De referentie is arxiv.org/abs/2609.01040.

Drie structurele deficienties in huidige audit-infrastructuur

Het paper identificeert drie deficienties in de huidige auditing-infrastructuur voor ML-systemen:

1. Fairness-metrics vangen meerdere causale paden. Demografische pariteit en equalized odds zijn associational metrics. Een verschil in uitkomsten tussen groepen kan voortkomen uit toegestane factoren zoals opleiding, of uit onacceptabele factoren zoals discriminatie. De metric kan het verschil niet zien.

2. Post-hoc explainability zonder causale commitment. SHAP en LIME representeren het getrainde model lokaal, zonder enieke aanname over causale structuur. Een instelling kan achteraf een explainer kiezen die waargenomen bias minimaliseert. Er is geen mechanisme om claims over model-internals te valideren.

3. Audit-logs zonder cryptografische validatie. Traditionele logs registreren wat de instelling zegt dat er gebeurd is. Er is geen bescherming tegen het achteraf wijzigen van logentries om een audit te beïnvloeden.

CEG: Versioned DAGs en Decision-Evidence Packets

CEG lost deze deficienties op door instellingen te dwingen vooraf te committeren aan een versioned Directed Acyclic Graph (DAG). Deze DAG partitioneert causale paden in toegestane en niet-toegestane groepen. De instelling legt zichzelf vast: "geslacht mag DTI en CreditScore beïnvloeden, maar heeft geen direct pad naar de beslissing."

Voor elke individuele beslissing genereert het systeem een cryptografisch ondertekend Decision-Evidence Packet (DEP). Dit packet bevat:

• De specifieke data en modelversie die tot de beslissing leidden
• Pad-specifieke attributies: welke causale paden werden gevolgd
• Een digest van de gepubliceerde DAG-versie die gold ten tijde van de beslissing

Collectief worden deze DEP-digests toegevoegd aan een Merkle-tree, wat logaritmische inclusion proofs mogelijk maakt. Een auditor kan verifiëren dat een specifieke beslissing volgde uit een goedgekeurde DAG-versie, zonder toegang tot de volledige dataset of modelarchitectuur.

De Causal Harm Rate

Naast de architectuur introduceert het paper de Causal Harm Rate (CHR) als meetbare maat voor pad-specifieke schade. De CHR kwantificeert de variatie in modelvoorspellingen die uitsluitend kan worden veroorzaakt door niet-toegestane causale paden. De formele definitie:

CHR = (1/N) * som over alle i van I[Y_hat(A=a_prime, pi_inadm)(u_i) != Y_hat(A=a, pi_inadm)(u_i)]

Waarbij pi_inadm de set van niet-toegestane paden is van beschermde eigenschap A naar voorspelling Y_hat. De CHR isoleert het effect van geïnjecteerde causale paden zuiverder dan demografische pariteit of equalized odds, die beide associational metrics zijn die gelijktijdig bestaande discriminatie kunnen missen en valse positieven kunnen genereren.

Empirische validatie: 10.000 synthetische kredietaanvragen

De validatie gebruikt een twee-laags methodologie. De eerste laag is gebaseerd op supervisory aggregates van de Palestine Monetary Authority (PMA): zes Excel-bestanden met systeem-brede snapshots van augustus 2023 tot 2025, goed voor 12.952 unieke gerapporteerde buckets. Deze aggregates bevatten geen individuele klantinformatie.

De tweede laag simuleert 10.000 synthetische kredietaanvragers waarvan de marginale distributies overeenkomen met de PMA-targets binnen plusminus 1,5 procent. Het paper definieert vier DAG-varianten die kwalitatief verschillende bias-mechanismen injecteren:

• G0 (Baseline): geen gender-effect
• G1 (Toegestane mediatie): geslacht beïnvloedt DTI en CreditScore, die op hun beurt Y beïnvloeden. Geen direct pad van geslacht naar Y.
• G2 (Directe discriminatie): directe gender-bias op logit-schaal
• G3 (Proxy-discriminatie): leeftijd boven 55 als proxy voor discriminatie

Cross-model validatie en ablation-studies bevestigen de robuustheid. Benchmark-evaluatie op het German Credit dataset toont dat schade geassocieerd met specifieke causale paden significant wordt onderschat door associational fairness-metrics. De implementatie haalt operationeel plausible throughput met minder dan 2 procent degradatie in AUC-ROC.

Waarom dit relevant is voor de Nederlandse publieke sector

Voor Nederlandse gemeenten, uitvoeringsinstellingen en ZBO's die ML-systemen inzetten voor resource-distributie, vormt CEG een direct antwoord op de verantwoordingsplicht onder de EU AI Act en AVG Artikel 22. De huidige praktijk: SHAP-waarden tonen, logging bijhouden, hopen dat een toezichthouder tevreden is. Dat voldoet structureel niet aan de eis dat beslissingen traceerbaar en rechtvaardig moeten zijn.

De relevantie voor de BIO2- en NORA-context is concreet: als een gemeentelijk ML-model woonruimte toewijst en een burger beroep aantekent, moet de gemeente kunnen aantonen dat de beschermde eigenschap (bijvoorbeeld geslacht) de beslissing niet causaal heeft beïnvloed. SHAP-waarden tonen een correlatie met feature-gewichten in een proxy-model. CEG toont cryptografisch dat de beslissing volgde uit een goedgekeurde causale grafiek waarin het pad van geslacht naar beslissing structureel was afgekapt.

Onzekerheden en beperkingen

Een relevante onzekerheid is de praktische haalbaarheid van het mappen van complexe ML-pijplijnen op strikte DAGs. Het paper erkent dat de DAG elicitatie-protocol twee domeinexperts vereist die onafhankelijk ouder-sets en admissibility-labels voorstellen, met een Krippendorff-alpha van 0,81 voor edge-presence en 0,74 voor admissibility. Voor complexe productiemodellen is deze elicitation-cost niet verwaarloosbaar.

De cryptografische ondertekening is bovendien alleen zo sterk als de robuustheid van de private keys. Het paper behandelt sleutelbeheer niet in detail. En de aanname dat toezichthouders zoals de Autoriteit Persoonsgegevens de technische capaciteit hebben om cryptografische inclusion proofs te valideren, is in de huidige Nederlandse praktijk nog niet realiteit.

Tot slot: het paper valideert CEG op synthetische data gegenereerd uit PMA-aggregates. Hoewel de marginale distributies realistisch zijn, valt de vraag of de causale structuur van synthetische data voldoende representatief is voor productie-ML-systemen in de Nederlandse publieke sector, buiten de scope van dit paper.

Conclusie

CEG verschuift verantwoordingsplicht van post-hoc verklaringen naar structurele inbedding in de systeemarchitectuur. Een instelling committeert vooraf aan een causaal model. Volgt een beslissing een niet-toegestane pathway, dan is dit cryptografisch aantoonbaar. Dit verbindt direct met de EU AI Act voor high-risk systemen en AVG-artikel 22.

Waar huidige audits steunen op observationele metrics en hopen dat explainability-tools voldoen, dwingt CEG causale transparantie af via cryptografische verankering. De vraag is niet óf Nederlandse instellingen deze richting op gaan, maar wanneer. En wie dan de technische capaciteit heeft om het te implementeren en te verifiëren.

arxiv.org/abs/2609.01040