Waarom SHAP niet genoeg is: Trust Scores voor EU AI Act conformity

SHAP en LIME zijn inmiddels standaardtools voor het interpreteren van black-box voorspellingen. Maar hun output kan substantieel variëren wanneer de input met kleine hoeveelheden ruis wordt verstoord. Die variabiliteit roept een fundamentele vraag op: kunnen zulke verklaringen überhaupt vertrouwd worden?

Dat is de kern van een formeel methodologisch framework voor het auditen van robustness en fidelity in explainable AI (arXiv:2608.23817).

Het auditing-protocol: robustness en fidelity in één Trust Score

Het paper construeert een auditing-protocol dat twee eigenschappen van elke post-hoc explainer meet:

• Robustness: hoe stabiel is de verklaring onder input-perturbatie?
• Fidelity: drijven de als belangrijk gemarkeerde features daadwerkelijk de voorspelling van het model?

Deze twee grootheden worden gecombineerd in een enkele Trust Score.

De resultaten zijn soberend

Het protocol is gedraaid op een multi-sectorale dataset uit Madagaskar (83 features, 253 records, 4 ondervoedingsklassen) met drie classifiers en twee explainers, plus hun regularized tegenhangers. De bevindingen:

• Modellen met AUC boven 0,99 kunnen numeriek gedegenereerde of vlak oninformatieve verklaringen produceren
• Fidelity-scores verliezen discriminerend vermogen wanneer het model overfitted is

De conclusie van de auteurs: het auditen van XAI-output is niet optioneel maar noodzakelijk, vooral wanneer die output beslissingen in gevoelige domeinen informeert.

Wat dit betekent voor Nederlandse organisaties

Voor organisaties die high-risk AI-systemen onder de EU AI Act moeten aantonen, is dit direct relevant. Artikel 13 eist transparantie en robuustheid; Artikel 15 eist accuracy, robustness en cybersecurity. Veel organisaties gebruiken SHAP/LIME-outputs als bewijs van transparantie zonder robustness te testen.

Als de uitleg instabiel is onder kleine input-variaties, is het hele conformity-dossier niet houdbaar. Bestaande DPIA's missen deze kwetsbaarheid systematisch. Een "XAI Trust Score assessment" als plugin bij bestaande DPIA's en AI Act conformity assessments biedt een meetbare methode om XAI-claims te valideren.

Conclusie

De les is helder: een verklaring die niet robuust is onder kleine input-variaties, is geen betrouwbaar bewijs van transparantie. Voor EU AI Act conformity is het meten van de Trust Score van XAI-output een noodzakelijke stap, niet een optionele verfijning.

Beperkingen

De validatie is gebaseerd op één dataset (Madagaskar, 253 records) en een beperkte set classifiers/explainers. De generaliseerbaarheid naar andere domeinen en grotere datasets vereist verdere validatie. Het paper is peer-reviewed en gepresenteerd op ICAI 2026, maar niet in de proceedings opgenomen.