Uw AI-fairness-audit mist de helft van het risico: waarom risicowetenschap ontbreekt in AI Act-conformiteit

Een fairnesstest die rapporteert dat een AI-tool een "disparate impact" van 0,763 vertoont, zegt minder dan hij lijkt. De uitspraak verbergt welke uitkomst het meest waarschijnlijk is, hoe zeker dat oordeel is, en of een andere redelijke meetkeuze de conclusie zou omdraaien. Die drie vragen zijn precies wat risicowetenschap stelt, en precies wat de gangbare AI-fairness-literatuur overslaat.

Dat is de kern van de paper Applications of Risk Science to AI Fairness Evaluation: Principles, Challenges, and Best Practices van Wilson, Kang, Dash en Caliskan (University of Washington, geaccepteerd op AIES 2026). De auteurs voeren een systematische review uit van 22 gangbare fairness-metrics en de studies die ze gebruiken, en demonstreren met een case study aan AI-resume-screening waarom het toevoegen van onzekerheid het verschil maakt tussen een volledige en een misleidende risico-inschatting.

Mijn hoofdstelling:

AI-fairness-evaluatie meet momenteel de ernst van bias maar niet de onzekerheid rondom dat oordeel. Omdat EU AI Act art. 9 lid 2 'adequaat risicobeheer' eist en risico per definitie uit zowel consequentie-ernst als onzekerheid bestaat, zijn conformiteitsrapporten die een fairness-score als punt rapporteren zonder betrouwbaarheidsinterval onvolledig en mogelijk rechtsgeldig aanvechtbaar.

1. Wat risicowetenschap toevoegt dat fairness-metrics missen

Risicowetenschap definieert risico niet als een enkel getal, maar als "onzekerheid over en ernst van de consequenties van een activiteit met betrekking tot iets dat mensen waarderen". Twee dimensies dus: hoe erg is de schade, en hoe onzeker zijn we over of die schade ook daadwerkelijk optreedt.

Deze twee dimensies staan niet in een vaste verhouding. De paper illustreert dit aan de hand van de 80%-regel, de gangbare drempel voor disparate impact in arbeidscontext (een groep is benadeeld als zijn selectieratio onder de 80% van de hoogste groep ligt). Twee scenario's kunnen dezelfde verwachte ernst hebben, maar een compleet andere kans op daadwerkelijke schade. Als de verwachte ernst net boven de schadedrempel ligt, vergroot toenemende spreiding juist de kans dat een uitkomst als schadelijk uitvalt; ligt de verwachte ernst ver onder de drempel, dan verlaagt spreiding die kans. Wie alleen het gemiddelde rapporteert, mist deze interactie tussen ernst en onzekerheid volledig.

Risicowetenschap onderscheidt bovendien twee soorten onzekerheid:

• Stochastische onzekerheid: inherente variatie tussen vergelijkbare eenheden die niet door meer kennis kan worden opgelost. De klassieke inferentiële statistiek.
• Epistemische onzekerheid: een gebrek aan kennis over het fenomeen zelf, dat wél door meer informatie kan worden teruggebracht. Bijvoorbeeld of de 80%-drempel überhaupt een betekenisvolle grens voor discriminatie is.

Deze tweede categorie is cruciaal: de 80%-regel is gebaseerd op juridische traditie, niet op empirisch bewijs dat 0,7 of 0,9 een betere grens zou zijn. Een evaluator die deze onzekerheid niet benoemt, presenteert een puntkeuze als een objectief feit.

2. Wat de review vond: ernst domineert, onzekerheid is afwezig

De auteurs annoteren de 21 unieke fairness-metrics uit de Fabris et al.-survey op de vraag of ze als valide kans fungeren of alleen de ernst van een consequentie karakteriseren. Een valide kans moet aan twee axioma's voldoen: elke deelverzameling heeft een waarschijnlijkheid tussen 0 en 1, en de kansen van alle uitkomsten sommeren tot 1.

De uitkomst is overweldigend:

• 20 van de 21 metrics voldoen niet als valide kans. Ze karakteriseren de ernst van oneerlijkheid, niet de onzekerheid dat die zich voordoet.
• De enige uitzondering is sAUC (Sensitive Area Under the ROC Curve), die meet hoe goed een model een beschermd kenmerk uit niet-beschermde kenmerken kan afleiden. Maar zelfs sAUC zegt niets over de ernst van de consequentie.
• Van de 28 resultaten-rapportages gaf 75% geen enkele variabiliteitsmaat (geen betrouwbaarheidsinterval, geen standaarddeviatie, geen verdeling). Vier studies rapporteerden wel variabiliteit voor alle resultaten; drie voor een deel.
• Geen enkele studie formaliseerde epistemische onzekerheid.

De implicatie is dat de fairness-literatuur consequent één van de twee dimensies van risico weglaat, en daarmee stelselmatig een onvolledig beeld geeft aan de mensen die op basis van die evaluaties beslissingen nemen.

3. Case study: waarom het ertoe doet

De auteurs heranalyseren de data van Wilson en Caliskan (2024), waarin drie LLM's (E5-mistral-7b, GritLM-7B, SFR-Embedding-Mistral) hypothetische cv's van 80 gelijkgekwalificeerde kandidaten met verschillende sociale identiteiten ranken voor negen beroepen, op basis van ongeveer 9 miljoen datapunten.

De oorspronkelijke analyse rapporteerde twee losse resultaten:

• Ernst: bij het screenen van de top 10% van kandidaten voor accountants en auditors gaf GritLM cv's met witte namen ongeveer 10% voordeel boven die met zwarte namen.
• Onzekerheid: cv's met witte of zwarte namen werden significant favoriet bevonden p ≤ 0,05 in respectievelijk 85,1% en 8,6% van de tests.

Geen van beide resultaten geeft het volledige beeld. Het ernstresultaat zegt niets over hoe zeker dat voordeel is; het onzekerheidsresultaat zegt niets over hoe groot het nadeel is. Een 85,1%-voorkeur kan een bescheiden of een extreme rangordeverschuiving betekenen, met heel verschillende implicaties voor sollicitanten.

De risicowetenschappelijke heranalyse levert een veel rijker beeld op. Voor GritLM:

• De gemiddelde disparate impact over alle scenario's was 0,763, onder de 0,8-drempel (onrechtvaardig), maar de spreiding besloeg bijna het hele bereik (min 0,042 tot max 1,0), en de verdeling was links-scheef, waardoor standaarddeviatie geen goede samenvattingsmaat zou zijn.
• Via 5.000 bootstrap-iteraties ligt het 95%-betrouwbaarheidsinterval van het gemiddelde tussen 0,759 en 0,768; het is dus met hoge stochastische zekerheid discriminatoir, maar niet in de hoogste mate.
• Discriminerende uitkomsten traden op in 55,41% van de gevallen (95%-CI: 54,11% tot 56,70%).

De epistemische onzekerheid blijkt dan de doorslaggevende factor. De 80%-drempel is niet de enige gangbare grens: een drempel op basis van statistische significantie (waarbij een 20-30-verdeling van 50 kandidaten het kleinste significante verschil is) ligt op 0,666. Met die drempel daalt de kans op als-schadelijk-geclassificeerde uitkomsten van 55% naar ongeveer 20,72% (95%-CI: 19,67% tot 21,75%). Dezelfde data, twee redelijke meetkeuzes, een compleet andere risico-inschatting.

De auteurs drukken dit uit als een intervalwaarschijnlijkheid: schade heeft minimaal een 19,67% en maximaal een 56,70% kans op optreden, afhankelijk van welke aannames je maakt. Dat is een eerlijke uitspraak over wat je wél en niet weet, in plaats van een enkele getal dat schijnzekerheid suggereert.

4. AI Risk Report Card: de communicatiekloof dichten

Om dit naar belanghebbenden te communiceren, stellen de auteurs de AI Risk Report Card voor, geïnspireerd op model- en datasetcards. De kaart heeft zes componenten:

1. Activiteit: welk systeem, welke taken, welk domein.
2. Consequentie: welke uitkomsten en welke waarden zijn geanalyseerd (bijvoorbeeld gelijke behandeling en non-discriminatie).
3. Ernst: hoe groot is het beschreven negatieve effect, in begrijpelijke termen met schaalankerpunten.
4. Stochastische onzekerheid: de variatie rond de ernstschatting, als betrouwbaarheidsinterval of verdeling.
5. Epistemische onzekerheid: de sterkte van de onderliggende kennis, gekwalificeerd als zwak, matig of sterk volgens de criteria van Flage en Aven.
6. Algehele risico-inschatting: een grof kwalitatief oordeel.

De auteurs benadrukken zelf dat de utility van de kaart nog empirisch getoetst moet worden; het is een voorstel, geen gevalideerd instrument.

5. Wat dit betekent voor EU AI Act-conformiteit

De relevantie voor de publieke sector zit niet in een nieuw instrument, maar in een verborgen tekortkoming van bestaande conformiteitspraktijken. EU AI Act art. 9 lid 2 eist een adequaat risicobeheersysteem dat rekening houdt met de waarschijnlijkheid, omvang en mate van impact van de risico's. Art. 10 verplicht voor hoog-risico-systemen dat de ontwikkeling op adequate wijze is onderzocht op mogelijke risico's van bevooroordeeldheid.

De implicatie van dit papier is dat een fairnesstest in een conformiteitsrapport die een bias-metric als punt rapporteert zonder onzekerheidsmaat, alleen aan de "ernst"-dimensie van risico voldoet. De waarschijnlijkheid van het optreden en de zekerheid van het oordeel blijven onbelicht. Omdat de risico-wetenschap in dit papier aantoont dat ernst en onzekerheid onafhankelijk kunnen variëren en beide de genomen beslissing beïnvloeden, is een puntschatting zonder betrouwbaarheidsinterval geen volledige risicokarakterisering. Of dit juridisch betekent dat zo'n beoordeling "niet adequaat" is in de zin van art. 9 lid 2, is een vraag voor toezichthouders en rechters, maar de risico-analyse zelf geeft het argument helder.

Twee praktische aanbevelingen volgen voor organisaties die een hoog-risico AI-systeem met werving of selectie inzetten:

• Rapporteer onzekerheid: vervang elke puntclaim ("disparate impact is 0,763") door een claim inclusief betrouwbaarheidsinterval en, waar relevant, een epistemische kwalificatie. Dit is goedkoop en transformeert de audit van een checklist in een verdedigbaar risicobeoordelingsdocument.
• Doe een drempelgevoeligheidsanalyse: laat zien hoe de conclusie verandert onder verschillende redelijke meetkeuzes (0,8 versus 0,666, verschillende metrics). Als de conclusie omslaat, is dat geen zwakte van uw AI maar een noodzakelijke epistemische onzekerheid die u moet benoemen.

6. Wat dit NIET zegt

Deze analyse roept een waarschuwing op tegen overinterpretatie van het papier zelf. De case study gebruikt een specifieke LLM-configuratie en synthetische cv's; de absolute getallen generaliseren niet naar elke wervingspijplijn. Het belangrijkste methodologische punt is domein-onafhankelijk. Dat de overgrote meerderheid van fairness-metrics geen valide kans is, is een eigenschap van de metrics zelf, niet van de specifieke toepassing.

Wat dit papier wél bewijst, is niet dat deze specifieke LLM's discrimineren, maar dat de manier waarop we fairness meten en rapporteren een systematisch onvolledige risico-inschatting oplevert. En dat is precies de blinde vlek die een auditor, CISO of AI Act-coördinator vandaag kan sluiten zonder te wachten op nieuwe regelgeving.

Bron: Kyra Wilson, Sabrina Kang, Saloni Dash, Aylin Caliskan, Applications of Risk Science to AI Fairness Evaluation: Principles, Challenges, and Best Practices, arXiv:2608.29478, 30 augustus 2026, geaccepteerd bij AIES 2026.