FRIA onder de EU AI Act: waarom fundamentele-rechtenbeoordelingen een bewijsbasis nodig hebben

Analyse van arXiv:2609.39537, A Reusable Semantic Web Framework for Evidence-Grounded Fundamental Rights Impact Assessments under the EU AI Act. Olopade, Golpayegani & Lewis, 2026. Gepresenteerd op de Fifth European Conference on Algorithmic Fairness (ECAF), Gent, september 2026.

---

1. Het probleem: een wettelijke plicht zonder bruikbaar bewijs

Artikel 27 van de EU AI Act verplicht deployers van high-risk AI-systemen in de publieke sector om vóór inzet een Fundamental Rights Impact Assessment (FRIA) uit te voeren. De beoordeling moet documenteren hoe het systeem fundamentele rechten kan raken: non-discriminatie, privacy, behoorlijk bestuur.

De verplichting is helder. Het bewijs dat nodig is om die verplichting zinvol uit te voeren, is dat niet. De evidence die deployers nodig hebben, is verspreid over:

• Incident-repositories zoals AIAAIC (AI, Algorithmic and Automation Incidents and Controversies) en AIID (AI Incident Database), die free-text narratieven en community-tags gebruiken in plaats van AI Act-terminologie.
• Semantic Web risico-vocabulaires zoals DPV (Data Privacy Vocabulary), VAIR (Vocabulary of AI Risks) en AIRO (AI Risk Ontology), die gestructureerd en machine-readable zijn maar niet zijn geïntegreerd in FRIA-workflows.
• Juridische teksten, de AI Act zelf en het EU Charter of Fundamental Rights, uitgedrukt in natuurlijke taal die geen automatisering ondersteunt.

De deployer moet deze bronnen handmatig met elkaar verzoenen, zonder herbruikbare infrastructuur. Het resultaat: de meeste FRIA's zijn narratief, niet evidence-grounded. Ze beschrijven risico's in het algemeen, zonder te verwijzen naar gedocumenteerde, analoge incidenten.

2. De Nederlandse context is geen abstractie

Het paper opent met twee Nederlandse casussen die aantonen wat inadequate beoordeling in de praktijk betekent:

De toeslagenaffaire. Het algoritmische risico-scoring-systeem van de Belastingdienst bevatte etnisch profileren en opereerde zonder betekenisvol toezicht. Tienduizenden gezinnen werden ten onrechte beschuldigd van fraude met kinderopvangtoeslag. Dit is de meest gedocumenteerde schade van geautomatiseerde besluitvorming in de Nederlandse publieke sector.

De SyRI-zaak. De rechtbank Den Haag stelde vast dat geautomatiseerde profilering in de publieke welzijnscontext een schending kan vormen van het Europees Verdrag voor de Rechten van de Mens.

Deze casussen zijn geen historische voetnoten. Ze zijn de raison d'être van artikel 27. De FRIA is het wettelijke antwoord op precies dit soort schade, en het paper toont aan dat de infrastructuur om die FRIA's zinvol uit te voeren nog niet bestaat.

3. Het framework: een Semantic Web knowledge graph voor FRIA-bewijs

Olopade, Golpayegani en Lewis bouwen een herbruikbaar framework dat het gefragmenteerde bewijs consolideert. De kerncomponenten:

3.1 Corpus: 150 records over drie bronnen

Het corpus combineert drie complementaire bewijsbronnen:

• ~100 records uit AIAAIC, documenteert reële incidenten.
• De Amerikaanse Federal Inventory, documenteert actieve overheids-deployments.
• ECtHR-jurisprudentie, levert autoritatieve juridische analyse van rechtenschendingen.

Elk record is geclassificeerd langs vier assen:

1. Annex III high-risk domein, werkgelegenheid (III(4)) of essentiële publieke diensten (III(5)(a)).
2. Geïmpliceerde EU Charter-rechten, multi-label.
3. Risicopatronen, bias/discriminatie, privacy-schending, procedurele onrechtvaardigheid, gebrek aan transparantie, of overig.
4. Causale factoren, datakwaliteit, modelontwerp, deployment-context, of toezichtsfalen.

3.2 Knowledge graph: 1.351 RDF-triples

Het geannoteerde corpus is geserialiseerd als een SPARQL-queryable knowledge graph van 1.351 RDF-triples (193 nodes, 965 edges). Door bestaande vocabularies (DPV, VAIR, AIRO) te hergebruiken, wordt de leercurve voor adopters geminimaliseerd en de interoperabiliteit met bestaande compliance-tooling gemaximaliseerd.

3.3 Regulatory crosswalk

Het framework verbindt incident-evidence expliciet aan de wettelijke verplichtingen van de AI Act en het EU Charter. Dit is de cruciale brug die de paper legt: een incident wordt niet alleen geclassificeerd als "bias" maar gekoppeld aan de specifieke rechten en artikelen die het schendt.

4. Evaluatie: 68,7% dekking, en een waarschuwing

4.1 Dekking

Vijf FRIA-demonstratiescenario's, welzijns-eligibiliteit AI, publieke recruitment-screening, surveillance in sociale woningbouw, LLM-decision-support voor caseworkers, en een cross-domein thematische review door een nationale regulator, brengen 103 van de 150 records aan de oppervlakte (68,7% dekking).

De welzijns-eligibiliteit en cross-domein scenario's leveren de grootste bewijspools op (57 en 50 records). Het employment-gerichte recruitment-scenario levert de minste (17), consistent met het hieronder beschreven probleem.

4.2 De waarschuwing: κ = 0,045

De meest significante bevinding is methodologisch van aard. Evaluatie tegen een 69-record gold standard toont dat LLM-geassisteerde classificatie van het employment-domein slechts κ = 0,045 scoort, near-chance. Dit is de categorie die het meest direct geassocieerd wordt met algoritmische discriminatie (Annex III(4) beslaat de hoogste-risico werkgelegenheidstoepassingen).

De oorzaak is spurious vocabulary correlation: een disproportioneel deel van de records bespreekt werkgelegenheid incidenteel in plaats van als primair domein van schade. Zowel keyword- als LLM-classificatoren voorspellen "employment" te vaak voor records die algemeen arbeidsmarkt-jargon bevatten.

De implicatie is direct: geautomatiseerde annotatie van employment-domein risico-evidence kan momenteel niet worden vertrouwd zonder menselijke review. Een deployer die op zo'n tool vertrouwt om employment-risico-evidence op te diepen voor een FRIA, genereert een bewijsbasis die zowel onvolledig als misleidend is. De bevinding houdt stand over modellen heen; een vergelijking met GPT-4o-mini bevestigt het patroon.

5. Wat dit betekent voor artikel 27(5)

Artikel 27(5) anticipeert op een geautomatiseerde FRIA-tool die het AI Office zou moeten ontwikkelen. Dit paper levert een fundering voor die tool, maar met een cruciale nuance:

Een evidence-grounded FRIA verschilt van een narratieve FRIA doordat de deployer kan beoordelen of gedocumenteerde mislukkingen analoog zijn aan de eigen context. De machine-readable output stelt een toezichthouder in staat om later te verifiëren dat vergelijkbare deployers dezelfde rechten hebben overwogen.

Maar de κ=0,045-bevinding waarschuwt dat de automatisering die artikel 27(5) beoogt, niet zonder menselijke review kan. Voor het employment-domein, juist het domein waar algoritmische discriminatie het meest gedocumenteerd is, is de classificatiekwaliteit onvoldoende voor unsupervised deployment.

6. Beperkingen

Vier beperkingen bakenen de huidige reikwijdte af:

1. Single-annotator gold standard. Multi-annotator betrouwbaarheid (Fleiss' κ) is een noodzakelijke volgende stap.
2. Beperkte domeindekking. Het corpus beslaat slechts 2 van de 8 Annex III-categorieën. Biometrie, rechtshandhaving en migratie zijn nog niet getest.
3. Geografische bias. AIAAIC is overwegend Engelstalig en leunt zwaar op Amerikaanse en Britse bronnen, een bias in een EU-regelgevende context.
4. Employment-classificatie. Onvoldoende voor unsupervised deployment; vereist menselijk toezicht.

7. Conclusie

Het framework van Olopade, Golpayegani en Lewis is een betekenisvolle stap richting evidence-grounded FRIA's. Het consolideert gefragmenteerd bewijs in een herbruikbare, SPARQL-queryable knowledge graph en verbindt incident-evidence expliciet aan wettelijke verplichtingen.

Maar de meest waardevolle bijdrage is wellicht de waarschuwing. In het domein waar fundamentele-rechtenbeoordelingen het meest urgent zijn, werkgelegenheid en algoritmische discriminatie, faalt geautomatiseerde classificatie op toevalniveau. Voor de Nederlandse publieke sector, waar de toeslagenaffaire en SyRI aantonen hoe ernstig inadequate beoordeling kan misgaan, is de les helder: een FRIA is geen checkbox maar een bewijsoefening, en het bewijs vereist menselijk oordeel.

De vraag is niet of organisaties een FRIA gaan uitvoeren, artikel 27 verplicht het. De vraag is of zij het bewijs hebben om die FRIA te gronden, of dat zij zich beperken tot een narratief dat bij de eerste toezichthouder-controle geen stand houdt.

---

Bron: Olopade, F., Golpayegani, D. & Lewis, D. (2026). A Reusable Semantic Web Framework for Evidence-Grounded Fundamental Rights Impact Assessments under the EU AI Act. Fifth European Conference on Algorithmic Fairness (ECAF), Gent. arXiv:2609.39537. Artefacten onder CC BY 4.0; broncode onder MIT-licentie via github.com/faitholopade/Dissertation.