Ga naar hoofdinhoud
← Terug naar blog

AI Act-compliance vereist doorlopende vertaling, geen eenmalig assessment

AI Governance

De kern

Het vertalen van AI Act-verplichtingen naar technische eisen is geen eenmalige vertaalslag maar een contextafhankelijk, doorlopend proces. In een participatieve workshop met tweeëndertig onderzoekers en praktijkmensen uit vier disciplines identificeerden deelnemers systematische spanningen tussen technische prestatie en juridische conformiteit. Zes terugkerende thema tonen aan dat technische assessments op het moment van ingebruikname geen garantie bieden voor aanhoudende compliance. Dit artikel analyseert die thema, weegt alternatieve verklaringen, schetst de consequenties voor Nederlandse organisaties en geeft een uitvoerbare controle om compliance-evidence te monitoren.

Wat de paper aantoont en het mechanisme

Torkamaan en collega's organiseerden op 6 maart 2026 aan de Technische Universiteit Delft een volledige workshopdag met tweeëndertig deelnemers, waarvan zeventien mannen en vijftien vrouwen. Tweeëntwintig deelnemers kwamen uit de wetenschap, tien uit de praktijk. Hun primaire expertise was: technisch (achttien), juridisch (zes), sociaal en ethisch (zes), en governance (twee). De workshop bevatte drie hypothetische hoog-risico-AI-toepassingen: een pijninschattingssysteem in de zorg, een rekruteringsassistent en een geweldspreventiesysteem in het openbaar vervoer.

De onderzoekers combineerden voorafgaande registratiegegevens van zesenveertig aanmelders met ochtendwerkbladen, visgraatdiagrammen en ergste-scenario's uit de middagsessie. De analyse volgde reflexieve thematische analyse volgens Braun en Clarke (2019). Uit deze vijf databronnen kwamen zes thema naar voren die gezamenlijk een mechanisme beschrijven: technische, organisatorische en bewijskundige vertaling hangen samen, en falen in het ene domein ondermijnt compliance in de andere.

Thema 1: bias ontstaat uit data, ontwerp en ingebruikname

Deelnemers merkten op dat "onbevooroordeelde werving onmogelijk" is wanneer meerdere fairnessdoelen tegelijkertijd moeten gelden. In het rekruteringscenario kon een acceptabele aggregate fairness-score individuele uitsluiting maskeren. In de zorg kon een behandelbeslissing het pijnsignaal beïnvloeden dat later werd waargenomen, wat deelnemers omschreven als een feedbacklus tussen systeemoutput en toekomstige data. In het openbaar vervoer varieerde datadekking per locatie, bevolkingsgroep, taal en seizoen. De implicatie is dat representativiteit geen eigenschap van een dataset op een moment is, maar een betrekking tussen het gemeten construct, de context van gebruik en de veranderingen die het systeem zelf veroorzaakt.

Thema 2: een mens in de lus garandeert geen doeltreffend toezicht

In het rekruteringscenario kon menselijk toezicht te laat komen, namelijk pas na automatisch filteren of rangschikken. In het openbaar vervoer lieten realtime-meldingen te weinig tijd voor verificatie, terwijl etiketten als "agressie waarschijnlijk" meer zekerheid suggereerden dan het bewijs rechtvaardigde. In de zorg ontstond een keten van deference: artsen delegeerden naar verpleegkundigen, die aannamen dat AI-scores al waren gevalideerd. Deelnemers in het vervoerscenario benadrukten dat dit "meer een systemisch probleem dan een individueel karakterprobleem" is.

Thema 3: verantwoordelijkheid is anders verdeeld dan het vermogen om die uit te oefenen

In alle drie de scenario's was verantwoordelijkheid versnipperd over aanbieders, implementeerders, frontlijnmedewerkers en betrokkenen. In rekrutering weigerden leveranciers soms audittoegang, waardoor de partij die het systeem kon compliant maken buiten de organisatie zat die ervoor aansprakelijk was. In de zorg waren verantwoordelijkheden tussen aanbieder en implementeerder "niet duidelijk gedefinieerd". In het vervoer moest eerst "de publiek versus privaat-arrangement" worden vastgesteld voordat technische assessment zinvol was.

Thema 4: veranderende omstandigheden kunnen eerdere compliance-evidence ongeldig maken

Deelnemers wezen op seizoensgebonden variatie in het vervoer, nieuwe patiëntenpopulaties en hardware in de zorg, en veranderende arbeidsmarkten in rekrutering. COVID-19 werd genoemd als voorbeeld waarbij historische wervingsdata plotseling ongeschikt werden. Organisatorische verandering was even bedreigend: "het bedrijf dat het bouwde kan tegen de tijd dat monitoring belangrijk is failliet zijn." Deelnemers riepen op tot expliciete hertrainingsdrempels, audits van updates en "systeem-afbouwclausules".

Thema 5: AI-systemen kunnen goed presteren maar de beoogde beslissing niet ondersteunen

In de zorg kon een systeem pijn accuraat inschatten terwijl het interventies ondersteunde die artsen ongepast vonden. Deelnemers vroegen: "is het doel pijn verminderen, of is het welzijn?" In rekrutering stelden deelnemers: "is er een mismatch tussen wat we meten versus wat we willen." In het vervoer betwijfelden deelnemers of algoritmische risicoschattingen "geschikt voor de taak" waren.

Thema 6: AI-systemen kunnen herbestemd worden zonder herbeoordeling van risico's

In het vervoer kon een begrensd geweldspreventiesysteem uitgroeien tot bredere surveillance. In de zorg kon een pijnmonitor worden gekoppeld aan infuuspompen, waardoor een monitor een actor werd. In rekrutering was "tweehonderd aanvragers terugbrengen naar vijftig" iets anders dan "een van drie finalisten kiezen". De gedeelde moeilijkheid was het identificeren van het punt waarop geleidelijke verandering een materieel andere toepassing wordt die herassessment vereist.

Alternatieve verklaringen

De waargenomen spanningen zijn feitelijk vastgelegd in workshopdata, maar hun oorzaak kent drie materieel verschillende verklaringen die elk een andere toets onderscheiden.

De eerste verklaring is dat de deelnemers simpelweg niet genoeg van de AI Act afwisten om de verplichtingen correct te vertalen. Dit zou de spanningen reduceren tot een kennisgap die opleiding en gestandaardiseerde sjablonen kan dichten. Deze hypothese wordt echter ondermijnd door het feit dat tweeëntwintig deelnemers uit de wetenschap kwamen en de workshop expliciet was ontworpen om gedeelde kennis te vestigen via inleidingen en quizzes. De pre-workshop-intake toonde spanningen die niet door onbekendheid met de verordening verklaard kunnen worden, maar door structurele spanningen tussen normatieve concepten en meetbare eigenschappen.

De tweede verklaring is dat de spanningen het gevolg zijn van een methodologisch artifact van de workshopopzet. Omdat deelnemers in interdisciplinaire teams van vijf tot zes personen werkten, kunnen de waargenomen meningsverschillen voortkomen uit communicatiebarrières tussen disciplines in plaats van uit daadwerkelijke compliance-falen. Deze verklaring is plausibel omdal de onderzoekers erkennen dat "meer dan alleen het bij elkaar brengen van experts" nodig is. De toets die deze verklaring onderscheidt, is of dezelfde spanningen zouden optreden in een homogeen technisch team zonder juridische en sociaal-ethische deelnemers. Dat is niet getest; de workshop bewust koos voor interdisciplinariteit. De waargenomen spanningen kunnen dus wel degelijk reflecteren hoe compliance in de praktijk verloopt, maar het is onzeker of ze even scherp zouden zijn zonder de ontwerpkeuze.

De derde verklaring is dat de drie scenario's bewust uitdagend waren gekozen en de bevindingen daarom niet generaliseren naar minder grensoverschrijdende toepassingen. De zorg, rekrutering en openbaar vervoer zijn alle drie hoog-risico-domeinen met complexe belangentegenstellingen. Een eenvoudiger classificatiesysteem zou mogelijk wel voldoende vertaalbaar zijn via harmonisatienormen. Deze verklaring onderscheidt zich door te voorspellen dat de spanningen afnemen naarmate de toepassing minder normatief geladen is. De toets zou een vergelijkende workshop met minder controversiële systemen vereisen, wat niet is gedaan. Deze verklaring is een ernstige tegenhanger omdat zij de praktische relevantie voor routineuze hoog-risico-toepassingen in twijfel trekt.

Wat deze conclusie zou weerleggen

Een empirische studie die aantoont dat organisaties met een eenmalige conformiteitsbeoordeling gedurende meerdere jaren structureel compliant blijven zonder herassessment, zou de centrale claim dat compliance doorlopende vertaling vereist, ondermijnen. Concreet zou een retrospectieve analyse van hoog-risico-AI-systemen in de EU die twee jaar na ingebruikname geen significante afwijkingen in fairnessmetrics, oversight-effectiviteit of prestatie-evidence vertonen, de dringendheid van het doorlopende proces in twijfel trekken.

Een tweede falsificatiecriterium ligt in de organisatorische capaciteit. Als implementeerders zelfs onder ongunstige omstandigheden consistent in staat blijken om AI-output kritisch te beoordelen en te overrulen, dan is de bevinding dat toezicht een organisatorische capaciteit is eerder een theoretische voorzorg dan een empirisch bevestigde noodzaak. Het daadwerkelijke override-gedrag van controleurs in spoorweghalles of ziekenhuizen zou deze toets kunnen uitvoeren, maar de paper biedt geen dergelijke velddata.

Een tegenfeitelijke toets maakt de urgentie scherper. Wat als een organisatie de herbeoordelingstriggers wel documenteert maar de onderliggende populatiedata niet actualiseert? Dan blijft het algoritmeregister formeel up-to-date terwijl de compliance-evidence in werkelijkheid is verouderd. De paper toont dat dit precies het faalmechanisme is waar de zes thema op stuiten: het document is bijgewerkt, de meting niet.

Beperkingen van deze analyse

De auteurs noemen expliciet dat zij kwalitatieve data uit een enkele workshop analyseren, wat de generaliseerbaarheid beperkt. De drie scenario's zijn hypothetisch en niet uit geteste praktijksystemen voortgekomen; zij dienden om interpretatieprocessen zichtbaar te maken, niet om frequenties van compliance-falen te meten. De reflexieve thematische analyse produceert patronen uit waargenomen meningsuitingen, niet uit gestandaardiseerde metingen. De bevindingen reflecteren daarom waargenomen spanningen in interpretatie en vertaling, niet gemeten tekortkomingen in bestaande systemen.

De deelnemerspopulatie is zelfgeselecteerd via registratie voor een special-interest-groep rond AI Act-implementatie, wat betekent dat zij waarschijnlijk bovengemiddeld geinteresseerd zijn in compliance en mogelijk bovengemiddeld sceptisch over eenvoudige vertalingen. De genderverhouding was bijna in evenwicht, maar de governance-expertise was dunbezet (twee deelnemers), wat betekent dat organisatorische en bestuurlijke perspectieven minder sterk vertegenwoordigd kunnen zijn dan technische of juridische.

Onzeker blijft of de bevindingen gelden voor de Nederlandse publieke-sectorcontext met haar specifieke governancekaders zoals de BIO2 en NORA. De workshop vond in Nederland plaats, maar de deelnemers kwamen uit verschillende landen en disciplines; de Nederlandse implementatiecontext met haar decentrale verantwoordelijkheidsverdeling tussen ministeries, uitvoeringsorganisaties en gemeenten is niet expliciet getest. De spanning tussen formele verantwoordelijkheid en praktisch vermogen kan in een sterkere federale structuur anders uitpakken dan in een sterk gedecentraliseerd systeem waar zorg, vervoer en arbeidsmarkt door verschillende bestuurslagen worden beheerd.

De Nederlandse consequentie

Voor een Nederlandse organisatie die een hoog-risico-AI-systeem inzet, heeft dit directe consequenties voor het algoritmeregister en de conformiteitsbeoordeling. Neem een gemeentelijke afdeling Werk en Inkomen die een rekruteringsassistent gebruikt voor het screenen van sollicitanten, of een ZBO die een risicoschattingssysteem inzet in het openbaar vervoer, of een ziekenhuis dat een AI-gestuurde pijnmonitor implementeert. In alle drie de gevallen voldoet een eenmalige conformiteitsbeoordeling volgens artikel 43 van de AI-verordening niet als er geen mechanisme is om te detecteren wanneer de omstandigheden die de assessment rechtvaardigden zijn veranderd.

De synthese die de paper zelf niet trekt, is dat artikel 72 van de AI-verordening (post-markttoezicht) en artikel 9 (doorlopend risicobeheer) samen een expliciete operationele plicht scheppen die verder gaat dan documentatie: het vereisen van een traceerbare beslissing wanneer compliance-evidence veroudert. Een gemeente kan dit operationeel maken door drie controles in te bouwen.

Eerst, een periodieke herbeoordeling van de representativiteit van trainingsdata tegen de actuele populatie die het systeem bedient, bijvoorbeeld per kwartaal voor rekrutering en per half jaar voor zorgpopulaties. De kosten van deze controle zijn O(N) in het aantal records, waarbij N de steekproefgrootte is; de duurste stap is niet de vergelijkingsstatistiek maar het verkrijgen van actuele populatiegegevens die voldoen aan AVG-begrenzingen.

Tweede, een logboek van override-beslissingen dat niet alleen telt hoe vaak mensen het systeem overrulen, maar ook of die overrides gejustificeerd zijn volgens expliciete criteria. De paper toont aan dat lage override-frequentie evengoed onkritische acceptatie als passend vertrouwen kan reflecteren. Dit vereist een binaire classificatie per override als "gejustificeerd" of "niet beoordeeld", wat in werkelijkheid veel meer tijd kost dan technische logging.

Derde, een contractuele afbouwclausule bij inkoop die bepaalt wanneer het systeem wordt teruggetrokken als de aanbieder niet langer kan garanderen dat updates en monitoring-informatie beschikbaar zijn. De paper citeert het faillissement van ontwikkelaars als reëel risico; een afbouwclausule zet dit risico om in een expliciete overgang naar menselijke beoordeling.

import datetime
from dataclasses import dataclass

@dataclass
class ComplianceEvidence:
    systeem_id: str
    beoordelingsdatum: datetime.date
    representativiteit_geldig_tot: datetime.date
    laatste_override_evaluatie: datetime.date
    override_criteria_documentatie: bool

def compliance_evidence_status(evidence: ComplianceEvidence, vandaag: datetime.date) -> str:
    """
    Controleert of compliance-evidence nog geldig is.
    Retourneert een status die aangeeft of herbeoordeling nodig is.
    """
    vervalt_representativiteit = vandaag > evidence.representativiteit_geldig_tot
    vervalt_override_review = (vandaag - evidence.laatste_override_evaluatie).days > 90
    
    if vervalt_representativiteit and vervalt_override_review:
        return "Kritisch: representativiteit en oversight-review verlopen"
    elif vervalt_representativiteit:
        return "Waarschuwing: representativiteit vereist herbeoordeling"
    elif vervalt_override_review:
        return "Waarschuwing: oversight-review vereist actualisering"
    else:
        return "Geldig"

# Voorbeeld: een systeem geassesseerd op 1 januari 2026
# met zes maanden geldigheid voor representativiteit
voorbeeld = ComplianceEvidence(
    systeem_id="rekrutering-assistent-001",
    beoordelingsdatum=datetime.date(2026, 1, 1),
    representativiteit_geldig_tot=datetime.date(2026, 7, 1),
    laatste_override_evaluatie=datetime.date(2026, 8, 15),
    override_criteria_documentatie=True
)

print(compliance_evidence_status(voorbeeld, datetime.date(2026, 11, 17)))

Deze routine heeft een tijdscomplexiteit van O(1) per systeem per controle, maar de operationele kosten liggen in het onderhoud van de metadata en het periodiek uitvoeren van de beoordelingen. Bij honderd systemen en kwartaalchecks bedraagt de doorlopende overhead vierhonderd assessments per jaar, waarvan de meeste snel afgehandeld kunnen worden als er geen verandering is gedetecteerd.

De paper suggereert dat harmonisatienormen en richtsnoeren de vertaalslag kunnen vergemakkelijken, maar benadrukt tegelijkertijd dat normatieve vraagstukken rond fundamentele rechten niet volledig door technische standaarden opgelost kunnen worden. Voor de Nederlandse context betekent dit dat een algoritmeregister dat alleen ontwerpdocumentatie vastlegt, onvoldoende is. Het register moet ook expliciete herbeoordelingstriggers bevatten, bijvoorbeeld: "Wanneer de samenstelling van de doelgroep met meer dan tien procent verschuift ten opzichte van de validatiepopulatie, wordt een nieuwe subgroup-performance-analyse uitgevoerd."

Zie ook

Bronnen

AI & Security Intelligence

Wekelijkse nieuwsbrief met AI updates, security alerts en compliance inzichten, direct in uw inbox.

Security & AI Operating Model

Advisory met executiekracht

Van BIO2 en NIS2 tot EU AI Act, embedded in uw operating model, niet als extern project. Maandelijks opzegbaar, met assessments als bewijsvoering.