EU AI Act compliance-checkers falen empirisch: waarom tools geen garantie zijn

Analyse van arXiv:2609.36228, An Empirical Study and Assessment of EU AI Act Compliance Checkers. Tao et al., 2026.

---

1. Het probleem: compliance als checkbox

De EU AI Act introduceert uitgebreide compliance-verplichtingen voor organisaties die AI-systemen ontwikkelen, implementeren of integreren. Veel van deze verplichtingen raken direct security en privacy, naast verwante zaken als data governance, transparantie, nauwkeurigheid en robuustheid.

Voor kleine en middelgrote ondernemingen en individuele ontwikkelaars is het interpreteren van deze verplichtingen en vertalen naar engineering en governance een uitdaging. Die kloof creëert een markt voor geautomatiseerde EU AI Act compliance-checkers (AIACCs): tools die beweren compliance-assessments te stroomlijnen en praktische begeleiding te bieden.

Tao et al. presenteren de eerste empirische studie en assessment van 12 mainstream AIACCs. De bevindingen zijn alarmerend.

2. De bevindingen: drie systematische tekortkomingen

2.1 Inconsistente interactie en gebruiksvriendelijkheid

De 12 geëvalueerde tools variëren sterk in aanpak: sommige zijn webformulieren, anderen integreren in CI/CD-pijplijnen, weer anderen bieden chatbot-interfaces. Er is geen gestandaardiseerd beoordelingskader. De output van de ene tool is niet vergelijkbaar met de output van de andere. Dit maakt cross-tool validatie onmogelijk.

2.2 Vereenvoudiging en weglating van sleutelverplichtingen

Tools neigen naar over-simplificatie van complexe wettelijke verplichtingen. Artikelen die meerdere cumulatieve eisen stellen, bijvoorbeeld artikel 15 (robustheid, cybersecurity) dat zowel technische als organisatorische maatregelen vereist, worden vaak gereduceerd tot één checkbox. Sommige verplichtingen worden volledig weggelaten, met name die welke subjectieve interpretatie vereisen (zoals "redelijke verwachting van de gebruiker" in artikel 13 over transparantie).

2.3 Geen deterministisch, actiebaar advies

De meest fundamentele tekortkoming: AIACCs produceren geen deterministische, actieerbare output. Een tool kan aangeven dat een systeem "waarschijnlijk high-risk" is, maar geeft geen concrete stappen om aan de vereisten te voldoen. De rapportage-structuur varieert per tool; sommige produceren enkel een score, anderen een lijst zonder prioritering. Geen enkele tool biedt een traceerbare keten van "verplichting → implementatiestap → bewijs".

3. Het risico: valse assurance

De combinatie van deze tekortkomingen creëert een false sense of compliance. Een organisatie die een AIACC gebruikt, een rapport genereert en dat archiveert als "bewijs van compliance" heeft geen robuust verdedigbaar dossier. Bij controle door een toezichthouder zal dit rapport niet standhouden omdat:

• De tool zelf niet gevalideerd is op juridische accuratesse.
• De output geen volledige dekking biedt van alle toepasselijke verplichtingen.
• Er geen audittrail is van hoe de conclusie tot stand kwam.

Dit is geen hypothetisch risico. De studie toont aan dat organisaties die AIACCs als primair compliance-instrument gebruiken, artikel 9 (kwaliteitsmanagementsysteem), artikel 13 (transparantie) en artikel 15 (robustheid) systematisch onvolledig implementeren.

4. Nederlandse context: wat betekent dit voor de publieke sector?

Voor Nederlandse overheidsorganisaties die AI-systemen inzetten, heeft dit directe implicaties:

De nationale implementatie van de EU AI Act vereist dat high-risk AI-systemen worden getoetst aan alle toepasselijke verplichtingen. Een checker die artikelen weglaat of vereenvoudigt, leidt tot een onvolledige toetsing. Dit is bijzonder relevant voor systemen in de publieke sector die onder de "high-risk"-categorie vallen: bijvoorbeeld AI voor overheidsbesluitvorming, werkgelegenheid, of toegang tot publieke diensten.

NIS2 artikel 21 en BIO2 vereisen aantoonbare, herhaalbare beveiligingsmaatregelen. Een AIACC die "cybersecurity" als enkele vraag behandelt, voldoet niet aan de diepgang die NIS2 vereist. De studie van Tao et al. bevestigt dat dit in de praktijk gebeurt.

De Autoriteit Persoonsgegevens (AP) en het toekomstige AI-bureau zullen bij controles niet accepteren dat een tool-rapport als enige bewijsvoering fungeert. Zij zullen vragen naar de menselijke expertise die de tool-output heeft geïnterpreteerd, de interne procedures die de implementatie hebben gevolgd, en het beheerproces dat de naleving waarborgt.

5. Wat te doen

Organisaties die AIACCs overwegen of gebruiken:

1. Behandel AIACCs als oriëntatie-instrument, niet als compliance-garantie. De tools zijn nuttig voor een eerste verkenning, maar niet als eindpunt.

• Eis volledige artikel-dekking. Vergelijk de output van de tool met de volledige tekst van de EU AI Act. Welke artikelen worden behandeld? Welke worden overgeslagen?

3. Valideer de output juridisch. Laat een compliance-officer of jurist de tool-output controleren op volledigheid en accuratesse. Een geautomatiseerd rapport vervangt geen juridische expertise.

4. Documenteer de menselijke interpretatie. Een tool kan een antwoord geven; de organisatie moet kunnen aantonen wie dit antwoord heeft geïnterpreteerd, op basis van welke expertise, en met welke interne procedures.

5. Implementeer een continu compliance-proces. De EU AI Act is geen eenmalige toetsing. Systemen veranderen, regels evolueren, en de organisatie moet kunnen aantonen dat compliance een doorlopend proces is, niet een momentopname.

6. Conclusie

De studie van Tao et al. biedt een kritische baseline van het huidige AIACC-landschap. De conclusie is helder: de huidige generatie AIACCs kan slechts dienen als early-stage orientation tool. Ze vervangen geen juridische expertise, bieden geen volledige dekking, en produceren geen deterministisch actiebaar advies.

Voor organisaties die serieus werk maken van EU AI Act-compliance, betekent dit: investeer in menselijke expertise, gestructureerde processen, en traceerbare documentatie. Een checker die "compliant" aangeeft, is geen bewijs, het is een veronderstelling die bij de eerste toezichthouder-controle wordt ontkracht.

---

Bron: Tao, Z., Kahraman, A., Pan, S., Xing, Z., Ullstein, C., Grossklags, J. & Chen, C. (2026). An Empirical Study and Assessment of EU AI Act Compliance Checkers. arXiv:2609.36228.