Accuracy in de AI Act: als twee werelden hetzelfde woord anders gebruiken

De EU AI Act verwijst expliciet naar accuracy als compliance-maatstaf voor high-risk AI-systemen. Artikel 15 vereist dat high-risk systemen een passend niveau van accuracy, robuustheid en cybersecurity bereiken en dat consistent presteren gedurende hun levenscyclus. Maar de wet definieert accuracy niet. De machine-learning-gemeenschap en de juridische gemeenschap bedoelen fundamenteel verschillende dingen met hetzelfde woord, en geen van beide begrijpt het begrip precies buiten de contextgrenzen van de eigen gemeenschap.

Een paper van de Universiteit Tübingen, het Tübingen AI Center en het CZS Institute for AI and Law presenteert accuracy als een case-study voor de uiteenlopende eisen van sociale werelden. De auteurs onderscheiden E-accuracy, de technische, formele en empirische interpretatie van de machine-learning-gemeenschap, en L-accuracy, de normatieve, teleologische interpretatie van de juridische gemeenschap. Vijf spanningen komen naar voren, met tien concrete aanbevelingen voor de lopende standaardisatie.

De twee werelden

E-accuracy is de formele vergelijking, op basis van een metriek, van gewenste en gegenereerde outputs op een aggregaat van instanties. Het is uitkomstgericht, formeel, empirisch en statistisch. Accuracy definieert de prestaties van een model en wordt gebruikt om modellen te rangschikken in benchmarks. De machine-learning-gemeenschap accepteert accuracy alleen als het in formele, technische taal uitdrukbaar is; anders heeft het geen waarde voor de ontwikkeling van technologische artefacten.

L-accuracy is een juridische compliance-maatstaf die de fitness-to-purpose van een AI-systeem certificeert. Het is inherent normatief en wordt gebruikt voor risicomitigatie. De EU AI Act beoogt met de accuracy-eisen risico's voor gezondheid, veiligheid en grondrechten te mitigeren, en dat wordt bereikt door accuracy gedurende de levenscyclus te waarborgen. L-accuracy is teleologisch: het volgt de vage en mobiele doelen van de wet, zoals risicomitigatie.

De vijf spanningen

De eerste spanning betreft de aard van accuracy. E-accuracy is formeel en empirisch, wiskundig opschrijfbaar en berekenbaar op data. L-accuracy blijft ongrijpbaar met zijn doel van gebruik binnen de AI Act als centraal definiërend kenmerk. De auteurs stellen dat de verschillende aard van accuracy, nauw verbonden met de talen van de gemeenschappen, in principe niet vertaalbaar is. L-accuracy verzet zich tegen volledige formalisering als empirische meting, omdat het door zijn teleologische definitie de vage en mobiele doelen moet volgen. E-accuracy daarentegen is een statische, momentane status.

De tweede spanning betreft de notie van prestatie. Vanuit L-accuracy is prestatie een overkoepelende term waartoe accuracy, maar ook robuustheid of cybersecurity, behoort. Prestatie moet worden beschouwd met betrekking tot het beoogde doel van het AI-systeem. E-accuracy definieert prestatie, maar slechts binnen een beperkte scope. E-accuracy machine-learning-modellen vertalen niet automatisch naar succesvolle toepassingen, om dezelfde redenen waarom E-accuracy niet vertaalt naar L-accuracy.

De derde spanning betreft de scope van validiteit. Voor E-accuracy wordt de scope van validiteit bepaald door het gebruik als competitiemarker: geldige relatieve vergelijking van methoden moet mogelijk zijn buiten de accuracy-meetopstelling. L-accuracy is meer gericht op de scope van validiteit gedurende de levenscyclus en onder bekende en voorzienbare omstandigheden, voor risicomitigatie in daadwerkelijke deployment.

De vierde spanning betreft de doelen. E-accuracy wordt gebruikt als intern objectief binnen de machine-learning-gemeenschap om methoden te verbeteren en te kiezen. L-accuracy certificeert extern de kwaliteit aan gebruikers, deployers en andere betrokken personen. De ijzeren regel van machine learning is de competitie op benchmarks, een geïnstitutionaliseerde meting van accuracy. Accuracy als compliance-maatstaf is daarentegen een last voor de provider, niet intrinsiek gemotiveerd maar opgelegd door de regulator.

De vijfde spanning betreft statistischheid. E-accuracy en machine-learning-methoden zijn statistisch en gericht op het aggregaat. L-accuracy verwijst naar individuen. Deze spanning is bijzonder problematisch omdat individuele accuracy, de claim dat een statistisch systeem accuraat is op een enkele, onwaargenomen instantie, een nauwelijks gerechtvaardigd en zelfs oxymoronisch concept is. Statistische systemen handelen op het niveau van aggregaten.

De tien aanbevelingen

De auteurs formuleren tien concrete aanbevelingen, gericht op de lopende standaardisatie door CEN/CENELEC Technical Committee JTC 21. Het subproject voor de accuracy-standaard, prEN 18229-4, begon in juni 2026 binnen Working Group 4 over fundamentele en ethische aspecten van AI.

R1 stelt dat we moeten accepteren dat de zoektocht naar formele en empirische representaties van accuracy binnen juridische compliance oneindig zal doorgaan. R2 vereist dat een rapport van een accuracy-metriek beargumenteert waarom deze semantisch betekenisvol is. R3 vereist dat een rapport van een dataset beargumenteert waarom de accuracy-meting op deze dataset geldig is in een relevante scope, gedurende de levenscyclus, en robuustheid respecteert bij deployment-veranderingen. R4 vereist dat een accuracy-rapport het doel van het AI-systeem specificeert en de relatie tot het beoogde doel.

R5 is de meest ingrijpende: standaardisatie voor de EU AI Act moet accurate behandelings-toewijzing met causale effecten adresseren. De auteurs pleiten voor een interpretatieve beweging naar beslissings-accuracy wanneer er een interventioneel doel is. Dat vereist de specificatie van het gewenste causale effect, gerandomiseerde data voor evaluatie en een effectmodel. De standaardinterpretatie van accuracy in machine learning is ver verwijderd van elke dergelijke interpretatie en praktijk.

R6 vereist het rapporteren van baselines en vergelijkingssystemen als onderdeel van de standaarden voor EU AI Act-compliance. Baselines kunnen de validiteit van accuracy-metingen uitbreiden en alternatieven demonstreren. R7 waarschuwt dat AI-systemen een diverse set van certificeringen missen, in tegenstelling tot bijvoorbeeld geneesmiddelen die door biochemische kennis worden gecorrobeerd. R8 anticipeert dat accuracy-hacking zal plaatsvinden en vraagt om remedies. R9 pleit voor implementeerbare methoden om gerechtvaardigde schattingen voor subgroep-accuracy te verkrijgen. R10 vraagt om de neveneffecten van een statistische houding ten opzichte van de wereld te overwegen.

Waarom dit relevant is voor de Nederlandse publieke sector

Voor Nederlandse overheidsorganisaties die high-risk AI-systemen inzetten, is de implicatie direct. Een conformiteitsbeoordeling die accuracy als punt-schatting rapporteert zonder context, welke populatie, welke validiteitsscope, empirisch of normatief, is juridisch fragiel. De vijf spanningen betekenen dat een accuracy-claim in een compliance-rapport zonder precieze definitie aanvechtbaar is.

De auteurs tonen met het E-Grad-voorbeeld, een AI-tool voor het beoordelen van Engelse examens, hoe de spanningen concreet worden. Als de tool 95 procent overeenstemming met een docent rapporteert, zegt dat niets over of één individueel examen accuraat is beoordeeld. En als de cijfers worden gebruikt om te beslissen welke student een uitwisselingsprogramma krijgt, is de overeenstemming tussen tool en docent minder relevant dan het succes van het toewijzen van studenten aan het programma.

Voor de NORA- en BIO2-context betekent dit dat accuracy-rapportage een expliciet onderdeel van AI-governance moet worden, met aandacht voor de rechtvaardiging van metriek en data, de relatie tussen het doel van het systeem en het beoogde doel, baseline-vergelijkingen en interventionele studies. De lopende standaardisatie door CEN/CENELEC is een kans om deze eisen te verankeren.

Onzekerheden en beperkingen

De auteurs erkennen dat de spanningen symptomen zijn van een onopgelost en onoplosbaar debat over wat accuracy is. De fricties zijn productief: ze motiveren de ontwikkeling van nieuwe technische maatstaven en verfijnen ons begrip van de term. De auteurs waarschuwen tegen te veel vertrouwen in abstracte zelfstandige naamwoorden met een naïef geloof in eenduidigheid.

De paper is gestructureerd met twee inleidingen en twee parallelle draden, een voor juristen en een voor machine-learning-onderzoekers. Dit is een bewuste methodologische keuze die de twee werelden weerspiegelt. De aanbevelingen richten zich op de lopende standaardisatie, die zich in een vroeg en ondoorzichtig stadium bevindt.

Conclusie

Accuracy is een grens-object: een concept dat meerdere sociale werelden bewoont en aan de informatiebehoeften van elk voldoet, maar onderhevig is aan interpretatieve flexibiliteit. De EU AI Act codificeert een statistische houding in het recht, die zelf dichter bij een individuele houding staat. De vraag is niet of de twee werelden hetzelfde woord anders gebruiken, maar hoe de frictie constructief wordt benut in de standaardisatie.

Voor Nederlandse overheidsorganisaties is de vraag concreet: wat betekent accuracy in uw conformiteitsbeoordeling, en voor wie? Een accuracy-claim zonder precieze definitie is geen bewijs, maar een aanvechtbare bewering.

arxiv.org/abs/2608.31018