Accuraatheid bewijst niet dat je AI de regels volgt

De kern

Een LLM dat 95 procent accuraat categoriseert, bewijst daarmee niet dat het de definities volgt die jij hebt aangeleverd. De score kan evengoed voortkomen uit eerdere associaties met categorie-labels of uit gelabelde voorbeelden. Een counterfactual audit, die definities onder de labels herverdeelt, legt het verschil bloot: modellen behouden de originele label-mapping vaker dan dat ze de herverdeelde definitie volgen. Voor wie een model inzet op besluitvorming of documentverwerking, betekent dit dat accuraatheid en regelconformiteit twee verschillende meetdoelen zijn.

Het verschil tussen accuraat en regelconform

Sociale wetenschappers zetten LLM's in om teksten te annoteren volgens een codeboek: een set definities die theoretische begrippen vertaalt naar waarneembare categorieën. Een correcte voorspelling kan drie bronnen hebben: de aangeleverde definitie, eerdere associaties met de categorie-naam, of patronen in de voorbeelden. Normaal wijzen die drie dezelfde kant op, dus standaard accuraatheidsmeting kan ze niet onderscheiden.

De paper (arXiv:2611.09457) plaatst ze in gecontroleerd conflict. De counterfactual audit herverdeelt elke definitie onder een ander label, zodat de aangeleverde definities en de originele mapping van de dataset elkaar tegenspreken. De uitkomst is diagnostisch, geen voorgestelde taxonomie: hij identificeert welke mapping een voorspelling volgt, niet welke informatiebron die heeft veroorzaakt.

Wat de audit meet

Over drie politieke-tekstdatasets en tien herverdelingen blijkt dat modellen de herverdeelde definities zelden als autoritatief behandelen. Bij Mistral-7B behoudt het model de originele mapping in 55,80 procent van de gevallen op CCC, tegenover 10,75 procent definitie-volging. Op BFRS is dat 20,93 procent tegenover 12,87 procent, en op Manifesto 30,25 procent tegenover 3,24 procent. Originele-label-overeenstemming overtreft dus op alle drie de datasets de definitie-volging.

Fine-tuning versterkt het patroon in plaats van het te doorbreken. Over alle zes model-datasetcombinaties stijgt de originele-label-overeenstemming met 4,63 tot 29,44 procentpunt, terwijl definitie-volging daalt of onbetrouwbaar verandert. Betere standaardprestaties kunnen dus de reproductie van historische annotaties weerspiegelen, niet de toepassing van het actieve codeboek.

De retrieval-analyse voegt daar een tweede laag aan toe. Directe k-dichtstebuur-classificatie op dezelfde opgehaalde voorbeelden herstelt 74 tot 93 procent van de verbetering op Manifesto en BFRS. De opgehaalde buurtlabels leveren dus een groot deel van het voorspellende signaal; de bijdrage van het model zelf is kleiner. Alleen wanneer demonstraties en definities dezelfde mapping coderen, stijgt de naleving van de nieuwe mapping scherp.

Wat de paper niet test

De auteurs bakenen hun claim af. Ze bestuderen drie Engelstalige politieke-tekstdatasets en geselecteerde open-weight-modellen; andere modellen kunnen definities, labels en demonstraties anders wegen. De herverdeling behoudt de categorie-betekenissen, dus de audit toetst reactie op een aangeleverde label-definitie-koppeling, niet het leren van nieuwe categorie-grenzen. Overeenstemming onthult bovendien geen intern causaal mechanisme; de conclusies betreffen waarneembaar gedrag onder gecontroleerde conflicten. De conflicttoetsen gebruiken vooraf gedefinieerde labelwissels en isoleren reacties op verschil tussen mappings, maar zeggen niets over geïsoleerde foutieve voorbeelden of dubbelzinnige codeboekformuleringen. Wie "95 procent accuraat dus compliant" als algemene conclusie overneemt, overclaimt.

De Nederlandse consequentie

Voor een overheidsinstelling die een LLM inzet op classificatie of besluitvormingsondersteuning is dit directe conformiteitsmaterie. De AI-verordening eist in artikel 9 een risicomanagementsysteem en in artikel 15 accuraatheid en robuustheid; de AVG eist transparantie bij geautomatiseerde verwerking. Een conformiteitsbeoordeling die alleen accuraatheid meet, mist precies de vraag die deze audit stelt: past het model de regel toe die je hebt vastgelegd, of herkent het alleen patronen?

De praktijkles is een meetinstrument-principe. Het labelsysteem, het codeboek, de demonstratiebank, de retrieval-procedure en de fine-tuning-data vormen samen het meetinstrument. Alleen definities wijzigen laat het model mogelijk een oudere beleidsregel volgen die elders is gecodeerd. Een counterfactual audit is een stresstest vóór model-gegenereerde annotaties substantieve metingen worden.

Zie ook

• Drie zwakke plekken van LLM-agents: geheugen, autorisatie en audit
• Privilege-escalatie bij AI-agents: autorisatie moet buiten het model

Bronnen

• Definitions, Label Names, or Demonstrations? Auditing What Governs LLM Annotation, Viraj Mishra, Shubham Gupta, Dhruv Gupta, Yuehong Cassandra Tai, Qunhua Li, Pennsylvania State University, 6 november 2026
• AI-verordening (EU AI Act), Verordening (EU) 2024/1689
• Algemene verordening gegevensbescherming (AVG), Verordening (EU) 2016/679