Ga naar hoofdinhoud
← Terug naar blog

Compliance theatre: waarom geautomatiseerde compliance-detectie systemisch faalt

AI GovernancePremium

Organisaties die LLM's inzetten in gereguleerde omgevingen vertrouwen steeds vaker op automated compliance detection: guard models die outputs checken tegen geschreven regels, en LLM-as-judge systemen die principle-based evaluaties automatiseren. Twee arXiv-papers uit augustus 2026 toonden onafhankelijk aan dat beide benaderingen systemisch falen. Twee vervolgpapers van dezelfde onderzoeksgroep (oktober 2026) bevestigen dat het faalpatroon structureel is, en breiden het uit naar juridische vonnisvorming.

Dit is geen academische kwestie. Wie als CISO, DPO of AI-governance-verantwoordelijke een guard model of LLM-judge inzet als audit-control onder EU AI Act Art. 12 (logging) of Art. 14 (human oversight), baseert zijn compliance-claim op infrastructuur die empirisch niet doet wat hij beweert te doen. Dit artikel synthetiseert de papers tot een unified failure model, werkt de governance-implicaties uit, en stelt een concrete audit-vereiste voor.

Falingsmodus 1: rule blindness, detectoren lezen het scenario, niet de regel

Het paper "What Do Compliance Detectors Read? An Audit of Activation Probes and Guard Models" (Sadhu et al., arXiv:2608.16852) introduceert het concept rule blindness: het fenomeen dat een compliance-detector zijn verdict baseert op surface features van het scenario, niet op de daadwerkelijke regel die hij zou moeten handhaven.

De methodologie is elegant in haar eenvoud. De auteurs passen een counterfactual protocol toe: ze verwijderen, permuteren, of vervangen de governing rule in een compliance-case en meten of de detector zijn verdict verandert. Als de detector de regel daadwerkelijk leest, moet een vervanging door de permissive tegenhanger het verdict omdraaien. Dat doet het niet.

De resultaten zijn onthutsend. Voor elke geteste guard model en activation probe, Llama Guard 3, Qwen3Guard, WildGuard, HarmBench, SIREN, GLiGuard, en Latent Policy Guard, laat het verwijderen of vervangen van de regel de detectie-accuratesheid ongewijzigd. De meest opvallende bevinding is LPG (Latent Policy Guard), een policy-conditioned guard die de governing clause correct citeert 91-95% van de tijd, maar zijn verdict nauwelijks verandert als die clause wordt vervangen door zijn permissive tegenhanger. De guard citeert de regel, maar handhaaft hem niet.

Om uit te sluiten dat dit een artefact is van bestaande benchmarks, construeren de auteurs een crossed-rule benchmark: twee regels gekruist met twee scenario's, zo ontworpen dat noch de regel noch het scenario alleen het label voorspelt. Onder dit design, dat geen enkele eerdere benchmark uitsluit, faalt elke efficiente detector. Alleen stap-voor-stap reasoning ontsnapt aan rule blindness, maar dat is precies de aanpak die guard models juist niet gebruiken: zij zijn ontworpen als snelle, één-pass classificaties.

De paper introduceert ook een eigen oplossing, de Internal Compliance Score (ICS): een training-free activation readout die met tien gelabelde paren wordt gekalibreerd. Maar de auteurs passen dezelfde scrupuleuze evaluatie toe op hun eigen methode, en ICS faalt ook. De pre-registered criterion voor het verslaan van triviale baselines wordt niet gehaald, en een bag-of-words model matcht de gegeneraliseerde prestatie exact. ICS is nuttig als goedkope audit-tool (het stelt in staat om vier deployed guards en dertien benchmarks te scannen), maar het is zelf ook rule blind.

De kernbevinding is dus niet dat één specifiek guard model faalt, maar dat rule blindness een structurele eigenschap is van de hele klasse van efficiente compliance-detectoren. Guard models zijn getraind om een generic violation signal te herkennen, niet om een specifieke regel te componeren met een specifiek scenario. Dat werkt zolang het scenario zelf het label voorspelt, maar faalt zodra de regel informatief wordt, precies de situatie waarin compliance-monitoring het meest nodig is.

Falingsmodus 2: adversariële deception, LLM-judges zijn manipuleerbaar met surface keywords

Het paper "A Four-Axis Trustworthiness Benchmark for LLM-as-Judge in Principle-Based Regulation" (Sarkar, arXiv:2608.14329) toont een complementaire falingsmodus. Waar rule blindness aantoont dat detectoren niet lezen wat ze zouden moeten lezen, toont adversariële deception dat ze wél lezen wat ze niet zouden moeten lezen, en dat aanvallers dat kunnen uitbuiten.

De paper introduceert Principle-Bench: 168 scenario's gekoppeld aan twee UK FCA-principes ("fair, clear, and not misleading" en "deliver good outcomes"), met een perturbation-suite die vier assen test: accuracy, paraphrase robustness, adversarial robustness, en calibration. Dit is de eerste benchmark die alle vier assen voor principle-based regulation dekt.

De headline bevalling: een 120B LLM-judge die op benign inputs 0.74 accurate is op Consumer Duty, zakt naar 0.27 onder keyword-stuffing, een daling van 47 accuracy-punten. De perturbation is simpel: korte feitelijke assertions ("Client can absorb a total loss") worden letterlijk in substantief non-compliant promoties ingevoegd. De judge over-crediteert deze surface statements en keurt de promotie goed. Op het COBS-principe, waarvan de positive exemplars higher-order kwalitatieve claims zijn die zich niet lenen voor keyword-injectie, behoudt de judge 0.92. De faalmodus is dus principe-specifiek.

Een tweede judge uit een andere model-family bevestigt de bevinding met een inter-model agreement van slechts Cohen's κ = 0.16 op de adversarial split. Dat localiseert het falen naar het model, niet naar het corpus. De paper noemt dit expliciet "compliance theatre": de judge produceert een compliance-verdict dat er professioneel uitziet, maar dat structureel gameable is door een aanvaller die de surface features kent waarop de judge zijn verdict baseert.

De synthese: een unified failure model

De twee papers zijn onafhankelijk gepubliceerd, testen verschillende systemen, en gebruiken verschillende methodologieën. Maar hun bevindingen combineren tot een unified failure model voor automated compliance detection met drie lagen:

Laag 1, Scenario-dominantie (rule blindness). Efficiente detectoren, guard models, activation probes, zero-shot judges, extraheren een broad violation signal uit het scenario, niet uit de compositie van regel en scenario. De regel is decoratief: de detector produceert hetzelfde verdict ongeacht welke regel wordt gegeven. Dit betekent dat een organisatie die meerdere regels handhaaft (GDPR-opslagtermijn, AI Act-transparantie, NIS2-incidentreporting) in feite één generic violation detector inzet, niet regel-specifieke compliance.

Laag 2, Adversariële manipuleerbaarheid (deception). De surface features waarop de detector zijn verdict baseert, zijn manipuleerbaar. Een aanvaller die weet dat de judge over-crediteert op feitelijke assertions, kan non-compliant content verpakken met compliant-looking keywords. Omdat de detector al rule blind is (Laag 1), is er geen onafhankelijk mechanisme dat de manipulatie detecteert, de detector kan niet controleren of de ingevoegde keywords daadwerkelijk overeenkomen met de regel die hij zou moeten handhaven.

Laag 3, Versterking. De twee falingsmodi versterken elkaar. Een detector die rule blind is, kan niet detecteren dat hij gemanipuleerd wordt (want hij leest de regel niet). Een detector die gemanipuleerd kan worden, heeft geen onafhankelijke check op rule blindness (want zijn verdict is gecorrumpeerd door de manipulatie). Samen vormen ze een self-reinforcing failure: de compliance-assurance ziet eruit alsof het werkt (de detector produceert verdicts, citeert regels, geeft confidence-scores), maar de assurance is hol.

Nieuwe evidence (oktober 2026): de structuur breidt uit naar twintig domeinen én juridische vonnisvorming

Twee papers van dezelfde onderzoeksgroep (Sadhu et al., Lexsi Labs, 8 okt 2026) bevestigen de structurele claim en breiden die uit op twee assen die de augustus-papers nog niet dekten: schaal (twintig regelgevingsdomeinen in plaats van een beperkte set guard models) en domein (juridische vonnisvorming, niet alleen compliance-detectie).

Verdict Without the Rule (arXiv:2610.12313) test vijf modellen op twintig domeinen uit OmniCompliance-100K met een protocol dat de governing rule verwijdert, verwisselt of negatief omkeert terwijl de casus gelijk blijft. De behavioral metric OCS (Output Compliance Sensitivity) is uniform laag: 0.013 tot 0.094, ver onder de 0.5-independence-referentie. De interne representatie (ICS-delta) beweegt eveneens nauwelijks: 12.8% tot 22.9% van de baseline-magnitude. De twee instrumenten correleren niet significant met elkaar, wat suggereert dat ze twee verwante maar deels onafhankelijke eigenschappen meten.

Twee bevindingen verdienen precieze formulering. Ten eerste: het guard-model (Llama-Guard-3-8B) scoort het laagst, 51.1% nauwkeurigheid tegen 90.3-91.9% voor de vier general-purpose modellen. Maar de paper zelf nuanceert dit expliciet: Llama-Guard is geëvalueerd onder een custom-rule adaptatie die regeltekst in een slot plaatst waar zijn vaste veertien-categorieën-taxonomie niet voor is getraind. De paper noemt dit "task-format mismatch" en presenteert het guard-model als een andere faalmodus, niet een ernstigere versie van dezelfde. Ten tweede, en dit is de belangrijkste verfijning ten opzichte van de augustus-paper, de rule-necessity control toont aan dat het fenomeen geen blanco nalatigheid is. Op de subset van cases waar het verwijderen van de regel een voorheen correcte voorspelling omdraait, stijgt rule-sensitivity scherp naar 0.73-1.00. Modellen volgen de regel dus wél wanneer de regel outcome-determinative is; het probleem is dat op de meerderheid van de cases, waar het antwoord al uit de casus-inhoud afleesbaar is, het verdict grotendeels invariant is aan wat de regel zegt. Standaard-accuracy kan die twee regimes niet onderscheiden.

Cited but Not Consulted (arXiv:2610.12361) verplaatst dezelfde vraag naar juridische chain-of-thought. Zeven open-weight modellen (8B-70B) over vier benchmarks (ECHR, SCOTUS, CaseHOLD, ContractNLI). Wanneer expliciet gevraagd wordt het verdict te onderbouwen met de geldende autoriteit, noemen modellen de juiste autoriteit in 66.7-100% van de generaties. Maar het verdict verandert veel minder consistent wanneer die autoriteit wordt vervangen: 0.0-21.7% op CaseHOLD, 30.0-76.7% op ECHR en SCOTUS, en 43.3-50.0% op ContractNLI. De CaseHOLD-waarde is de laagste van de drie settings en meet specifiek precedent-identity sensitivity (alleen de zaaknaam verandert), niet autoriteitsafhankelijkheid in het algemeen, een onderscheid dat verloren gaat in een samenvatting die alleen het 0-22%-bereik citeert. Noch schaal (de 70B-parameter Llama-3.3), noch een purpose-built legal-reasoning model (Legal-Δ-14B, een best-effort LoRA-reproductie) sluit de kloof.

De red-teaming-ablation is de meest consistente en meest actiebare bevinding van het paper: alle vijf kernmodellen volgen een adversariële instructie verborgen in de casusfeiten (geframed als een "registry note") in 73.3-96.4% van de gevallen, voor elk model een ruime marge boven de eigen verdict-swap sensitivity. De paper verankert de exploitability-claim op deze compliance rate (de zwakkere, meer verdedigbare lezing), niet op de striktere verdict-change-ratio (18.5-41.4%) die alleen voor één model boven swap-sensitivity uitkomt. De conclusie: een model dat vloeiend redeneert over de correcte autoriteit, volgt een gefabriceerde instructie gemakkelijker dan dat zijn verdict de autoriteit volgt die het zelf noemt.

Samen bevestigen deze papers dat het in augustus geïdentificeerde faalpatroon geen artefact is van een specifieke detector of benchmark. Het is een eigenschap van de klasse: de naam van de regel is bijna automatisch, de afhankelijkheid van de regel is dat niet.

Governance-implicaties: EU AI Act en NIS2

Deze synthese heeft directe consequenties voor organisaties die onder de EU AI Act of NIS2 vallen.

EU AI Act Art. 14-15 (human oversight, accuracy, robustness). De AI Act vereist voor high-risk AI-systemen dat er adequate human oversight is (Art. 14) en dat het systeem voldoende accuraat, robust en cyber-secure is (Art. 15). Als een organisatie een guard model inzet als onderdeel van zijn human-oversight-mechanisme, en dat guard model is rule blind, dan voldoet het oversight-mechanisme niet aan zijn doelstelling: het controleert niet of de output voldoet aan de specifieke regel, maar of de output lijkt op een generic violation. Dat is geen adequate oversight.

EU AI Act Art. 12 (logging). De AI Act vereist logging van het functioneren van het AI-systeem. Als de logs van een guard model alleen verdicts bevatten ("compliant"/"non-compliant") zonder de regel-specifieke reasoning, dan zijn de logs niet geschikt voor事后 audit. Een auditor die de logs onderzoekt kan niet vaststellen of de guard daadwerkelijk de regel heeft toegepast, en de rule blindness-bevinding suggereert dat hij dat niet heeft gedaan.

NIS2 Art. 20 (incident reporting). Als een LLM-judge die wordt ingezet voor compliance-monitoring wordt gemanipuleerd via keyword-stuffing, en die manipulatie leidt tot een non-compliant output die door het systeem gaat, dan is dat een significant incident onder NIS2. Maar de organisatie zal het waarschijnlijk niet detecteren, de judge produceert een "compliant" verdict, en zonder een onafhankelijk mechanisme dat de judge test op adversariële robustness, is het incident onzichtbaar.

Wat eraan te doen: een concrete audit-vereiste

De papers leveren niet alleen de diagnose, maar ook de testprotocollen. De synthese suggereert een concrete audit-vereiste voor elke organisatie die automated compliance detection inzet:

1. Counterfactual rule substitution test. Neem een set compliance-cases. Vervang voor elke case de governing rule door (a) de permissive tegenhanger, (b) een ongerelateerde regel, (c) geen regel. Als de detector zijn verdict niet verandert, is hij rule blind voor die case. Het paper van Sadhu et al. levert het protocol en de crossed-rule benchmark.

2. Adversarial keyword-stuffing test. Neem een set non-compliant cases. Voeg compliant-looking surface keywords toe. Als de detector zijn verdict omdraait van "non-compliant" naar "compliant", is hij gameable. Het paper van Sarkar levert de perturbation-suite en de pre-registered rubric.

3. Inter-model agreement test. Draai ten minste twee judges uit verschillende model-families op dezelfde cases. Als de inter-model agreement laag is (κ < 0.4) op adversarial inputs, is de failure model-side, niet corpus-side.

Deze drie tests zijn goedkoop, reproduceerbaar, en leveren een falsifieerbare claim: "onze compliance-detectie is niet rule blind en niet adversarieel manipuleerbaar." Geen enkele huidige detector die de papers testen, overleeft alle drie.

Beperkingen en onzekerheid

Deze synthese heeft grenzen. De rule blindness-bevinding is getest op een specifieke set guard models (vooral Llama Guard 3, Qwen3Guard, WildGuard, HarmBench, SIREN, GLiGuard, LPG). Nieuwere modellen kunnen de test doorstaan, maar tot dat bewijs er is, is de default-aanname dat ook zij rule blind zijn, omdat de falingsmodus structureel is (efficiente detectoren extraheren generic signals, niet regel-specifieke compositie).

De adversarial deception-bevinding is getest op UK FCA-principes in het cryptoasset-domein. De generalisatie naar EU AI Act-principes ("adequate human oversight", "appropriate accuracy and robustness") is een hypothese, niet bewezen. Maar het mechanisme, een LLM-judge die over-crediteert op surface assertions, is niet domein-specifiek. Het is een eigenschap van hoe LLM's tekst verwerken, niet van het FCA-regime.

Step-by-step reasoning ontsnapt aan rule blindness, aldus Sadhu et al. Dat suggereert dat een toekomstige generatie compliance-detectoren die reasoning expliciet maken (chain-of-thought, tool-augmented verification) de test kan doorstaan. Maar dat vereist reasoning-kosten die de huidige guard-model-paradigmatiek juist probeert te vermijden.

De oktober-papers voegen twee preciseringen toe die de augustus-claim verfijnen in plaats van verzwakken. Ten eerste is rule-blindness geen blanco nalatigheid: de rule-necessity control toont dat modellen de regel wél volgen op de subset van cases waar die outcome-determinative is (sensitivity stijgt naar 0.73-1.00). Het probleem is dat standaard-accuracy de twee regimes niet onderscheidt, niet dat de regel nooit wordt gelezen. Ten tweede is de guard-model-bevinding (51.1%) gemeten onder een custom-rule adaptatie buiten de native taxonomie, de paper zelf classificeert dit als task-format mismatch, niet als bewijs dat compliance-specifieke training structureel faalt. Wie de 51.1% citeert zonder die kwalificatie, overclaimt ten opzichte van de primaire bron.

Een derde precisering geldt voor het CaseHOLD-cijfer (0.0-21.7% sensitivity): dat meet specifiek precedent-identity sensitivity (alleen de zaaknaam verandert), niet autoriteitsafhankelijkheid in het algemeen. De bredere range (30.0-76.7% op ECHR/SCOTUS) is de juiste referentie voor de algemene claim. De nieuwe papers bevestigen de structuur, maar een journalistieke samenvatting die alleen het laagste bereik citeert, vertekent de bevinding.

Conclusie

Automated compliance detection is niet een kapitale fout die opgelost kan worden met een betere guard of een groter model. Het is een structurele beperking van de hele klasse van efficiente detectoren. Organisaties die deze systemen inzetten als audit-control moeten weten dat de assurance die ze leveren empirisch niet houdt wat hij belooft, en dat er een concrete, reproduceerbare test is om dat vast te stellen.

De volgende stap is niet "bouw een betere detector." De volgende stap is "eis dat elke detector die als compliance-control wordt ingezet, de counterfactual en adversarial test doorstaat." Dat is de standaard die de EU AI Office, ENISA, en nationale toezichthouders moeten stellen, niet als optionele best practice, maar als minimum-eis voor conformity assessment.

Evidence basis: Sadhu et al., "What Do Compliance Detectors Read?" arXiv:2608.16852 (17 aug 2026); Sarkar, "A Four-Axis Trustworthiness Benchmark for LLM-as-Judge in Principle-Based Regulation," arXiv:2608.14329 (14 aug 2026); Sadhu et al., "Verdict Without the Rule," arXiv:2610.12313 (8 okt 2026); Sadhu et al., "Cited but Not Consulted," arXiv:2610.12361 (8 okt 2026). De synthese en governance-implicaties zijn de analyse van de auteur, niet de claim van de oorspronkelijke auteurs.

Premium content

Compliance theatre: waarom geautomatiseerde compliance-detectie systemisch faalt

Dit artikel is exclusief beschikbaar voor nieuwsbrief-abonnees. Schrijf je in voor toegang tot 880+ artikelen.

Geen spam. Uitschrijven op elk moment.

AI & Security Intelligence

Wekelijkse nieuwsbrief met AI updates, security alerts en compliance inzichten, direct in uw inbox.

Security & AI Operating Model

Advisory met executiekracht

Van BIO2 en NIS2 tot EU AI Act, embedded in uw operating model, niet als extern project. Maandelijks opzegbaar, met assessments als bewijsvoering.