Compliance theatre: waarom automated compliance detection systemisch faalt - en wat je eraan kunt doen

Organisaties die LLM's inzetten in gereguleerde omgevingen vertrouwen steeds vaker op automated compliance detection: guard models die outputs checken tegen geschreven regels, en LLM-as-judge systemen die principle-based evaluaties automatiseren. Twee arXiv-papers uit augustus 2026 tonen onafhankelijk aan dat beide benaderingen systemisch falen, elk op een andere manier, maar met een gemeenschappelijke implicatie: de compliance-assurance die ze leveren is grotendeels schijn.

Dit is geen academische kwestie. Wie als CISO, DPO of AI-governance-verantwoordelijke een guard model of LLM-judge inzet als audit-control onder EU AI Act Art. 12 (logging) of Art. 14 (human oversight), baseert zijn compliance-claim op infrastructuur die empirisch niet doet wat hij beweert te doen. Dit artikel synthetiseert beide papers tot een unified failure model, werkt de governance-implicaties uit, en stelt een concrete audit-vereiste voor.

Falingsmodus 1: rule blindness, detectoren lezen het scenario, niet de regel

Het paper "What Do Compliance Detectors Read? An Audit of Activation Probes and Guard Models" (Sadhu et al., arXiv:2608.16852) introduceert het concept rule blindness: het fenomeen dat een compliance-detector zijn verdict baseert op surface features van het scenario, niet op de daadwerkelijke regel die hij zou moeten handhaven.

De methodologie is elegant in haar eenvoud. De auteurs passen een counterfactual protocol toe: ze verwijderen, permuteren, of vervangen de governing rule in een compliance-case en meten of de detector zijn verdict verandert. Als de detector de regel daadwerkelijk leest, moet een vervanging door de permissive tegenhanger het verdict omdraaien. Dat doet het niet.

De resultaten zijn onthutsend. Voor elke geteste guard model en activation probe, Llama Guard 3, Qwen3Guard, WildGuard, HarmBench, SIREN, GLiGuard, en Latent Policy Guard, laat het verwijderen of vervangen van de regel de detectie-accuratesheid ongewijzigd. De meest opvallende bevinding is LPG (Latent Policy Guard), een policy-conditioned guard die de governing clause correct citeert 91-95% van de tijd, maar zijn verdict nauwelijks verandert als die clause wordt vervangen door zijn permissive tegenhanger. De guard citeert de regel, maar handhaaft hem niet.

Om uit te sluiten dat dit een artefact is van bestaande benchmarks, construeren de auteurs een crossed-rule benchmark: twee regels gekruist met twee scenario's, zo ontworpen dat noch de regel noch het scenario alleen het label voorspelt. Onder dit design, dat geen enkele eerdere benchmark uitsluit, faalt elke efficiente detector. Alleen stap-voor-stap reasoning ontsnapt aan rule blindness, maar dat is precies de aanpak die guard models juist niet gebruiken: zij zijn ontworpen als snelle, één-pass classificaties.

De paper introduceert ook een eigen oplossing, de Internal Compliance Score (ICS): een training-free activation readout die met tien gelabelde paren wordt gekalibreerd. Maar de auteurs passen dezelfde scrupuleuze evaluatie toe op hun eigen methode, en ICS faalt ook. De pre-registered criterion voor het verslaan van triviale baselines wordt niet gehaald, en een bag-of-words model matcht de gegeneraliseerde prestatie exact. ICS is nuttig als goedkope audit-tool (het stelt in staat om vier deployed guards en dertien benchmarks te scannen), maar het is zelf ook rule blind.

De kernbevinding is dus niet dat één specifiek guard model faalt, maar dat rule blindness een structurele eigenschap is van de hele klasse van efficiente compliance-detectoren. Guard models zijn getraind om een generic violation signal te herkennen, niet om een specifieke regel te componeren met een specifiek scenario. Dat werkt zolang het scenario zelf het label voorspelt, maar faalt zodra de regel informatief wordt, precies de situatie waarin compliance-monitoring het meest nodig is.

Falingsmodus 2: adversariële deception, LLM-judges zijn manipuleerbaar met surface keywords

Het paper "A Four-Axis Trustworthiness Benchmark for LLM-as-Judge in Principle-Based Regulation" (Sarkar, arXiv:2608.14329) toont een complementaire falingsmodus. Waar rule blindness aantoont dat detectoren niet lezen wat ze zouden moeten lezen, toont adversariële deception dat ze wél lezen wat ze niet zouden moeten lezen, en dat aanvallers dat kunnen uitbuiten.

De paper introduceert Principle-Bench: 168 scenario's gekoppeld aan twee UK FCA-principes ("fair, clear, and not misleading" en "deliver good outcomes"), met een perturbation-suite die vier assen test: accuracy, paraphrase robustness, adversarial robustness, en calibration. Dit is de eerste benchmark die alle vier assen voor principle-based regulation dekt.

De headline bevalling: een 120B LLM-judge die op benign inputs 0.74 accurate is op Consumer Duty, zakt naar 0.27 onder keyword-stuffing, een daling van 47 accuracy-punten. De perturbation is simpel: korte feitelijke assertions ("Client can absorb a total loss") worden letterlijk in substantief non-compliant promoties ingevoegd. De judge over-crediteert deze surface statements en keurt de promotie goed. Op het COBS-principe, waarvan de positive exemplars higher-order kwalitatieve claims zijn die zich niet lenen voor keyword-injectie, behoudt de judge 0.92. De faalmodus is dus principe-specifiek.

Een tweede judge uit een andere model-family bevestigt de bevinding met een inter-model agreement van slechts Cohen's κ = 0.16 op de adversarial split. Dat localiseert het falen naar het model, niet naar het corpus. De paper noemt dit expliciet "compliance theatre": de judge produceert een compliance-verdict dat er professioneel uitziet, maar dat structureel gameable is door een aanvaller die de surface features kent waarop de judge zijn verdict baseert.

De synthese: een unified failure model

De twee papers zijn onafhankelijk gepubliceerd, testen verschillende systemen, en gebruiken verschillende methodologieën. Maar hun bevindingen combineren tot een unified failure model voor automated compliance detection met drie lagen:

Laag 1, Scenario-dominantie (rule blindness). Efficiente detectoren, guard models, activation probes, zero-shot judges, extraheren een broad violation signal uit het scenario, niet uit de compositie van regel en scenario. De regel is decoratief: de detector produceert hetzelfde verdict ongeacht welke regel wordt gegeven. Dit betekent dat een organisatie die meerdere regels handhaaft (GDPR-opslagtermijn, AI Act-transparantie, NIS2-incidentreporting) in feite één generic violation detector inzet, niet regel-specifieke compliance.

Laag 2, Adversariële manipuleerbaarheid (deception). De surface features waarop de detector zijn verdict baseert, zijn manipuleerbaar. Een aanvaller die weet dat de judge over-crediteert op feitelijke assertions, kan non-compliant content verpakken met compliant-looking keywords. Omdat de detector al rule blind is (Laag 1), is er geen onafhankelijk mechanisme dat de manipulatie detecteert, de detector kan niet controleren of de ingevoegde keywords daadwerkelijk overeenkomen met de regel die hij zou moeten handhaven.

Laag 3, Versterking. De twee falingsmodi versterken elkaar. Een detector die rule blind is, kan niet detecteren dat hij gemanipuleerd wordt (want hij leest de regel niet). Een detector die gemanipuleerd kan worden, heeft geen onafhankelijke check op rule blindness (want zijn verdict is gecorrumpeerd door de manipulatie). Samen vormen ze een self-reinforcing failure: de compliance-assurance ziet eruit alsof het werkt (de detector produceert verdicts, citeert regels, geeft confidence-scores), maar de assurance is hol.

Governance-implicaties: EU AI Act en NIS2

Deze synthese heeft directe consequenties voor organisaties die onder de EU AI Act of NIS2 vallen.

EU AI Act Art. 14-15 (human oversight, accuracy, robustness). De AI Act vereist voor high-risk AI-systemen dat er adequate human oversight is (Art. 14) en dat het systeem voldoende accuraat, robust en cyber-secure is (Art. 15). Als een organisatie een guard model inzet als onderdeel van zijn human-oversight-mechanisme, en dat guard model is rule blind, dan voldoet het oversight-mechanisme niet aan zijn doelstelling: het controleert niet of de output voldoet aan de specifieke regel, maar of de output lijkt op een generic violation. Dat is geen adequate oversight.

EU AI Act Art. 12 (logging). De AI Act vereist logging van het functioneren van het AI-systeem. Als de logs van een guard model alleen verdicts bevatten ("compliant"/"non-compliant") zonder de regel-specifieke reasoning, dan zijn de logs niet geschikt voor事后 audit. Een auditor die de logs onderzoekt kan niet vaststellen of de guard daadwerkelijk de regel heeft toegepast, en de rule blindness-bevinding suggereert dat hij dat niet heeft gedaan.

NIS2 Art. 20 (incident reporting). Als een LLM-judge die wordt ingezet voor compliance-monitoring wordt gemanipuleerd via keyword-stuffing, en die manipulatie leidt tot een non-compliant output die door het systeem gaat, dan is dat een significant incident onder NIS2. Maar de organisatie zal het waarschijnlijk niet detecteren, de judge produceert een "compliant" verdict, en zonder een onafhankelijk mechanisme dat de judge test op adversariële robustness, is het incident onzichtbaar.

Wat eraan te doen: een concrete audit-vereiste

De papers leveren niet alleen de diagnose, maar ook de testprotocollen. De synthese suggereert een concrete audit-vereiste voor elke organisatie die automated compliance detection inzet:

1. Counterfactual rule substitution test. Neem een set compliance-cases. Vervang voor elke case de governing rule door (a) de permissive tegenhanger, (b) een ongerelateerde regel, (c) geen regel. Als de detector zijn verdict niet verandert, is hij rule blind voor die case. Het paper van Sadhu et al. levert het protocol en de crossed-rule benchmark.

2. Adversarial keyword-stuffing test. Neem een set non-compliant cases. Voeg compliant-looking surface keywords toe. Als de detector zijn verdict omdraait van "non-compliant" naar "compliant", is hij gameable. Het paper van Sarkar levert de perturbation-suite en de pre-registered rubric.

3. Inter-model agreement test. Draai ten minste twee judges uit verschillende model-families op dezelfde cases. Als de inter-model agreement laag is (κ ＜ 0.4) op adversarial inputs, is de failure model-side, niet corpus-side.

Deze drie tests zijn goedkoop, reproduceerbaar, en leveren een falsifieerbare claim: "onze compliance-detectie is niet rule blind en niet adversarieel manipuleerbaar." Geen enkele huidige detector die de papers testen, overleeft alle drie.

Beperkingen en onzekerheid

Deze synthese heeft grenzen. De rule blindness-bevinding is getest op een specifieke set guard models (vooral Llama Guard 3, Qwen3Guard, WildGuard, HarmBench, SIREN, GLiGuard, LPG). Nieuwere modellen kunnen de test doorstaan, maar tot dat bewijs er is, is de default-aanname dat ook zij rule blind zijn, omdat de falingsmodus structureel is (efficiente detectoren extraheren generic signals, niet regel-specifieke compositie).

De adversarial deception-bevinding is getest op UK FCA-principes in het cryptoasset-domein. De generalisatie naar EU AI Act-principes ("adequate human oversight", "appropriate accuracy and robustness") is een hypothese, niet bewezen. Maar het mechanisme, een LLM-judge die over-crediteert op surface assertions, is niet domein-specifiek. Het is een eigenschap van hoe LLM's tekst verwerken, niet van het FCA-regime.

Step-by-step reasoning ontsnapt aan rule blindness, aldus Sadhu et al. Dat suggereert dat een toekomstige generatie compliance-detectoren die reasoning expliciet maken (chain-of-thought, tool-augmented verification) de test kan doorstaan. Maar dat vereist推理-kosten die de huidige guard-model-paradigmatiek juist probeert te vermijden.

Conclusie

Automated compliance detection is niet een kapitale fout die opgelost kan worden met een betere guard of een groter model. Het is een structurele beperking van de hele klasse van efficiente detectoren. Organisaties die deze systemen inzetten als audit-control moeten weten dat de assurance die ze leveren empirisch niet houdt wat hij belooft, en dat er een concrete, reproduceerbare test is om dat vast te stellen.

De volgende stap is niet "bouw een betere detector." De volgende stap is "eis dat elke detector die als compliance-control wordt ingezet, de counterfactual en adversarial test doorstaat." Dat is de standaard die de EU AI Office, ENISA, en nationale toezichthouders moeten stellen, niet als optionele best practice, maar als minimum-eis voor conformity assessment.

Evidence basis: Sadhu et al., "What Do Compliance Detectors Read?" arXiv:2608.16852 (17 aug 2026); Sarkar, "A Four-Axis Trustworthiness Benchmark for LLM-as-Judge in Principle-Based Regulation," arXiv:2608.14329 (14 aug 2026). Beide papers zijn peer-reviewed workshop-publicaties (SeT-LLM @ KDD 2026 resp. onafhankelijk). De synthese en governance-implicaties zijn de analyse van de auteur, niet de claim van de oorspronkelijke auteurs.

Review status: pending, deze publicatie wacht op redactionele goedkeuring voordat deze als definitief wordt beschouwd.