Wat LLM-veiligheidsmonitors missen — en waarom capaciteit het probleem niet is

Veiligheidsmonitors die LLM-transcripten beoordelen missen systematisch signaal. Dat is de conclusie van The Oversight Gap: What LLM Safety Monitors Miss, and Why It Is Not Capability (arXiv:2609.07162, Xin Xu, Carnegie Mellon University). Het paper meet hoeveel signaal de monitors verspillen, onderscheidt dat van wat geen enkele monitor kan zien, en toont aan dat de remedie niet in betere modellen maar in procedure ligt.

Het formele uitgangspunt: 2-safety hyperproperties

Drie eigenschappen die veiligheidsmonitors moeten certificeren — cross-tenant noninterference, sandbagging en evaluatie-bewustzijn — zijn 2-safety hyperproperties. Een hyperproperty wordt niet gewitness door één uitvoering, maar door het verschil tussen twee uitvoeringen. Of een antwoord gegevens van een andere tenant lekt, of een model zich anders gedraagt wanneer het denkt te worden geobserveerd: elk vereist vergelijking tussen twee runs.

De klassieke consequentie is een binaire onmogelijkheid: geen enkele trace kan een 2-safety schending aantonen. Het paper vervangt die binary door een meting.

Het detectability-frontier

De centrale stelling (Theorem 1) is elementair maar scherp: de balanced accuracy van elke single-trace monitor — elke functie van één trace, ongeacht capaciteit — is ten hoogste ½ + ½·TV(P₀, P₁), waarbij TV de total-variation distance is tussen de trace-distributies onder cleane en schendende uitvoeringen. De klassieke onmogelijkheid is het TV=0 eindpunt. De bound wordt behaald door de likelihood-ratio test.

Dit definieert voor elke concrete monitor een oversight gap: de verticale afstand tussen wat de monitor bereikt en wat zijn input toestaat. Die gap scheidt twee zaken die het huidige discours door elkaar haalt: de onreducerbare blindheid van single-trace toezicht, en het falen van een specifieke monitor om het signaal te gebruiken dat hem werd gegeven.

Wat de negen LLM-monitors lieten zien

Op een leak-familie met gesloten-vorm TV presteren alle negen geteste modellen optimaal bij TV=0 — kansniveau, wat het instrument calibreert. Maar bij TV=1, waar een 20-regel membership-check 100% scoort, bereiken de modellen gemiddeld slechts 60,9%. De gap loopt van 30 tot 49 punten per model. Er is geen ordening naar capaciteit (Spearman ρ=0,15, p=0,71, n=9 — bij deze steekproefgrootte alleen grote effecten meetbaar).

Het belangrijkste: de shortfall is geen capaciteitstekort. Eenvoudig benoemen wat gecontroleerd moet worden — controleren of de vermelde waarde het juiste type heeft voor het gevraagde veld — verhoogt de gemiddelde score van 58,9% naar 83,8% en sluit 61% van de gap, terwijl de TV=0-controle op kans blijft (50,3% → 49,2%), zoals de stelling vereist.

Informatie en procedure: elk noodzakelijk, geen van beide capaciteit

Een 2×2-factoriaal ontwart de twee kandidaatbronnen. Informatie (een tweede uitvoering, of een opgeslagen orakel) en procedure (een expliciete vergelijkingsregel). Alleen leveren ze niets op.

Een model dat wordt geïnstrueerd om de tegenfeitelijke tweede run te verbeelden blijft op kans (50,4%); zijn verbeelde tegenfeitelijke komt in 1,2% van de gevallen overeen met de werkelijke. Een model met de echte opgeslagen waarde maar zonder procedure bereikt slechts 68,2%, en een model houdt het orakel vast en scoort 49%. Beide samen zijn perfect: referentie plus regel levert 100% op voor alle zes modellen.

Vervangen van het opgeslagen orakel door een tegenfeitelijke die wordt geproduceerd door differentiële replay — het opnieuw uitvoeren van het verzoek onder verstoorde co-tenant-state, wat een geïmplementeerde monitor daadwerkelijk kan doen — kost tien punten (90,0%).

De blinde vlek is noch ontbrekende competentie, noch ontbrekende instructies. Het is een informatietekort dat alleen een uitgevoerde tweede run vult, samengesteld met een proceduretekort dat alleen een expliciete regel vult.

Het projectie-dilemma bij deployment

In productie zijn serving-stacks niet-deterministisch, en stochasticiteit verandert de arity van het probleem zelf (Theorem 2). Gelijkheid van geïnduceerde distributies is geen k-safety voor enige eindige k. Een k-replay-monitor die responses projecteert op het gevraagde veld volgt de gesloten-vorm ideale curve tot binnen één punt (88,4%, 99,3%, 99,8% bij k=2, 4, 8 tegen idealen van 87,5%, 99,2%, 100,0%).

Maar de projectie die replay betaalbaar maakt is zelf een blinde vlek. De smalle projectie detecteert 99,7% van on-channel leaks maar 1,4% van leaks in een incidenteel kanaal. De brede alternatief detecteert 90,4% daarvan, maar markeert 75,7% van clean verkeer. Toezicht wordt per projectie gekocht, en elke onvoorziene projectie is een kanaal dat geen replay sluit. De haalbare accuraatheid vervalt als 1/(qm) in het benign-variation tarief en het kanaalaantal.

De methodologische zelfcorrectie

Het paper bevat een bijdrage die tegen zichzelf is gericht. Een eerdere versie van hun benchmark stelde single-trace onbeslisbaarheid op gezag van twee frontier LLM-judges, die alle 40 domeinen als sound certificeerden. Een twee-regel sign-test toonde aan dat de handgeschreven domeinen een directionele bias droegen: de foreign waarde was de grotere of latere in 25 van 28 vergelijkbare paren (p=2,7×10⁻⁵) — iets dat beide judges hadden gemist. Het repareren van de constructie doodde drie van hun eigen hoofdclaims, inclusief een "unrescuable model" en een "reasoning makes it worse" resultaat.

De conclusie is dat construction validity voor hyperproperty-benchmarks mechanisch moet worden bewezen, niet door modellen ge-auditeerd. Frontier LLM-judges valideerden een gebroken instrument met perfecte confidence.

Wat dit betekent voor de Nederlandse praktijk

Voor overheidsorganisaties die AI-systemen in productie hebben onder de EU AI Act is de consequentie architectonisch. Artikel 12 (record-keeping) en Artikel 40 (post-market monitoring) vereisen monitoring, maar een monitor die alleen enkele traces leest, kan 2-safety eigenschappen principieel niet detecteren. Dat is geen fout van de monitor — het is een eigenschap van de taak.

De remedie heeft drie componenten, alle procedureel:

1. Benoem wat gecontroleerd wordt. De grootste winst komt niet van een beter model maar van het expliciteren van de vergelijkingsregel. Een procedurele check op type-consistentie sluit 61% van de gap. Dit is het ontwerpprincipe: vertel de monitor niet alleen "beoordeel dit transcript" maar "vergelijk de vermelde waarde tegen het gevraagde veldtype".

2. Voorzie een uitgevoerde tweede run. Een verbeelde tegenfeitelijke werkt niet. Differentiële replay — het opnieuw uitvoeren van het verzoek onder verstoorde condities — levert 90,0% accuraatheid. Dit vereist infrastructuur: de mogelijkheid om requests te replayen met geperturbeerde co-tenant-state.

3. Aanvaard het projectie-dilemma. Elke monitoring-strategie kiest een projectie, en elke keuze laat kanalen open. De haalbare accuraatheid vervalt met het aantal kanalen. Dit betekent dat monitoring een evoluerend oppervlak is, geen eenmalige configuratie: bij elke nieuwe interactie-modus die het systeem ondersteunt, ontstaat een nieuw kanaal dat de bestaande projectie niet dekt.

De bevinding dat LLM-judges een gebroken benchmark met perfecte confidence certificeerden is een directe waarschuwing voor organisaties die LLM-gebaseerde audit overwegen. Construction validity moet mechanisch worden bewezen, niet door een model ge-auditeerd. Een LLM-judge die met perfecte confidence een ongeldig instrument certificeert is geen validatie — het is een valse geruststelling.

Het paper is een formele-methodenbijdrage met empirische validatie. De kracht zit in de decompositie: het scheidt wat geen monitor kan zien van wat een monitor verspilt, en toont aan dat de verspilling procedureel te verhelpen is. Voor een CISO die AI-monitoring overweegt is het inzicht direct actiebaar: investeer in procedure en infrastructuur voor replay, niet in een groter model.

Primaire bron: The Oversight Gap: What LLM Safety Monitors Miss, and Why It Is Not Capability · volledige PDF