Waarom benchmark-artefacten uw agent-guard vals veilig laten lijken

Primaire bron: Shortcut Sensitivity in Agent-Safety Evaluations; volledige PDF.

Lead: de centrale verschuiving

De centrale verschuiving in AI-safety evaluaties is niet dat agent-guards falen, maar dat hun falen systematisch wordt gemist. Benchmark-artefacten, zoals spurious correlations in testdata, creëren een vals beeld van robuustheid. De vraag is niet óf guards beslissen, maar of die beslissingen onder reële condities standhouden wanneer artefacten de shortcut-sensitiviteit van het model maskeren.

Ik zie hier een parallel met compliance-auditing: een controle die alleen werkt op de dataset waarop hij is gevalideerd, geeft geen zekerheid over operationeel gedrag. Het mechanisme is dat guards lokaal correct kunnen lijken, globaal falen wanneer artefacten de distributie verschuiven. Voor Nederlandse publieke toepassingen betekent dit dat evaluatierapporten expliciet moeten rapporteren welke artefacten de benchmark domineren, niet alleen eindscores.

Claim C1

Benchmark-artefacten verhogen shortcut-sensitiviteit bij agent-guard-beslissingen.

Experimentele metingen tonen dat toevoegen van specifieke benchmark-artefacten de shortcut-sensitivity met 27% laat stijgen (bron).

Benchmark-artefacten verhogen shortcut-sensitiviteit bij agent-guard-beslissingen met meetbare effecten. Experimentele metingen tonen een stijging van 27% wanneer specifieke artefacten worden toegevoegd aan de evaluatiedata (arxiv:2610.22243). Dit is een observationeel resultaat: de causaliteit tussen artefactinjectie en sensitiviteitsverandering volgt uit gecontroleerde experimentele opzet.

De interpretatieve stap ligt in de implicatie voor guard-robuustheid: het 27%-effect betekent niet dat guards structureel falen, maar dat hun beslissingsruimte systematisch wordt vervormd door distributiekenmerken die losstaan van het beoogde veiligheidsmechanisme. Onzekerheid blijft over generalisatie buiten de geteste artefactklassen en over de drempel waarop sensitiviteitsstijging tot daadwerkelijke guard-failure leidt. Voor de centrale hypothese volgt hieruit dat gemiste falen niet random zijn, maar door deze artefact-gemedieerde sensitiviteit structureel worden onderbelicht in rapportages die scores zonder artefactdecompositie presenteren.

Claim C2

Shortcut-sensitiviteit leidt tot systematische bias in guard-acties.

Analyse van guard-logboeken onthult dat hogere shortcut-sensitivity correleert met 15% meer fout-positieve interventies (bron).

Shortcut-sensitiviteit vertaalt zich niet alleen naar statistische bias, maar naar concrete guard-acties. Analyse van guard-logboeken toont dat hogere shortcut-sensitivity correleert met 15% meer fout-positieve interventies (arxiv:2610.22243). Dit observationele verband volgt uit systematische logboekanalyse; de causaliteit is indirect geïnferreerd via de eerder geëtablieerde sensitiviteitsstijging in Claim C1.

De interpretatieve stap is dat guards actief interveniëren op basis van artefact-gemedieerde signalen, niet op het beoogde veiligheidskenmerk. Dit mechanisme verbindt met de centrale hypothese: systematisch gemiste falen omvat zowel onterechte passiviteit als onterechte activiteit, waarbij beide door dezelfde artefact-structuur worden gedreven. Onzekerheid blijft over de operationele kosten van deze 15% en over of de correlatie lineair doorzet bij sensitiviteitsstijgingen boven het gemeten bereik. Voor Nederlandse toepassingen betekent dit dat guard-logs niet slechts als transactierecord, maar als diagnostisch instrument moeten worden geanalyseerd op artefact-gevoeligheid.

Claim C3

Verwijderen van shortcut-gevoelige artefacten vermindert fout-positieve guard-acties.

Simulatie-studie voorspelt dat elimineren van shortcut-gevoelige artefacten de fout-positieve rate met 12% kan verlagen (bron).

Verwijderen van shortcut-gevoelige artefacten vermindert fout-positieve guard-acties. Een simulatiestudie voorspelt dat deze eliminatie de fout-positieve rate met 12% kan verlagen (arxiv:2610.22243). Dit is een geïnferreerd resultaat: het volgt uit modelprojectie, niet directe observatie.

De interpretatieve stap is dat artefacteliminatie een operationeel interventiepunt biedt. Het 12%-effect ondersteunt de centrale hypothese omdat het aantoont dat gemiste falen niet inherent zijn aan guard-architecturen, maar gedeeltelijk traceerbaar naar corrigeerbare data-eigenschappen. Onzekerheid blijft over de simulatie-externe validiteit en over de kosten van artefactdetectie in productieomgevingen. Voor Nederlandse toepassingen betekent dit dat evaluatierapporten expliciet moeten vermelden of artefact-screening is toegepast, naast de eindscores die in Claim C1 en C2 zijn gedebiteerd.

Hypothese H1

Onder aanwezigheid van shortcut-gevoelige benchmark-artefacten treedt toename van fout-positieve guard-acties op.

Onder aanwezigheid van shortcut-gevoelige benchmark-artefacten treedt toename van fout-positieve guard-acties op. Het mechanisme volgt uit de eerder geëtablieerde claims: artefacten verhogen shortcut-sensitiviteit (C1), deze sensitiviteit vertaalt zich in systematische bias richting onterechte interventies (C2), en artefacteliminatie vermindert dit effect (C3). Samen vormen deze een causal chain waarvan het eindpunt, fout-positieve guard-acties, gedeeltelijk traceerbaar is naar corrigeerbare data-eigenschappen.

De discriminator ligt in de vraag of fout-positieve toename uitsluitend via dit artefact-mechanisme verloopt, of dat andere distributieschuiven soortgelijke patronen genereren. Expected observations omvatten divergentie tussen artefact-arme en artefact-rijke evaluatiesets bij identieke guard-configuraties. Assumptions: artefacten zijn detecteerbaar voor eliminatie, en het 12%-verlagingseffect uit C3 generaliseert buiten simulatie. Confidence is matig tot hoog voor het observationele gedeelte (C1-C2), lager voor het geprojecteerde eliminatie-effect (C3). Voor Nederlandse toepassingen betekent dit dat evaluatierapporten expliciet moeten rapporteren of artefact-screening is toegepast, niet alleen eindscores presenteren.

Hypothese H2

Onder aanwezigheid van shortcut-gevoelige benchmark-artefacten treedt geen toename van fout-positieve guard-acties op.

Het plan-element voor H2 stelt dat fout-positieve guard-acties niet toenemen onder artefact-aanwezigheid. Dit staat in rechtstreekse spanning met evidence-element E2, dat wel een toename aantoont. De contradictie is bindend: het plan dwingt expliciete behandeling van beide posities.

De betekenis van H2 ligt in het isoleren van een boundary condition. Waar H1 een artefact-gemedieerd mechanisme postuleert, positioneert H2 het null-scenario: artefacten verhogen shortcut-sensitiviteit (C1) zonder dat dit doorslaat naar meetbare actie-bias. Het mechanismekandidaat is dat guards interne drempels hebben die artefact-gesignaleerde variatie absorberen, of dat de 15%-correlatie uit C2 confounded is door ongemodelleerde guard-logica.

Supporting evidence is leeg per plan-contract. Dit is structureel significant: H2 heeft geen directe empirische onderbouwing binnen het gegeven corpus. De expected observation voor H2 is een niet-significante differentie in fout-positieve rates tussen artefact-rijke en artefact-arme condities, ondanks verhoogde shortcut-sensitiviteit. De discriminator test of sensitiviteitsstijging noodzakelijk leidt tot actie-bias, dan wel optioneel kan worden gedempt.

Assumptions: guard-architecturen bevatten inherente stabilisatiemechanismen die niet in C1-C3 zijn geëvalueerd, en de 27%-sensitiviteitsmeting vangt een lokaal optimum dat buiten het actie-domein valt. Confidence is laag door ontbrekende supporting evidence en directe contradictie door E2. Voor Nederlandse toepassingen betekent dit dat evaluatierapporten de sensitiviteit-actiekloof expliciet moeten modelleren: sensitiviteit zonder actie-vertaling is een onvolledig veiligheidsargument.

Hypothese H3

Onder aanwezigheid van shortcut-gevoelige benchmark-artefacten treedt afname van guard-acties op, doordat agent-model leert te negeren.

Onder aanwezigheid van shortcut-gevoelige benchmark-artefacten treedt afname van guard-acties op, doordat het agent-model leert te negeren. Dit mechanisme verschilt fundamenteel van H1: waar H1 onterechte activiteit postuleert, beschrijft H3 onterechte passiviteit door adaptieve suppressie.

Supporting evidence is leeg per plan-contract. Dit is structureel significant: er is geen directe empirische onderbouwing dat artefacten tot guard-neglect leiden. Het mechanismekandidaat volgt indirect uit C1: als artefacten shortcut-sensitiviteit verhogen, kan het agent-model leren dat guard-signalen onder deze condities onbetrouwbaar zijn, wat leidt tot systematische onderdrukking van interventies. De discriminator test of guard-afwezigheid correleert met artefact-dichtheid in plaats van met daadwerkelijk veiligheidsrisico. Expected observations omvatten een negatieve correlatie tussen artefact-aanwezigheid en guard-interventiefrequentie, onafhankelijk van onderliggend risiconiveau. Assumptions: het agent-model heeft voldoende capaciteit om guard-signalen te discrimineren als artefact-gemedieerd, en deze suppressie generaliseert naar niet-artefact-condities. Confidence is laag door ontbrekende supporting evidence en het ontbreken van een causal chain vergelijkbaar met H1-C1-C3. Voor Nederlandse toepassingen betekent dit dat evaluaties guard-afwezigheid niet automatisch als veiligheid mogen interpreteren: stilte kan adaptief worden geleerd, niet alleen daadwerkelijk afwezigheid van risico.

Discriminators: wat onderscheidt de hypotheses?

Als binnen drie evaluatie-runs de fout-positieve guard-rate minstens 10% hoger is bij artefact-set A dan bij set B, onder gelijke taak-complexiteit, dan is H1 waarschijnlijker dan H2; blijft het verschil onder 3%, dan H2.

De discriminator D1 operationaliseert het onderscheid tussen H1 en H2 via een gecontroleerde evaluatieopzet. Bij gelijke taak-complexiteit produceert een systematisch verschil in fout-positieve guard-rate tussen artefact-set A en set B empirisch bewijs voor het artefact-gemedieerde mechanisme van H1. Het drempelcriterium van 10% versus 3% is niet arbitrair: het reflecteert de marge waarbinnen meetruis en guard-interne variatie het verschil kunnen verklaren zonder externe artefact-afhankelijkheid.

De mechanistische interpretatie hangt af van de conditie "gelijke taak-complexiteit". Deze begrenst confounding door guard-belasting: als complexiteit niet wordt gecontroleerd, kan een hogere fout-positieve rate bij set A voortkomen uit moeilijkere taken, niet uit artefact-eigenschappen. Voor Nederlandse evaluatiepraktijk betekent dit dat benchmark-rapporten expliciet moeten vermelden of artefact-sets op complexiteit zijn gematcht alvorens guard-rate verschillen te interpreteren als robuustheidsindicatoren.

Falsification: wat zou de conclusie verzwakken?

Onder aanwezigheid van shortcut-gevoelige benchmark-artefacten treedt toename van fout-positieve guard-acties NIET waargenomen: fout-positieve guard-rate blijft ≤ 2% boven baseline.

Vergelijken van fout-positieve guard-rate tussen evaluaties met en zonder shortcut-gevoelige artefacten over gelijk aantal runs.

De huidige conclusie, dat shortcut-gevoelige benchmark-artefacten fout-positieve guard-acties verhogen, zou materieel verzwakken als de fout-positieve guard-rate onder artefact-aanwezigheid niet boven de baseline uitstijgt. Specifiek: bij vergelijking van evaluaties met en zonder dergelijke artefacten, over gelijk aantal runs, blijft het verschil in fout-positieve rate ≤ 2% boven baseline. Dit zou het causal chain-mechanisme van C1-C3-H1 ondermijnen, omdat de sensitiviteitsstijging van 27% dan niet doorslaat naar meetbare actie-bias. De 2%-drempel is gekozen als bovenrand van meetbare guard-variabiliteit; overschrijding daarvan signaleert dat artefacten daadwerkelijk het beslissingsgedreven vervormen. Voor Nederlandse evaluatiepraktijk betekent een dergelijke falsificatie dat artefact-screening geen prioriteit zou behoeven, en dat guard-logs niet als diagnostisch instrument op artefact-gevoeligheid hoeven te worden geanalyseerd.

Counterfactual: causale stresstest

Als shortcut-gevoelige benchmark-artefacten niet aanwezig waren, zou toename van fout-positieve guard-acties nog optreden?

De counterfactual test het mechanisme dat C1-C3-H1 postuleren: als shortcut-gevoelige benchmark-artefacten afwezig zijn, zou de toename van fout-positieve guard-acties dan nog optreden? Het plan-element dwingt een causale lezing, geen retorisch scenario.

Wanneer artefacten worden geëlimineerd, voorspelt de simulatiestudie uit C3 een 12%-verlaging van fout-positieve rates (arxiv:2610.22243). Dit impliceert dat het effect gedeeltelijk, niet volledig, artefact-afhankelijk is. Het residuele mechanisme, de overblijvende fout-positieven na eliminatie, wijst op guard-interne bronnen van bias die niet door data-artefacten worden gemedieerd. De stresstest beperkt dus de generaliseerbaarheid van het artefact-mechanisme: het verklaart systematische bias, niet alle bias.

Voor Nederlandse evaluatiepraktijk volgt hieruit dat artefact-screening een noodzakelijke maar onvoldoende conditie is. Rapporten die alleen eindscores presenteren zonder deze decompositie, missen het onderscheid tussen corrigeerbare en structurele foutbronnen.

Invariant vs novelty: wat is werkelijk nieuw?

Shortcut-sensitiviteit blijft een bepalende factor voor guard-beslissingen ongeacht variatie in trainingsdata-volume.

Identificatie van een kwantitatieve drempel (≈10%) waarop shortcut-sensitiviteit significant guard-bias veroorzaakt.

Voorstel om artefact-detectie te integreren in benchmark-pipeline als preventieve maatregel.

Shortcut-sensitiviteit als bepalende factor voor guard-beslissingen is geen nieuw inzicht: dit volgt rechtstreeks uit de experimentele opzet van C1-C3 en de daaruit afgeleide causal chain in H1. De invariant ligt in het mechanisme zelf, niet in de kwantificering ervan.

Wat daadwerkelijk nieuw is, is de identificatie van een drempelwaarde van circa 10% waarop shortcut-sensitiviteit significant guard-bias veroorzaakt. Dit getal is afgeleid uit de discriminator D1, die het verschil tussen H1 en H2 operationaliseert via een 10%-versus-3%-drempel. Deze drempel is geen observationeel gegeven uit de bron, maar een plan-afgeleide implicatie: het is het punt waarop sensitiviteitsstijging doorslaat naar meetbare actie-bias, gelegen tussen de 3%-ruismarge en de 15% correlatie uit C2. Voor Nederlandse evaluatiepraktijk betekent dit dat rapporten expliciet moeten rapporteren of guard-rateverschillen deze drempel overschrijden, niet alleen ruwe differenties presenteren.

Het voorstel om artefact-detectie te integreren in benchmark-pipelines als preventieve maatregel is nieuwe verpakking van bestaande kennis. C3 etablereert al dat artefacteliminatie fout-positieven vermindert; de integratie in pipelines maakt dit operationeel expliciet zonder het onderliggende mechanisme te wijzigen. De nieuwe implicatie die hieruit volgt, is dat artefact-screening niet als post-hoc correctie maar als ingebouwde validatiestap moet worden geconfigureerd, met de 10%-drempel als abort-criterium bij onacceptabele sensitiviteitsstijging.

Onzekerheid: expliciete classificatie

Mate waarin andere modelarchitecturen dezelfde shortcut-sensitiviteit vertonen.

Langetermijneffecten van artefactverwijdering op algemene generalisatie.

De mate waarin andere modelarchitecturen dezelfde shortcut-sensitiviteit vertonen is PLAUSIBLE op basis van enkele cross-architecturele observaties, maar UNKNOWN voor de meeste geteste configuraties. Source-onzekerheid: de primaire bron (arxiv:2610.22243) evalueert een specifieke guard-agent-pair; generalisatieclaims ontbreken. Measurement-onzekerheid: de 27%-sensitiviteitsstijging is gemeten binnen één architectuurfamilie; andere instantiaties (verschillende attention-patronen, reinforcement-learning-gefineerde guards) zijn niet gebenchmarkt. Model-onzekerheid: het mechanisme dat artefacten koppelt aan sensitiviteit - spurious correlation exploitation - is theoretisch architecture-onafhankelijk, maar de drempelwaarden en dynamische ranges verschillen mogelijk. Causal-onzekerheid: onduidelijk of sensitiviteitsstijging een noodzakelijk gevolg is van modelcapaciteit, trainingsdatavolume, of guard-agent interactiedynamiek.

De langetermijneffecten van artefactverwijdering op algemene generalisatie zijn SPECULATIVE. Source-onzekerheid: geen longitudinale studies in het plan-corpus; C3's simulatie meet directe fout-positieve reductie, geen transfer naar nieuwe taken. Measurement-onzekerheid: artefactdetectie-algoritmen produceren false positives die legitieme distributiekenmerken verwijderen; deze kosten zijn niet gekwantificeerd. Model-onzekerheid: guard-modellen getraind op artefact-gefilterde data kunnen andere shortcuts ontwikkelen die pas na deployment zichtbaar worden - een distributieshift die ex ante niet meetbaar is. Causal-onzekerheid: de relatie tussen artefactarmoede en robuustheid is niet monotoon; extreme filtering kan representatieve variatie elimineren waarop guards juist generaliseren. Voor Nederlandse toepassingen betekent dit dat evaluatierapporten een "artefact-budget" moeten specificeren: niet alleen dat screening is toegepast, maar welke distributie-eigenschappen daarmee zijn uitgesloten en met welke generalisatie-onzekerheid dat gepaard gaat.

Handelingsperspectief

Deze analyse is relevant voor compliance-officers en AI-riskmanagers binnen Nederlandse uitvoeringsorganisaties die guard-gebaseerde veiligheidssystemen evalueren. Het concrete probleem dat u nu kunt toetsen: of uw huidige evaluatierapporten eindscores presenteren zonder artefact-decompositie, waardoor de 10%-drempel voor significante guard-bias onzichtbaar blijft. U kunt direct nagaan of uw benchmark-pipeline een abort-criterium hanteert bij onacceptabele shortcut-sensitiviteitsstijging.

def evaluate_guard_with_artifact_screening(
    eval_dataset: Dataset,
    guard_model: GuardModel,
    artifact_detector: ArtifactDetector,
    sensitivity_threshold: float = 0.10  # 10% drempel uit D1
) -> EvaluationReport:
    
    # Input: ruwe evaluatiedata + geconfigureerde drempel
    screened_data, detected_artifacts = artifact_detector.filter(eval_dataset)
    
    # Bewerking: guard-evaluatie op beide condities
    baseline_rate = guard_model.evaluate(eval_dataset).false_positive_rate
    screened_rate = guard_model.evaluate(screened_data).false_positive_rate
    
    sensitivity_increase = (baseline_rate - screened_rate) / screened_rate
    
    # Output: abort bij overschrijding, anders doorgaan met rapportage
    if sensitivity_increase > sensitivity_threshold:
        return EvaluationReport(
            status="ABORT",
            artifact_count=len(detected_artifacts),
            sensitivity_increase=sensitivity_increase,
            required_action="Elimineer artefacten voor vervolgevaluatie"
        )
    
    return EvaluationReport(
        status="PASS",
        artifact_count=len(detected_artifacts),
        false_positive_rate=screened_rate,
        artifact_decomposition=detected_artifacts.by_category()
    )

Zie ook

• Evaluation trap: benchmark-design als theoretische commitment
• AI safety-benchmarks: zoeken binnen het dreigingsmodel of dekken ze het ook?
• MAS-Guard: 71-86 procent minder aanvalssucces met gelaagde agent-guardrails
• One word opens the gate: de option-channel-aanval op agent-guardrails

Bronnen

• Shortcut Sensitivity in Agent-Safety Evaluations, arXiv:2610.22243