AI-geassisteerde security-hardening faalt op exacte compliance-condities

De centrale verschuiving in AI-gedreven security-hardening is niet of modellen code kunnen produceren, maar of die code de exacte compliance-conditie bereikt. HardEval: An Execution-Verified Benchmark for AI-Driven Security Hardening toont dat plausibele Bash-scripts systematisch falen op OpenSCAP/OVAL fail-to-pass-checks. Zelfs Claude Opus 4.7 bereikt slechts 81,0% (111/137) op de combined server-safe bucket, en het sterkste open-weight-model (DeepSeek-Coder-33B) blijft steken op 35,8%.

Dat maakt de onderzoeksvraag tot een materieel probleem. Elke gegenereerde remediëringsregel die de OVAL-oracle niet bevredigt, creëert een vals-positief compliance-beeld: het systeem lijkt gehard, maar is het niet.

Waarom bestaande benchmarks tekortschieten

STIG-controls implementeren blijft een veeleisende beheertaak. Elke natural-language-beveiligingseis moet worden vertaald naar een precieze en persistente configuratiewijziging, verspreid over SSH-configuratie, authenticatiebeleid, audit-regels en kernelparameters. Bestaande benchmarks meten dat vermogen niet: code-benchmarks evalueren geïsoleerde programma's zonder persistente systeemstate, en agent-benchmarks richten zich op applicaties in plaats van besturingssysteemconfiguratie.

HardEval vult die leegte. Het is gebouwd uit RHEL 8 STIG-controls die falen op een niet-gehard baseline-systeem. Door experts geschreven remediaties en OVAL-checks dienen als verborgen ground truth: ze worden nooit aan het model getoond, en elke taak stelt alleen de vereiste beveiligingsuitkomst zonder de implementatie prijs te geven. Het model produceert een Bash-script dat op een live virtuele machine wordt uitgevoerd en van fail naar pass wordt beoordeeld via de corresponderende OpenSCAP/OVAL-compliancecheck.

De kerncijfers

De evaluatie van veertien frontier- en open-weight-configuraties laat grote en ongelijke capaciteitsverschillen zien. Op de combined server-safe bucket:

Configuratie	Score
Claude Opus 4.7	81,0% (111/137)
Claude Opus 4.8	77,4% (106/137)
DeepSeek-Coder-33B (sterkste open-weight)	35,8%
4-bit GLM-4-9B (zwakste)	12,4%

Het sterkste open-weight-model blijft meer dan vijftien punten achter op het zwakste frontier-model. De recurring failure mode is precies de kernbevinding: plausibele beveiligingscode die de exacte compliance-conditie niet bevredigt. Het model genereert Bash die er correct uitziet, maar die de OVAL-oracle op uitvoeringsniveau niet overtuigt.

Plausibiliteit is geen compliance

De 19% non-compliance van het sterkste frontier-model is geen randgeval maar een systematische failure mode, door de auteurs als recurring bestempeld. Dat onderscheid is materieel: een hardening-script dat op negen van de tien punten klopt, is voor een compliance-audit geen "bijna goed", maar "niet compliant". Een OVAL-check is binair.

Voor de Nederlandse publieke sector, waar BIO2-baselineharding en vergelijkbare kaders op exacte configuratiestates draaien, betekent dit dat AI-output onafhankelijke uitvoeringsverificatie vereist voordat het productie-inzet verdient. Het plausibiliteitsoordeel van het genererende model is geen vervanging voor de autoritatieve scan.

Epistemische classificatie

Claim	Sterkte	Onderbouwing
81,0% voor Claude Opus 4.7	Empirisch ondersteund	Primaire meting, 111/137
Plausibele code faalt op exacte conditie	Empirisch ondersteund	Auteurs noemen het een recurring failure mode
Open-weight blijft ruim achter op frontier	Empirisch ondersteund	meer dan 15 punten verschil, multi-run ordering behouden
Generalisatie naar RHEL 9 of Windows	Niet aangetoond	Alleen RHEL 8 STIG-subset getest
81,0% als stabiel puntcijfer	Onbekend	Tien van veertien configuraties single greedy run

Wat de paper niet test

De auteurs benoemen hun beperkingen expliciet. Alle beoordeelde taken komen uit RHEL 8 onder het DISA STIG-profiel en dekken een gecureerde, automatiseerbare subset van controls. Bredere generalisatie naar RHEL 9, Windows of andere profielen is niet aangetoond.

Drie beperkingen temperen de headline-cijfers. Ten eerste zijn tien van de veertien configuraties met een enkele greedy run gescoord, en de variantie-studie sluit de closed modellen uit; de 81,0% is daarmee een punt-schatting zonder betrouwbaarheidsinterval voor de frontier-modellen. Ten tweede zijn SSH-scores conservatieve ondergrenzen, omdat de harness over hetzelfde SSH-kanaal beoordeelt dat de scripts harden, een systematische vertekening die de auteurs erkennen maar niet kwantificeren. Ten derde kan trainingsdata-contaminatie uit publieke STIG-content niet worden uitgesloten, en meet de grading tevredenheid van de compliance-oracle in plaats van beveiliging in brede zin. Wie 81,0% als algemeen cijfer voor AI-hardening overneemt, overclaimt.

Handelingsperspectief

Voor technisch adviseurs en informatiebeveiligers bij ministeries, uitvoeringsorganisaties en zorginstellingen die AI-gereedschap overwegen voor BIO2-baselineharding is de toetsing concreet: vereist uw hardening-pipeline onafhankelijke OpenSCAP/OVAL-validatie van elk gegenereerd script, of vertrouwt u op plausibiliteitssignalen die deze benchmark als onvoldoende heeft aangetoond?

De remedie is execution-verificatie als verplicht kwaliteitshek. Elk gegenereerd script wordt op een representatieve VM uitgevoerd en tegen de autoritatieve OVAL-oracle gescand voordat het als compliant wordt aangemerkt. Pas dan is het compliance-beeld dat een AI-gegenereerd script produceert betrouwbaar, in plaats van een weerspiegeling van hoe plausibel het script eruitziet.

Zie ook

• Probabilistische agents in deterministische audits
• Probe: hoe je AI-agents auditeert op beleidsnaleving, niet op vaardigheid
• Open-source GRC voor de Nederlandse publieke sector

Bronnen

• HardEval: An Execution-Verified Benchmark for AI-Driven Security Hardening, arXiv:2610.23685, 2026.