De guard is geen muur, maar een sensor

Een verdedigingssysteem dat ongeveer 3.700 collectieve uren menselijke red teaming en meer dan 300.000 chatinteracties doorstond, met een beloning tot 15.000 dollar voor wie het zou breken, viel daarna om voor ongeveer 330 dollar aan geautomatiseerde queries. Dat is geen anekdote over één systeem. Het is een meetfout in hoe de industrie robuustheid vaststelt, en die meetfout zit ingebakken in het raamwerk dat het Safe AI Forum in augustus 2026 publiceerde als voorstel voor een internationale ondergrens.

Het rapport ordent vijf safeguards over drie lagen en geeft elke safeguard een efficacy-oordeel. Runtime monitoring krijgt HIGH en heet daarmee "de sterkste momenteel beschikbare misuse safeguard" in managed deployments. Access control krijgt MODERATE. Die rangorde is de organiserende bewering van het hele document, en het is precies die rangorde die het beschikbare bewijs omkeert.

Wat er werkelijk stand hield

Boundary Point Jailbreaking, ontwikkeld door het UK AI Security Institute, produceert universele adversarial prefixes tegen de in productie draaiende Constitutional Classifiers en tegen de input classifier van GPT-5. Volledig black-box, op één bit feedback per query: flagged of niet. Tegen de Constitutional Classifiers: 660.000 queries, 330 dollar, gemiddelde rubric-score op ongeziene biologische misuse-vragen van 0% naar 25,5%, en naar 68% met eenvoudige elicitatie. Tegen de GPT-5 input classifier: 800.000 queries, 210 dollar, van 0% naar 75,6%. Dat is 0,00050 respectievelijk 0,00026 dollar per query (DERIVED), en 660.000 queries is 2,2 keer het volume van het volledige menselijke bug-bountyprogramma waartegen het systeem eerder standhield (DERIVED).

De interessante zin in dat werk staat niet in de resultatensectie maar in de limitations. De aanval genereert een zeer groot aantal flags, en het onderzoek werd uitgevoerd op accounts die uitgezonderd waren van enforcement; op gewone accounts, schrijven de auteurs, zou herhaald flaggen waarschijnlijk tot een ban hebben geleid. Hun eigen aanbeveling is dan ook niet een betere classifier maar batch-level monitoring.

Daaruit volgt de these van dit stuk. Wat een gemotiveerde aanvaller tegenhoudt in een managed deployment is niet de kwaliteit van het beslissingsoppervlak per interactie, maar de kosten van identiteit en de snelheid waarmee afwijkend gedrag over interacties heen wordt opgeteld en beëindigd. De classifier is in die architectuur een sensor die de accounting-laag voedt; hij is geen barrière die op zichzelf staat. Het rapport verstopt deze verhouding door usage monitoring onder zowel Access Control als Monitoring te scharen zonder onderscheid te maken tussen inspectie binnen een interactie en boekhouding over interacties heen. Dat is geen redactionele slordigheid. Het is het onderscheid waar de verdediging op rust.

De taalsterkte hoort hier laag te zijn. Dit is consistent met het bewijs; het is niet aangetoond. Niemand heeft BPJ ooit gedraaid met enforcement aan. De hypothese dat de accounting-laag de aanval daadwerkelijk termineert is aannemelijk en ongetest.

Twee comfortabele aannames die niet meer werken

De HIGH-rating steunt impliciet op de gedachte dat doorstane red-team-uren iets zeggen over de weerbaarheid van het systeem. Dat doen ze niet. Red-team-uren zijn een demand-side statistiek: ze meten de inspanning van de aanvallerspopulatie die is komen opdagen, niet de capaciteit van een aanvaller die expertise vervangt door compute. Met arbeid tegen een aangenomen belaste 50 tot 150 dollar per uur kostte het menselijke programma grofweg 600 tot 1.700 keer wat de geautomatiseerde aanval kostte (DERIVED; het uurtarief is een expliciete aanname, geen bronwaarde). Een metriek waarvan de eenheid "menselijke uren" is, extrapoleert niet naar een tegenstander die per query betaalt.

De tweede aanname is de jailbreak tax: het idee dat een gejailbreakt model zo verminkt is dat een geslaagde bypass weinig werkelijke uplift oplevert. Onafhankelijke meting over 28 jailbreaks, vijf benchmarks en vijf modellen laat zien dat die belasting omgekeerd schaalt met modelcapaciteit: gemiddeld 33,1% relatieve degradatie op het minst capabele model tegenover 7,7% op het meest capabele met maximale thinking effort. BPJ zelf haalt 92 tot 100% classifier-evasie bij minder dan 5% degradatie, en 2% op de sterkste configuratie, dus 98% van de capaciteit blijft behouden (DERIVED). De degradatie die overblijft concentreert zich bovendien in reasoning-zware taken, niet in kennisophaling, wat precies de verkeerde kant op wijst voor CBRN-kennisvragen.

Beide aannames zijn niet expliciet in het rapport. Ze zijn de garantstelling eronder. Als ze wegvallen, valt de efficacy-rating mee.

Waar het rapport zijn eigen bron tegenspreekt

Twee vindingen verdienen aparte vermelding, omdat ze de lezer die alleen het rapport leest in de verkeerde richting duwen.

Defence-in-depth is gemeten als dekkingsbreedte, niet als compositorische robuustheid. Het rapport beveelt gelaagdheid aan en citeert daarvoor het Deep Ignorance-onderzoek. Dat onderzoek laat inderdaad zien dat pre-training filtering en circuit breaking complementair zijn: filtering weerstaat tampering waar CB dat niet doet, CB blokkeert in-context retrieval die filtering niet raakt. Maar hetzelfde onderzoek test ook een gecombineerde aanval tegen de gecombineerde verdediging, fine-tuning plus open-book retrieval, en vindt dat geen enkele geteste configuratie die weerstaat. Het rapport neemt de aanbeveling over en laat het resultaat weg.

Dat is meer dan een omissie. Defence-in-depth veronderstelt onafhankelijkheid van faalmodi. Die onafhankelijkheid wordt in het rapport overal aangenomen en nergens gemeten, en de enige beschikbare meting is negatief. Lagen die een aanname delen, hier: dat de gewichten de vindplaats van kennis zijn, falen samen. Dat is common-cause failure, niet diepte. Voor een architect betekent dit dat het relevante artefact niet een lijst van lagen is maar de doorsnede van hun faaloppervlakken: per paar lagen, welke aanvalsklasse beide passeert.

Een refusal rate is als false-positive rate gepresenteerd. Het rapport meldt 0,05% false positives voor het productie-classifiersysteem. De bron meldt 0,05% als refusal rate op productieverkeer. Dat zijn verschillende grootheden: een weigeringspercentage over een verkeersmix die gedomineerd wordt door goedaardige, triviaal te classificeren verzoeken zegt niets over het false-positive-percentage op de moeilijke dual-use-grens. Het rapport bevat zelf het tegenbewijs, twee pagina's verderop: 1,50% FPR op MMLU-Chemistry tegenover 26,05% op GPQA-Chemistry, bij hetzelfde systeem. Een architect die 0,05% als FPR leest, onderschat zijn overrefusal-budget met ongeveer twee ordes van grootte, en wel precies op de vragen die een forensisch, biomedisch of security-onderzoeker in de publieke sector stelt.

De implicatie die het rapport als voetnoot behandelt

Voor open-weight modellen is pre-training data filtering het sterkste beschikbare instrument, en dat is goed onderbouwd. Bij 6,9B parameters verdwijnt tussen de 34,6% en 50,0% van de bovenkans-scoringsmarge op multiple choice, en tussen de 84,4% en bijna 100% bij cloze-evaluatie, zonder waarneembaar verlies op algemene benchmarks (DERIVED, uit de literatuurwaarden). De filterkosten zijn 0,83% van de trainings-FLOPs. De weerstand tegen adversarial fine-tuning is een orde van grootte beter dan post-training baselines.

Maar de filtering houdt niet stand tegen kennis die in de context wordt aangeleverd. Een gefilterd model met een zoektool haalt zijn open-book-prestatie gewoon terug. Het rapport noemt dit onder "limitations". Het is geen limitation, het is een architectuurconclusie: in elke RAG- of tool-using topologie is corpusuitsluiting leeg tenzij de corpusgrens op retrieval-moment wordt gehandhaafd. Het controlepunt zijn niet de gewichten maar de tool boundary. Wie een gefilterd open-weight model achter een zoekindex zet, heeft de safeguard niet aangevallen maar wegontworpen.

Datzelfde geldt een niveau hoger. Twee van de sterkste niet-cipher-aanvallen in de onafhankelijke replicatie richten zich niet op het model maar op de classifier: een vervalste permissieve classifier-uitspraak in een assistant prefill, en een gefabriceerd officieel oefenkader. De classifier leest door de aanvaller gecontroleerde tekst in hetzelfde kanaal als de inhoud waarover hij oordeelt. Dat is de klassieke confused-deputy-vorm, en het betekent dat PROMPT ≠ POLICY niet alleen geldt voor het bewaakte model maar voor de bewaker zelf. Een guard die instructies leest uit untrusted input is een policy decision point zonder trust boundary.

Voor agentic workloads komt daar CAPABILITY ≠ AUTHORITY bij. Schadelijk gedrag dat zich uitstrekt over een reeks op zichzelf onschuldige stappen is per definitie niet zichtbaar op berichtniveau, en refusal training generaliseert aantoonbaar slecht naar tool-use-settings. Per-request classificatie is dan de verkeerde granulariteit. De autorisatie-eenheid is het traject en zijn effecten.

Wat dit verandert aan de bouwtekening

Voor wie een systeem ontwerpt op een ingekocht model verschuift het zwaartepunt van de assurance-inspanning. Niet weg van filtering, die blijft nuttig en goedkoop, maar weg van de aanname dat de contentfilter het beveiligingsprimitief is.

Wat het rapport suggereert	Wat het bewijs suggereert
Monitoring is de sterkste laag (HIGH)	Monitoring is de sensor; de accounting-laag is dragend
Access control is aanvullend (MODERATE)	Identiteitskosten en enforcement-latency zijn de bindende beperking
Lagen stapelen verhoogt de kosten voor de aanvaller	Gemeten voor dekkingsbreedte; falsificeerd voor de geteste compositie
0,05% false positives	0,05% refusal rate; FPR op de dual-use-grens is een orde 26%

In TOGAF-termen: de safeguard hoort in de Technology Architecture gemodelleerd te worden als een identity-and-accounting building block met een detectiecomponent, niet als een content-filter-ABB. De architectuurbeslissing die daaruit volgt is een meetbeslissing. Van de vier onderzochte safeguardlagen is er precies één waarvoor geen enkele publieke meting bestaat van detectielatentie, terminatiecurve onder optimalisatieverkeer, of false-termination-rate, en dat is uitgerekend de laag die op deze analyse het gewicht draagt. Dat is de grootste openstaande meetlacune in het veld.

De randvoorwaarde die alles draagt, en die het rapport nergens expliciteert: dit werkt alleen als identiteit duur is om opnieuw te verwerven. In een deployment met anonieme toegang, ongeverifieerde API-registratie of doorverkochte credentials heeft de accounting-laag geen grip, en reduceert de hele analyse tot: geen effectieve safeguard.

Het experiment dat dit stuk kan omverwerpen

De these is falsifieerbaar en hoort dat te zijn. Draai de gepubliceerde aanval tegen de in productie draaiende classifier mét enforcement actief. Meet: hoeveel flags voor succes, hoeveel wall-clock en kosten tot succes, hoeveel afzonderlijke identiteiten verbruikt, en welke detectielatentie van eerste afwijkende batch tot terminatie. Als de optimalisatie voltooit binnen een flagbudget dat normale enforcement tolereert, of als de aanvaller de optimalisatie kan amortiseren over veel goedkoop verkregen laag-volume-identiteiten, dan valt de these.

De negatieve controle is niet optioneel: hetzelfde queryvolume aan goedaardig maar statistisch vergelijkbaar verkeer, om de false-termination-rate vast te stellen. Zonder die controle is een accounting-laag die effectief lijkt mogelijk gewoon een laag die zware gebruikers wegknipt. Voor een publieke dienstverlener met legitieme bulkworkloads is dat geen randgeval maar de hoofdzaak.

Voor het Nederlandse en Europese speelveld

Twee koppelingen zijn direct, en beide verdienen verificatie tegen de actuele teksten voordat ze in beleid landen. De GPAI-verplichtingen onder de EU AI Act voor modellen met systemic risk vragen om adversarial testing en cybersecurity-bescherming; de vraag wat als adequaat adversarial testing telt, wordt door de BPJ-vinding rechtstreeks geraakt. Doorstane red-team-uren zijn daarvoor een ongeschikte eenheid, en een toezichthouder die ze als bewijs accepteert, accepteert een demand-side-statistiek als supply-side-garantie.

De tweede koppeling loopt via NIS2 en BIO2. Batch-level monitoring, cross-session correlatie, detectielatentie en incident-terminatie zijn geen nieuwe AI-specifieke controls, het zijn de logging-, detectie- en responsverplichtingen die daar al staan. Dat is het bruikbaarste operationele gevolg van deze analyse: de dragende AI-misuse-control is een control die volwassen security-organisaties al kennen, alleen toegepast op een nieuw telemetrie-oppervlak. Het is een integratieprobleem, geen onderzoeksprobleem.

Wat het onderzoeksprobleem wél is: niemand heeft die laag gemeten.

---

Bronnen: het SAIF-rapport (Duan et al., 2026) plus vier onafhankelijk gefetchte primaire studies: O'Brien et al. (ICLR 2026), Davies et al. (2026), Zhu et al. (2026), Cunningham et al. (2026).

Safe AI Forum, Technical Safeguards Against Extreme Misuse of AI