PROBE: hoe je AI-agents auditeert op beleidsnaleving, niet op vaardigheid

Twee bestaande meetinstrumenten dekken de evaluatie van AI-agents onvoldoende. Capability-benchmarks meten wat een agent kan bereiken. Content-safety red-teaming meet of hij schadelijke tekst genereert. Geen van beide test de vraag die er voor een compliance officer echt toe doet: houdt de agent zich aan het afgesproken beleid tijdens geldig, legitiem toolgebruik?

Die overtredingen zijn lastig te auditen omdat hun effect pas na meerdere beurten opduikt, over meerdere tool-aanroepen verspreid ligt, of pas in downstream-systemen zichtbaar wordt. PROBE, van Kshitij Mishra en collega's (geaccepteerd op NeurIPS 2026), vult precies die leemte.

Wat de paper vond

PROBE staat voor Policy Rule Observation via Behavioral Exploration. Het is een algoritme om LLM-gebaseerde auditors te trainen die zich als realistische gebruikers voordoen tegenover een uitgerolde agent en hem door multi-turn, tool-gemedieerde dialoog op beleidsovertredingen afrekenen.

Drie ontwerpkeuzes maken het onderscheidend:

• Formalisering als two-player Markov game. Auditeren wordt gemodelleerd als een spel tussen auditor en agent, in plaats van als een eenmalige prompt-injectietest.
• Composite reward. De auditor wordt beloond op vier assen tegelijk: overtredingsontdekking, gedragsplausibiliteit, gespreksvoortgang en beleidsdiversiteit. Zo leert hij niet alleen overtredingen te vinden, maar dat te doen op een manier die een echte gebruiker niet als aanval herkent.
• Doelgerichte vergelijking van trainingsdoelen. De auteurs vergelijken GRPO, DPO en GFlowNet-gebaseerde optimalisatie in een gecontroleerde setting.

De uitkomst: auditors getraind met PROBE ontdekken substantieel bredere en hoger renderende beleidsovertredingen dan zero-shot tegenstanders met dezelfde architectuur, zelfs wanneer de auditor aanzienlijk kleiner is dan de doel-agent.

De centrale stelling is dat multi-turn gedragsmatig auditeren een zelfstandige, noodzakelijke as van agent-evaluatie is, naast capability- en safety-benchmarks. De paper suggereert bovendien een co-evolutionaire lus: auditors leggen falen bloot en agents verbeteren op basis van de auditfeedback.

Waarom dit de Nederlandse publieke sector raakt

Voor wie een agent in een publieke context inzet, is dit niet academisch. NIS2 en de AI Act vragen om aantoonbare naleving, niet om een claim van naleving. Een agent die facturen mag opstellen (pricing-beleid), persoonsgegevens verwerkt (privacy-beleid), of handelingen pas na bevestiging mag uitvoeren (confirmation-beleid), moet zich aantoonbaar aan die regels houden, ook over meerdere stappen en tool-aanroepen heen.

Drie punten maken dit concreet:

1. "Kan het" is niet "mag het". Een capability-benchmark die toont dat een agent een proces kan afronden, zegt niets over of hij dat binnen de beleidsgrenzen deed. Voor een DPIA of een NIS2-verantwoording is dat onderscheid bepalend.
2. Overtredingen zijn emergent. Een beleidsschending kan pas zichtbaar worden in beurt vier, na drie tool-aanroepen, of in een downstream-systeem. Een eenmalige rode-teambuurtest mist dat per definitie.
3. De auditor is een terugkerend instrument, geen eenmalig. Omdat PROBE auditors traint die agenten doorlopend kunnen bevragen, biedt het een pad naar automatisering van beleidsaudits, in plaats van handmatige steekproeven.

Epistemische classificatie

Claim	Status
PROBE-auditors vinden bredere/hoger renderende overtredingen dan zero-shot tegenstanders	Empirisch ondersteund (experimenteel resultaat)
De auditor werkt ook wanneer hij kleiner is dan de doel-agent	Empirisch ondersteund (gerapporteerd)
GRPO/DPO/GFlowNet-vergelijking is generaliseerbaar buiten de gecontroleerde setting	Hypothese (gecontroleerde setting, geen productie-evaluatie)
"Co-evolutionaire lus verbetert agents in de praktijk"	Hypothese (suggestie, niet aangetoond)
PROBE dekt een specifieke NL-wetgevingstekst (NIS2/AI Act-artikel) af	Niet aangetoond (paper is beleids-agnostisch)

De sterkste verdedigbare uitspraak: gedragsmatig auditeren is een meetas die capability- en safety-tests niet dekken, en die as is meetbaar via getrainde auditors.

Wat te doen

1. Voeg een beleidsnalevings-as toe aan je agent-evaluatie. Naast capability en safety, definieer expliciet het beleid (pricing, privacy, confirmatie, veiligheid) en meet of de agent zich eraan houdt tijdens toolgebruik.
2. Auditeer multi-turn. Richt tests in die over meerdere beurten en tool-aanroepen lopen; een overtreding die pas in beurt vier zichtbaar wordt, is een overtreding, geen randgeval.
3. Behandel de auditor als doorlopend instrument. Automatiseer beleidsaudits en laat ze terugkeren, in plaats van ze als eenmalige goedkeuring te behandelen.
4. Documenteer de meetmethode in je verantwoording. Voor NIS2 en AI Act is de vraag niet alleen of je agent compliant is, maar hoe je dat hebt gemeten. Een gedragsmatige audit-as maakt die verantwoording controleerbaar.

De les van PROBE is dat agent-compliance een eigen meetinstrument nodig heeft. Wie alleen op vaardigheid en op schadelijke tekst test, meet twee dingen die er toe doen, maar mist de derde, die voor aansprakelijkheid en naleving de doorslaggevende is.

Bronnen

• PROBE: Learning to Audit Policy Compliance in Tool-Using LLM Agents, arXiv:2610.22124, Mishra et al., NeurIPS 2026, 15 oktober 2026