Probabilistische agenten in een deterministische audit: waarom NIS2-compliance automatiseren met AI geen vanzelfsprekendheid is

Audits zijn deterministisch. Je toetst een maatregel, die is geïmplementeerd of niet. Een firewallregel staat aan of uit. Logging is ingericht of ontbreekt. NIS2, BIO2, de AVG-verantwoordingsplicht, ze vragen allemaal om binaire oordelen. AI, en zeker een large language model, is probabilistisch. Het geeft een antwoord met een bepaalde waarschijnlijkheid, en dat antwoord kan de volgende dag anders uitvallen. Die spanning is niet theoretisch. Ze raakt direct aan de vraag of je een LLM kunt inzetten om compliance te automatiseren, bijvoorbeeld door beveiligingsdocumentatie te genereren, configuraties te toetsen aan IT-Grundschutz, of auditbewijs te verzamelen.

Een recente systematische literatuurstudie brengt die spanning scherp in kaart. De paper “Probabilistic Agents in Deterministic Audits: NIS-2 Compliance Automation with IT-Grundschutz” (arXiv:2606.25622) inventariseert kwetsbaarheden van LLM’s over de volledige lifecycle, van dataverzameling tot en met onderhoud, en mapt die op de beschermingsdoelen vertrouwelijkheid, integriteit, beschikbaarheid, plus safety, privacy, fairness, accountability en agency-control. Wat opvalt: de meeste discussies over AI-risico blijven hangen bij prompt injection of hallucinatie. Deze review laat zien dat het probleem veel fundamenteler is. Elke fase van de levenscyclus introduceert zijn eigen aanvalsvector, en die raken stuk voor stuk aan de betrouwbaarheid van het systeem dat je juist wilt inzetten om compliance aan te tonen.

Laatst zat ik bij een zorginstelling die een LLM wilde gebruiken om hun BIO2-verantwoording te stroomlijnen. Het idee: voer je netwerkdiagrammen, firewallregels en configuratiebestanden in, en het model vertelt je waar je afwijkt van de baseline. Klinkt efficiënt. Totdat ik vroeg wat er gebeurt als een kwaadwillende een paar regels in die configuratiebestanden aanpast voordat ze het model in gaan. Stilte. Precies het soort aanval dat in de data collection-fase van de paper terugkomt: data poisoning via de invoerketen. Als je niet kunt garanderen dat de data die je aan het model voedt integer is, wordt elke compliance-uitspraak een gok.

De paper structureert de kwetsbaarheden langs acht lifecycle-fases. In de data collection-fase spelen naast poisoning ook privacy-lekken door overmatige data-extractie. In de preprocessing-fase kunnen tegenstanders kwetsbaarheden injecteren via speciaal vervaardigde tokens. Tijdens training zijn er risico’s op backdoor-aanvallen en het memoriseren van gevoelige informatie. De evaluatiefase is gevoelig voor benchmark-manipulatie, waardoor je een verkeerd beeld krijgt van modelprestaties. Bij deployment ontstaan risico’s door onjuiste toegangscontrole en modeldiefstal. Tijdens inferentie zijn prompt injection, jailbreaking en data-exfiltratie de bekende boosdoeners. In de monitoringfase kunnen logging en auditing worden gemanipuleerd. En in de onderhoudsfase kunnen updates van het model of de trainingsdata nieuwe kwetsbaarheden introduceren.

Wat deze paper bijzonder relevant maakt voor de Nederlandse praktijk, is de expliciete koppeling aan IT-Grundschutz. Dat is het Duitse equivalent van onze BIO2, maar dan met een veel langere traditie in het modelleren van beveiligingsmaatregelen. De auteurs gebruiken de IT-Grundschutz-methodiek om per lifecycle-fase te bepalen welke beschermingsdoelen in het geding zijn en welke controls je zou moeten implementeren. Voor de inference-fase bijvoorbeeld, het moment dat een LLM daadwerkelijk antwoorden genereert, identificeren ze risico’s voor vertrouwelijkheid (data-exfiltratie via side channels), integriteit (prompt injection), beschikbaarheid (denial-of-service via extreem lange prompts), safety (schadelijke outputs), privacy (membership inference), fairness (bias in outputs), accountability (onverklaarbare beslissingen) en agency-control (het model dat buiten zijn beoogde taak treedt). Dat is geen theoretische waslijst. Dit zijn risico’s die je stuk voor stuk moet adresseren als je een LLM inzet.