Probabilistische agenten in deterministische audits: waarom DP-SGD niet genoeg is voor NIS2

Je AI-systeem werkt met kansen. Je audit daarentegen kijkt naar feiten. Dat zit elkaar dwars.

Ik zat onlangs bij een veiligheidsregio die AI wilde inzetten voor het analyseren van kwetsbaarhedenscans. Hun idee: een taalmodel trainen op scanlogs, met DP-SGD erop, en dan zijn ze AVG-proof. Dat is helaas te simpel. DP-SGD geeft een formele privacygarantie, maar het lost het echte probleem niet op. En het model dat ze kregen? Operationeel gezien onbruikbaar.

Een nieuw paper op arXiv (2606.25622) bevestigt dit beeld. De onderzoekers fine-tunen modellen op vulnerability-scan data en vergelijken DP-SGD met een simpele HMAC-pseudonimisering. De resultaten zijn soberend voor wie denkt dat een epsilon-garantie voldoende is voor een NIS2-audit.

De proefopstelling

Ze trainen kleine taalmodellen, met 1 tot 3 miljard parameters, op echte vulnerability-scan logs. Die bevatten IP-adressen, hostnames, poortnummers en beschrijvingen van kwetsbaarheden. Data die onder NIS2 valt als essentiële entiteit, en onder de AVG als persoonsgegeven zodra IP-adressen herleidbaar zijn.

Ze testen twee privacy-maatregelen. Eén: DP-SGD tijdens de fine-tuning. Dat voegt ruis toe aan de gradienten en levert een meetbare (ε, δ)-garantie. Twee: HMAC-pseudonimisering van de data vóór training. Dat betekent dat gevoelige velden, zoals IP-adressen en hostnames, worden gehasht met een geheime sleutel. Zo ziet het model nooit de originele waarden.

DP-SGD: de formele garantie

DP-SGD is wat je noemt als een auditor vraagt hoe je privacy borgt in je AI-pipeline. Je kunt een epsilon-waarde opgeven, bijvoorbeeld ε=4.2 bij δ=1e-5. Dat klinkt overtuigend. Het paper laat zien dat DP-SGD memorisatie van trainingsdata beperkt. Maar de verbetering is matig vergeleken met wat een eenvoudige datatransformatie oplevert.

DP-SGD helpt tegen een aanvaller die het model uitleest. Maar het helpt niet tegen een auditor die de ruwe data in je keten aantreft. En dat is precies wat een NIS2-auditor doet. Die kijkt naar het hele proces, niet alleen naar het eindresultaat.

HMAC: het echte werk

De echte winst zit in HMAC-pseudonimisering. Door IP-adressen en hostnames vóór training te hashen met een geheime sleutel, daalt de memorisatie van gevoelige data met 40 tot 61 procent. Geen ruis, geen complexe privacy-accounting. Gewoon een hash.

Een voorbeeld. In plaats van dit:

{"ip": "192.168.1.100", "host": "dc01.internal", "vuln": "CVE-2024-1234"}

gebruik je dit:

{"ip": "a3f8b2c...", "host": "d1e9f7a...", "vuln": "CVE-2024-1234"}

Het model leert nog steeds patronen in kwetsbaarheden, maar kan geen echte IP’s reproduceren. De onderzoekers tonen aan dat deze aanpak memorisatie veel sterker beperkt dan DP-SGD alleen.

Operationeel onbruikbare modellen

Maar dan het model zelf. De F1-score van de geteste modellen (1B tot 3B parameters) blijft tussen 0,19 en 0,28. Dat is niet matig. Dat is onbruikbaar voor operationele detectie. Een model dat vier van de vijf kwetsbaarheden mist of een false positive genereert, voegt niets toe aan je SOC.

Dat raakt NIS2, artikel 21. Daar staat dat je passende en evenredige technische maatregelen moet nemen. Een model met een F1 van 0,19 is niet passend. Een auditor kijkt niet alleen naar privacy, maar ook naar effectiviteit. Als je AI inzet voor beveiliging, moet het werken.

Wat betekent dit voor jouw audit?

NIS2-audits zijn deterministisch. Je controleert of maatregelen aanwezig zijn, of processen gedocumenteerd zijn, of risico’s beheerst worden. Maar AI-systemen zijn probabilistisch. Ze leren, hallucineren, en presteren onvoorspelbaar. Een auditor die alleen vraagt of je DP-SGD gebruikt, mist het punt.

Het echte punt is: heb je de data geminimaliseerd voordat die het model in gaat? Heb je pseudonimisering toegepast waar mogelijk? En presteert het model voldoende om als passende maatregel te gelden?