Het signaal dat je niet ziet: waarom onbekende risico’s de échte compliance-killer zijn

Vanmorgen keek ik naar een leeg veld op het dashboard. Het monitoringssysteem gaf een waarschuwing, maar er was weinig informatie. Geen metadata, geen classificatie, geen prioriteit. Alleen een markering: relevant. Dat laat zien waar het misgaat bij het beheren van AI-risico’s. We vullen dashboards met bekende bedreigingen, vinken BIO2-maatregelen af en documenteren modelaannames. Maar het echte risico zit niet in wat we meteen herkennen, het zit in wat we over het hoofd zien.

Een paar weken geleden sprak ik met een zorginstelling die een voorspellend model gebruikt voor patiëntuitval. Alles leek op orde: pseudonimisering, DPIA en een geldige toestemmingsgrondslag volgens de AVG. De leverancier leverde een uitgebreide model card met een nauwkeurigheid boven de 90%. Toch merkte het team tijdens een testronde op dat het model op donderdagochtend minder betrouwbaar was. Er ging geen alarm af, want de algemene cijfers bleven binnen de norm. Het signaal was onbekend. Niemand had gedacht aan een bias die verband houdt met de dag van de week. Pas na een handmatige cohortanalyse werd het patroon zichtbaar. Dit is geen incident. Dit gebeurt vaker.

Het probleem met bekende risico’s

Compliancekaders zoals BIO2, NIS2 en de AI Act richten zich vooral op risico’s die we al kennen. Je zoekt bedreigingen, classificeert ze, koppelt maatregelen en legt alles vast. BIO2 baseline 2.3.1 vraagt om een actueel overzicht van dreigingen. NIS2 schrijft risicobeheer en incidentafhandeling voor. De AI Act vereist een risicoclassificatie van tevoren, met een conformiteitsbeoordeling. Dat is allemaal belangrijk, maar het helpt niet tegen wat we niet verwachten.

Een AI-model is geen statisch IT-systeem. Het gedrag verandert als het nieuwe data tegenkomt. Je kunt de beste DPIA hebben, maar als morgen een input binnenkomt die buiten de trainingsdata ligt, weet je niet wat er gebeurt. De output kan verkeerd zijn, een bias versterken of een veiligheidsrisico opleveren. En omdat je niet wist dat dit kon voorkomen, heb je er geen controle op.

Dit is echt gebeurd. In 2025 kreeg een Nederlands ziekenhuis onverklaarbare afwijkingen van een AI-radiologiemodel bij scans van patiënten met een zeldzame bloedgroep. Die feature zat niet in de trainingsdata. Het model had geen enkel idee van deze subgroep. Het signaal was onbekend. Pas nadat een arts toevallig een patroon herkende, werd het opgemerkt.

De blinde vlek van je model

Technisch gezien gaat het hier over inputs die buiten de trainingsverdeling vallen: out-of-distribution (OOD). Modellen leren van data met een bepaalde statistische verdeling. Alles wat daarbuiten ligt, is OOD. Een neuraal netwerk kan juist erg zeker zijn van een OOD-input, omdat het niet kan zeggen: “dit heb ik nog niet eerder gezien.” Dat herkennen heet OOD-detectie. In de praktijk ontbreekt dat bij veel modellen.

Een eenvoudig voorbeeld in PyTorch. Stel je hebt een classifier voor documenttypes. Je kunt een OOD-detector bouwen met een energiefunctie:

def energy_score(logits):
    return -torch.logsumexp(logits, dim=1)

Een lage score betekent dat het patroon bekend is. Een hoge score wijst op iets onbekends. Maar dit werkt alleen als je tijdens inference niet alleen de voorspelling logt, maar ook de logits en de energiewaarde. In de praktijk zie je zelden dat iemand dat doet. Meestal wordt alleen de voorspelde klasse opgeslagen en in een dashboard gezet.

Erger nog: veel compliance-documentatie vraagt om uitleg op basis van de trainingsdata. Denk aan SHAP-waarden, LIME of integrated gradients. Die methodes vertellen waarom het model een keuze maakte, binnen zijn eigen wereld. Maar als de input daarbuiten valt, zeggen die uitlegmethodes niets. Je krijgt een verklaring die klopt, maar niet relevant is. Het model weet niet dat het niet weet.