AI-governance faalt als je alleen naar het model kijkt

AI-governance is geen momentopname. Toch behandelen we het vaak alsof een jaarlijkse audit genoeg is. Dat is niet zo.

Laatst bij een zorginstelling hadden ze een AI-risicoanalyse laten doen, netjes volgens BIO2. Alles groen. Twee maanden later bleek hun voorspellingsmodel voor patiëntuitval discriminerend te zijn. Hoe dan? De dataverzameling was ongemerkt verschoven. Nieuwe meetapparatuur in een paar ziekenhuizen introduceerde een systematische bias in de inputdata. Het model zelf was niet veranderd, maar de wereld eromheen wel. De audit had alleen naar het model gekeken, niet naar de pijplijn.

Een nieuwe paper van het Alan Turing Institute (arXiv:2607.03542) pakt dit aan. De auteurs stellen een macro-prudentiële benadering voor AI-governance voor, compleet met een tweelaags early warning systeem. De kern: AI-risico’s ontstaan niet alleen in het model, maar in elke fase van de lifecycle. En die risico’s veranderen continu.

Acht fasen, acht soorten falen

De paper breekt de AI-lifecycle op in acht fasen: dataverzameling, preprocessing, training, evaluatie, testen, deployment, monitoring en onderhoud. Voor elke fase brengen de auteurs kwetsbaarheden in kaart die een of meer van acht beschermingsdoelen kunnen raken: vertrouwelijkheid, integriteit, beschikbaarheid, veiligheid, privacy, eerlijkheid, verantwoording en agency-controle.

Bij dataverzameling kan een bias in de steekproef de eerlijkheid beïnvloeden. Een poisoning-aanval via de trainingsdata raakt integriteit én veiligheid. Bij preprocessing kan per ongeluk gevoelige informatie lekken naar features, wat privacy schendt. Tijdens training kan een model gevoelige data onthouden en later lekken, wat vertrouwelijkheid raakt. Bij deployment kan een API zonder rate limiting de beschikbaarheid verstoren. Monitoring die concept drift niet detecteert, kan de veiligheid in gevaar brengen. Onderhoud zonder versiebeheer maakt verantwoording onmogelijk.

Wat hier opvalt: puntmetingen volstaan niet. Een eenmalige bias-check tijdens evaluatie zegt niets over bias die later ontstaat door data drift. Een penetratietest op het model zegt niets over een poisoning-aanval die al in de dataverzameling is ingebouwd. Je moet continu meten, over de hele keten.

Twee lagen: macro en micro

Het voorgestelde early warning systeem werkt op twee niveaus. Het macroniveau monitort systematisch kwetsbaarheden over de hele AI-lifecycle heen, sectorbreed. Het microniveau zoomt in op individuele systemen en modellen. Samen vormen ze een soort centrale meldkamer voor AI-risico’s, vergelijkbaar met hoe centrale banken macro-prudentiële indicatoren gebruiken om systeemrisico’s in de financiële sector te spotten.

Op macroniveau verzamel je signalen over veelvoorkomende kwetsbaarheden, aanvalstrends en faalpatronen. Denk aan een gedeelde database van bias-incidenten in de zorg, of een feed van nieuwe adversarial attack-technieken. Op microniveau koppel je die signalen aan je eigen systemen: loopt mijn fraudedetectiemodel hetzelfde risico als dat van de Belastingdienst? Is mijn preprocessing-pijplijn gevoelig voor dezelfde feature leakage die bij een andere gemeente tot een datalek leidde?

De paper levert een concrete taxonomie die je direct kunt gebruiken. Voor elke combinatie van lifecycle-fase en beschermingsdoel definieert hij mogelijke kwetsbaarheden. Een voorbeeld uit de taxonomie: in de evaluatiefase kan een onjuiste testset-verdeling leiden tot een overschatting van fairness, wat accountability raakt. In de testfase kan een gebrek aan adversarial testing de safety ondermijnen.

Waarom dit nú relevant is voor Nederland

NIS2 verplicht organisaties in vitale sectoren tot continue risicobeheersing en incident response. De AI Act eist voor high-risk systemen een post-market monitoring plan en een risicomanagementsysteem dat de hele levenscyclus dekt. BIO2 schrijft voor dat informatiebeveiliging een continu proces is, geen jaarlijkse exercitie. NORA vult dat aan met richtlijnen voor governance van AI-systemen in de publieke sector.