Verborgen AI-risico's in de publieke sector: wat we over het hoofd zien

Er is een verschuiving gaande in hoe we AI-systemen beoordelen en beheren. De publieke sector heeft zich vaak gericht op model-outputs om veiligheidsrisico's te evalueren, maar deze benadering laat veel kant. Het blijkt dat er verborgen risico's zijn die niet alleen technisch van aard zijn, maar ook fundamenteel socio-technisch.

Laatst werkte ik aan een project bij de Nederlandse overheid waar we probeerden de AI-systemen volgens de AVG te checken. We hadden een sterk geïmplementeerde model-evaluatiemethode, maar er waren duidelijke kloppen in het systeem die niet werden opgepakt door deze methodologie. Het duurde even voordat ik besefte dat de organisatie zelf, en haar interacties met andere systemen en mensen, een groot deel van het risico vormden.

Een nieuw paper, "The Safety Failures We Are Not Instrumenting: Hidden Safety-Critical Challenges in Modern AI Systems", biedt helderheid over waar we fout zitten. Het identificeert vijf laag niveaus van risico die we genegeerd hebben:

1. Onzekerheden in de data en modellen, zoals uncertainty laundering.
2. Problemen met het beheer van systemen, inclusief memory poisoning.
3. Tijdelijke kwesties, zoals model collapse over tijd.
4. Het risico op interne governance en audit-capaciteit.
5. Risico's die ontstaan door interactie tussen verschillende systemen.

Wat me het meest opviel aan dit paper is dat de beschreven lagen direct mappen op NORA-architectuurprincipes, waarmee Nederlandse overheden hun digitale infrastructuur beheren. Het betekent dat de huidige implementaties mogelijk niet voldoen aan de eisen van NIS2 en de AI Act.

Laten we wat concrete voorbeelden nemen:

1. Bij uncertainty laundering gaan modellen soms fouten verbergen door onzekerheid te camoufleren als zekerheid. Dit kan leiden tot beslissingen die op basis van onjuiste informatie worden genomen.

   python -m inspect_model_uncertainty --model my_ai_model_v123 --data test_dataset.csv
   

2. Memory poisoning is een situatie waarin een AI-model op de lange termijn wordt beïnvloed door continu aangeleverde informatie, waardoor het model langzaam afwijkt van de oorspronkelijke doelstelling.

   config['memory_poisoning_detection'] = True
   

3. Model collapse betekent dat een AI-model over tijd minder presteert, mogelijk door verouderde training of veranderende omstandigheden.

   python -m evaluate_model_performance --model my_ai_model_v123 --time_window=6_months
   

4. Hier komt tevoorschijn als onvoldoende audit-capaciteit en verlies van oversight door automatisering.

5. Dit risico ontstaat wanneer informatie-ecosystemen verzwakt raken, wat de integriteit van AI-systemen bedreigt.

Deze vijf laag niveaus van verborgen AI-risico's dragen direct bij aan de NIS2-eisen en de AI Act. Overheden moeten deze risico’s niet alleen in kaart brengen, maar ook proactief beheren om te zorgen voor volledige compliance.

Een belangrijk punt is dat organisaties vaak denken veilig te zijn als ze model-outputs controleren. Het blijkt echter dat de socio-technische aspecten, zoals onvoldoende audit-capaciteit en verlies van oversight door automatisering, net zo cruciaal zijn voor de volledige beoordeling van AI-systemen.

Als je wilt weten of jouw organisatie al deze risico's correct beheert, kan het nuttig zijn om een zelfcontrole uit te voeren. Gebruik bijvoorbeeld onze [AI Act