AI-systemische risico's: Waarom ze een uitdaging zijn voor alle overheden

AI-systemische risico's vormen een nieuwe uitdaging die we niet langer kunnen negeren, vooral in de Nederlandse publieke sector waar AI al wijdverspreid wordt gebruikt voor het beheren van zorgregistraties tot het toezicht op financiële transacties. Het recente conceptuele framework dat AI-systemische risico's als complexe externaliteiten en collectieve actieproblemen definieert, biedt inzicht in waarom deze risico's zo moeilijk te hanteren zijn.

Laatst bij een klant, een overheidsorganisatie die AI gebruikt om financiële fraude te detecteren, kwam ik direct in aanraking met de complexiteit. De organisatie gebruikte verschillende AI-systeemcomponenten die elk op zich goed functioneerden, maar als geheel creëerden ze onvoorspelbare en soms negatieve uitkomsten. Dit is precies waar het nieuwe framework belangrijk wordt: het helpt bij het begrijpen van deze complexiteit.

Het conceptuele framework, gepubliceerd op arXiv (Abstract link, PDF download link), legt uit dat AI-systemische risico's niet alleen afhangen van de technologie zelf, maar ook van hoe deze technologie in een bredere context wordt toegepast en gestuurd. Dit komt erop neer dat als wij willen begrijpen en beheersen wat er gebeurt met AI in ons systeem, we alle aspecten moeten overwegen.

Wat me opviel bij het lezen van dit artikel was hoe goed de beschrijving past bij de EU AI Act. De actie richt zich direct op het beheren van systemische risico's voor general-purpose AI en deze framework helpt ons verder te lopen in dat proces. Het biedt een manier om te kijken naar de externe effecten die AI kan hebben, wat belangrijk is als we aansturen op de implementatie van zowel de EU AI Act als andere Nederlandse regelgeving zoals NIS2.

Een key aspect van dit framework is dat het AI-systemische risico's beschouwt als complexe externaliteiten. Dit betekent dat de risico's niet eindigen bij een specifiek systeem, maar kunnen uitlopen naar de brede samenleving of andere systemen. Bijvoorbeeld, als er sprake is van een AI-systeem in het financiële sector dat foutieve beslissingen neemt over krediettoekenning, kan dit leiden tot ongelijke toegang tot financiële diensten voor bepaalde groepen. Dit is niet alleen een probleem voor het financiële systeem zelf, maar ook voor de samenleving als geheel.

Collectieve actieproblemen komen dan in beeld wanneer we proberen deze risico's te beheersen. Elk individueel actor (bijvoorbeeld een overheidsinstantie of zorginstelling) kan niet op zichzelf alle systemische risico's beheren, omdat dit effecten heeft op andere actoren en het systeem als geheel. Dit betekent dat er een coördineerde aanpak nodig is om deze risico’s effectief te hanteren.

In de praktijk betekent dit dat wij niet alleen AI-systematische risico's moeten beoordelen op hun eigen termen, maar ook hoe ze samenwerken en interacteren met andere systemen. Dit kan bijvoorbeeld invloed hebben op hoe we NIS2 of AVG implementeren in combinatie met de EU AI Act.

Laat ons een voorbeeld nemen uit het zorgdomein. Als wij zorgen dat alle zorginstellingen hun gebruik van AI overhouden aan de AVG en NIS2, is dit een stap in de goede richting. Maar we moeten ook kijken naar hoe deze AI-systeemcomponenten samenwerken en hoe ze externe effecten hebben op het systeem als geheel.

Eén concreet voorbeeld van wat je nu kunt doen is om een inventory te maken van al jouw AI-systemen. Dit helpt bij het begrijpen welke systemen er zijn en hoe ze samenwerken. Wil je weten of jouw AI-systeem onder de AI Act valt? Gebruik onze AI Act Self-Check, dit is een eenvoudige, snelle manier om te beginnen.