De blinde vlek van de AI Act: waarom juridische dataverwerking nog geen rechtvaardige inferentie is

De EU AI Act mankeert iets. Het ontwerp deugt niet. Het classificatiesysteem kijkt naar het domein waar AI wordt ingezet. Het kijkt niet naar de kwaliteit van de inferentie die het model produceert. Dit betekent dat een overheid een AI-systeem kan inzetten. Het voldoet volledig aan de letter van de wet. De uitkomsten zijn feitelijk ongefundeerd. Zonder enige AVG-overtreding.

Een nieuw paper op arXiv formaliseert dit probleem. De auteurs stellen dat validiteit van inferentie een voorwaarde moet zijn. Dit geldt voor proportionaliteitsbeoordelingen en deployment approval. De AI Act doet dit niet. Nederlandse overheden die AI-systemen inkopen hebben daardoor een blinde vlek. Geen enkele compliance-check vangt dit. arXiv:2608.05800

Het probleem met domein-gebaseerde risicoclassificatie

De AI Act verdeelt AI-systemen in risicocategorieën. Dit gebeurt op basis van het toepassingsdomein. Gezondheidszorg? Hoog risico. Werving en selectie? Hoog risico. Een chatbot voor gemeentelijke dienstverlening? Laag risico. De logica is simpel. Bepaalde domeinen hebben meer impact op mensen. Daar moet strenger toezicht komen.

Dit klinkt redelijk. Het mist echter de kern van wat AI doet. AI-systemen doen geen domeinwerk. Ze doen inferenties. Ze leiden conclusies af uit data. Die inferenties kunnen valide of invalide zijn. Dit staat los van het domein waarin ze worden toegepast.

Een model dat in de zorg wordt ingezet kan inferenties produceren. Deze zijn statistisch ongefundeerd. Een model voor personeelsselectie kan bias bevatten. Deze blijkt niet uit de data. De bias zit in de inferentiestructuur zelf. De AI Act kijkt naar het domein. Het zegt "hier moet je extra opletten". Het kijkt niet naar de vraag of de inferentie überhaupt gerechtvaardigd is.

Formeel: wat is een valide inferentie?

Het paper definieert inferentie-validiteit op een manier die ik relevant vind voor de Nederlandse praktijk. Ik formaliseer het hier.

Stel we hebben een dataset (D = {(x_i, y_i)}_{i=1}^n) met kenmerken (x_i \in \mathcal{X}) en uitkomsten (y_i \in \mathcal{Y}). Een model (f: \mathcal{X} \to \mathcal{Y}) produceert een inferentie (\hat{y} = f(x)). De validiteit van die inferentie hangt af van drie voorwaarden.

1. Interne validiteit: de relatie tussen (x) en (y) in de trainingsdata is correct gemodelleerd. Geen leakage, geen confounders, geen overfitting.
2. Externe validiteit: de relatie generalizeert naar de doelpopulatie. De trainingsdata representeert de populatie waarop het model wordt toegepast.
3. Constructvaliditeit: de variabelen (x) en (y) meten daadwerkelijk wat ze beweren te meten. Dit is waar het vaak misgaat bij AI.

Een model kan aan alle AVG-eisen voldoen. Dataminimalisatie toegepast. Grondslag op orde. Transparantie geborgd. En toch inferenties produceren die op geen van deze drie dimensies valide zijn. De dataverwerking is legitiem. De inferentie is dat niet.

De AVG dekt dit niet

De AVG beschermt persoonsgegevens. Ze beschermt niet tegen onjuiste conclusies die uit die gegevens worden getrokken. Artikel 22 AVG geeft burgers het recht om niet onderworpen te worden aan uitsluitend geautomatiseerde besluitvorming met rechtsgevolgen. Maar de uitzonderingen in lid 2 en 4 maken dit recht in de praktijk zwak. En zelfs waar artikel 22 van toepassing is, toetst het aan de vraag of er sprake is van "menselijke tussenkomst". Het toetst niet aan de vraag of de inferentie statistisch gerechtvaardigd is.

Het paper stelt dit scherp. "Existing data-protection frameworks capture privacy leaks, but miss the fundamental risk of unreliable or unjustified inferences by AI, even when data processing is legitimate."

Dit raakt precies de Nederlandse praktijk. Gemeenten gebruiken risicomodellen voor de aanpak van bijstandsfraude. Het Systeem Risico Indicatie (SyRI) werd in 2020 door de rechtbank Den Haag verboden. Dit gebeurde niet omdat de inferenties onjuist waren. Het verbod ging over de juridische grondslag en de privacy-impact. De vraag of de statistische onderbouwing deugde, kwam niet aan bod.