RAG-poisoning daalt van 31% naar 10%: de AI Act kijkt mee

Een medisch AI-systeem dat ontslagbrieven opstelt, geeft in 31% van de gevallen foutieve informatie door vergiftigde documenten. Dat klinkt als een scenario uit een wetenschappelijke paper, maar het is de realiteit van een nieuw onderzoek naar RAG-poisoning bij kleine taalmodellen. Wat blijkt? Met privacy-preserving fine-tuning daalt het succes van een aanval tot 10%, terwijl de accuraatheid stijgt van 72,5% naar 86,5%. Voor Nederlandse CSIRTs en zorginstellingen is dit geen theoretisch probleem. De AI Act, BIO2 en NIS2 maken deze cijfers hard.

Ik sprak onlangs met een CISO van een ziekenhuis. Zijn team wilde een RAG-systeem inzetten voor het genereren van medische rapporten. De zorg was duidelijk: kwaadwillenden zouden via vergiftigde bronnen medicatiefouten kunnen injecteren. “Als dat gebeurt, verliezen we niet alleen de patiënt, maar ook onze NEN 7510-certificering,” zei hij. De paper die vandaag is gepubliceerd, bevestigt zijn zorgen. Maar ze biedt ook een oplossing.

De cijfers spreken

De onderzoekers bouwden een medische rapportage-agent die gebruikmaakt van retrieval-augmented generation. Zonder bescherming slaagde een poisoning-aanval in 31% van de gevallen. De accuraatheid van het model bleef 72,5%. Na toepassing van het Gartner TRiSM-framework en privacy-preserving fine-tuning daalde het aanvalssucces naar 10%. De accuraatheid steeg naar 86,5%. Dat is een verbetering van 14 procentpunt op accuraatheid en een reductie van 21 procentpunt op aanvalssucces.

Deze cijfers komen uit een preprint die het TRiSM-framework vertaalt naar technische maatregelen. TRiSM staat voor Trust, Risk and Security Management. Het is Gartner’s antwoord op de vraag hoe je AI betrouwbaar maakt. Het framework dwingt je om vertrouwen, risico en security als één geheel te zien. In de paper betekent dat: data provenance checks, differential privacy tijdens fine-tuning en continue model monitoring.

Wat is RAG-poisoning?

RAG-systemen combineren een taalmodel met een externe kennisbank. Het model haalt relevante documenten op en gebruikt die om een antwoord te genereren. Poisoning betekent dat een aanvaller kwaadaardige documenten in die kennisbank plaatst. Het model haalt die op en verwerkt de foutieve informatie in de output. Bij medische rapporten kan dat leiden tot verkeerde doseringen, gemiste diagnoses of foutieve behandeladviezen.

De aanval is lastig te detecteren. De vergiftigde documenten lijken vaak op legitieme bronnen. Een aanvaller kan bijvoorbeeld een nep-onderzoekspaper toevoegen die een verkeerde richtlijn promoot. Het RAG-systeem ziet die paper als betrouwbaar en verwerkt de foutieve informatie. Zonder extra maatregelen is het model kwetsbaar voor dit soort manipulatie.

TRiSM in praktijk

Het TRiSM-framework pakt dit probleem aan op drie niveaus. Ten eerste data provenance: elke bron in de kennisbank krijgt een betrouwbaarheidsscore op basis van herkomst, actualiteit en consistentie met andere bronnen. Documenten die afwijken worden gemarkeerd of uitgesloten. Ten tweede differential privacy tijdens fine-tuning: het model leert van data zonder individuele datapunten te onthouden. Dat maakt het moeilijker voor een aanvaller om via specifieke documenten het modelgedrag te beïnvloeden. Ten derde continue monitoring: het model wordt in productie getest op afwijkende outputs die kunnen wijzen op een geslaagde poisoning-aanval.

De paper laat zien dat deze combinatie werkt. De onderzoekers gebruikten een SLM, een klein taalmodel zoals Phi-3-mini met 3,8 miljard parameters, en fine-tuneden dat met LoRA en DP-SGD. LoRA voegt traineerbare lagen toe zonder het hele model te wijzigen. Dat bespaart geheugen. DP-SGD voegt ruis toe aan de gradiënten. Daardoor kan het model geen individuele datapunten onthouden.