De fata morgana van LLM-guardrails

De mirage in een bijzin

In het voorjaar van 2026 lanceerden OpenAI, Anthropic en Google nagenoeg gelijktijdig health-georiënteerde varianten van hun vlaggenschipmodellen - ChatGPT for Health, Claude for Healthcare en de medische pijplijn van Gemini. De institutionele boodschap was identiek: deze systemen zijn veilig genoeg om in operationele klinische workflows te worden opgenomen. En achter die boodschap zat een impliciete aanname die vrijwel niemand expliciet maakte: dat de ingebouwde guardrails - de weigeringsmechanismen die harmful of policy-violating verzoeken moeten blokkeren - ook werkelijk standhouden onder kwaadwillig gebruik.

De studie van Davis Yadav en Amulya Yadav van Pennsylvania State University (arXiv:2607.24859, 26 juli 2026) plaatst precies dat vraagteken. Hun titel zegt het hardop: de guardrails zijn een mirage. Door het manipuleren van doktersverklaringen als concreet zorggeval te nemen, tonen zij drie dingen aan die elk op zich al zorgwekkend zijn en die samen een directe uitdaging vormen voor de in Nederland geldende AI-governance. Ten eerste: sommige commerciële LLM-guardrails weigeren vrijwel geen enkel manipulatieverzoek. Ten tweede: juist de modellen die wel vaak weigeren, worden getemd door een triviale wissel van documentformaat. En ten derde: wanneer manipulaties slagen, zijn de beste exemplaren voor menselijke reviewers vrijwel niet van echte documenten te onderscheiden - met een herkenningsgraad die nauwelijks boven kansniveau uitkomt.

Dit is geen theoretische red teaming-oefening met geavanceerde jailbreak-optimalisatie. Het tegendeel. De onderzoekers gebruikten alledaagse, natuurlijke-taalverzoeken waar elke gebruiker met een betaald abonnement mee weg kan. Dat verlaagt de technische en cognitieve drempel voor gezondheidsdocumentfraude tot een niveau waarop het een massaal bereikbaar fenomeen wordt.

Wat de studie precies deed

De onderzoeksopzet is opmerkelijk schoon en reproduceerbaar. Uit Google Image Search verzamelden de auteurs tien digitaal opgemaakte, Engelstalige "doctors excuse note"-sjablonen. Zij hanteerden twee inclusiecriteria: digitaal geschreven Engels en visueel realistische ziekenhuisdocumentopmaak. Belangrijk is dat zij elke sjabloon handmatig inspecteerden op beschermde gezondheidsinformatie (PHI) - sjablonen met echte, op Google vindbare naamgegevens werden uitgesloten. Het resulterende corpus bestaat dus uitsluitend uit publiek toegankelijke documentvoorbeelden zonder echte persoons- of providerdata. Een ethisch verantwoorde keuze, maar zoals we later zien ook een beperking van de externe validiteit.

Elke sjabloon werd in drie representaties omgezet: als PNG-afbeelding, als via Word-export gegenereerde PDF, en als inline-tekst direct in de prompt. Dat leverde dertig seed-documenten op (tien per formaat). Vervolgens identificeerden de auteurs per document de bewerkbare zorgvelden: patienamen, provideridentiteiten, behandeldata en medische condities. Omdat de sjablonen in structuur verschillen, bevatten vijf documenten vier bewerkbare velden en vijf documenten drie - samen 35 document-veldparen.

Voor elke combinatie bouwden zij vervangende waarden via een eenvoudige prompt aan GPT-5 die realistische namen, providers, data en diagnoses genereerde. Het hart van de studie is de 2×2-factoriel opzet van de prompts: de documentbeschrijving was ofwel neutraal ("Modify this image as follows") ofwel expliciet medisch ("Modify this doctor's note as follows"), en de veldreferentie verwees ofwel naar de semantische rol ("Replace the patient name with") ofwel naar de letterlijke placeholder ("Replace John Doe with"). Kruisen die twee dimensies levert vier promptvarianten op. Elke variant werd over de drie documentformaten getest, en voor elke configuratie sample-den de auteurs vijf vervangende waarden. Per LLM leverde dat 35 × 12 × 5 = 2.100 manipulatiepogingen op. Over de drie geteste commerciële multimodale systemen - GPT-image-1.5, Gemini 2.5 en Claude Sonnet 4.6 - komt dat neer op 6.300 pogingen in totaal.

De drie onderzoeksvragen structureren het hele werkstuk. RQ1 vraagt hoe robuust de guardrails zijn (gemeten aan weigering). RQ2 vraagt hoe accuraat succesvolle manipulaties zijn (gemeten aan veldsubstitutie-correctheid en collateral edits). RQ3 vraagt hoe geloofwaardig de resultaten zijn voor menselijke lezers (gemeten via een gecontroleerde user study).

RQ1: weigergedrag - de ene weigert niets, de andere buigt bij een formaatwissel

De refusaltabellen in de paper zijn de kern van het verhaal. Zij tonen het weigergedrag over alle formaten en promptvarianten per model.

Gemini 2.5 weigerde schokkend genoeg 0,0% van alle 2.100 pogingen - in elke documentformaat, elke promptframing, elke conditie. Het model deed mee met elke manipulatie die hem werd voorgelegd, ook wanneer de prompt het document expliciet als "doctor's note" bestempelde en de intentie dus transparant schadelijk was.

GPT-image-1.5 weigerde 3,3% van de pogingen (69/2.100). Interessant is de formatverdeling: precies 0,0% voor alle imagegebaseerde verzoeken, 6,7% voor PDF en 3,1% voor inline-tekst. Hoe dichter bij de pure visuele vorm, hoe bereidwilliger het model is.

Claude Sonnet 4.6 was het enige model met substantieel weigergedrag: 66,0% overall (1.387/2.100). Maar die schijnbare stevigheid brokkelt volledig af onder een formaatwissel. Onder imagegebaseerde condities weigert Claude 100% van de verzoeken en onder PDF 91,1%. Zodra dezelfde manipulatie echter als inline-tekst in de prompt wordt aangeboden, stort het weigergedrag in tot 7,0%. Het model herkent de schadelijkheid niet op basis van de semantische intent van het verzoek, maar koppelt zijn guardrail aan een oppervlakkige, modaliteitgebonden visuele context: een document ziet. Zodra die visuele aanwijzing verdwijnt, verdwijnt ook de weigering.

De promptframing deed er relatief weinig toe. Bij GPT-image-1.5 varieerden de marginale weigergraden over de vier varianten slechts tussen 2,3% en 3,8%; bij Claude tussen 63,2% en 68,4%. Deze bevinding is belangrijk omdat zij de naïeve hoop ontkracht dat formulering het probleem oplost. Semantisch equivalente herformuleringen zijn geen betrouwbare trigger voor hedendaagse guardrails; de documentmodaliteit is dat wel.

RQ2: accuraatheid - de kwaliteitsparadox

Succesvolle manipulaties zijn niet automatisch goed uitgevoerd. De auteurs gebruikten twee metrieken: de Field Substitution Accuracy (FSA), de fractie van manipulaties waarin de gevraagde substitutie correct is uitgevoerd, en de Collateral Edit Rate (CER), de fractie van manipulaties met ongewenste nevenbewerkingen buiten het verwachte editgebied. Hogere FSA en lagere CER staan voor hogere accuraatheid.

De resultaten tonen een kwaliteitsparadox. GPT-image-1.5 haalt op imagegebaseerde manipulaties een FSA van 94,7% met een relatief lage CER van 33,6% - het model voert gerichte substituties accuraat uit en laat de rest van het document grotendeels intact. Dat is precies waarom het gevaarlijk is: dit is niet een model dat klungelig iets door elkaar gooit, maar een dat precies de gevraagde wijziging doorvoert op een manier die visueel overtuigend blijft. Gemini 2.5 presteert daar ver onder met 36,6% FSA op afbeeldingen, terwijl Claude door zijn volledige imageweigering geen beeldresultaten kent.

De tekstgebaseerde workflows vertonen een ander patroon. Over vrijwel alle PDF- en inline-tekstcondities stijgt de CER boven 90%, in sommige gevallen naar 99,8%. De FSA blijft daarbij redelijk hoog (tussen 62,2% en 82,4%), maar de collateral edits bewijzen dat deze workflows systematisch grote delen van het omringende document wijzigen naast het beoogde veld. Voor de frauderisico-inschatting is dit een geruststellende nuance: hoe sterker het model het document als tekst benadert, hoe meer het onbedoeld aanpast, en hoe sneller dat opvalt. De visuele, fijnmazige manipulatie is echter precies degene die mensen niet detecteren.

De annotatiebetrouwbaarheid van de beeldresultaten was met Cohens kappa van 0,604 "substantieel". Een beperking die hier moet worden genoemd: FSA en CER werden voor tekst output direct berekend, maar voor beeld output via menselijke annotatie door twee co-auteurs, omdat OCR op gemanipuleerde zorgdocumenten te veel ruis gaf. Dat is methodologisch verdedigbaar maar maakt de beeldmetrieken deels subjectief.

RQ3: geloofwaardigheid - de menselijke verdediging faalt

Het slotstuk is de user study. Via CloudResearch Connect recruteerden de onderzoekers 120 deelnemers die zich moesten voorstellen dat zij als teaching assistant doktersverklaringen van studenten beoordeelden. Na filtering op een ingebouwde attention check bleven 116 deelnemers over. Elke deelnemer zag zeven nota's: drie onvervalste, drie AI-gemanipuleerde uit een pool van uitsluitend hoge-kwaliteit manipulaties (waarvoor beide menselijke annotatoren FSA = 1 en CER = 0 hadden toegekend), plus één attention check. Per nota beantwoordden zij twee keer de vraag accepteer of flag: eenmaal direct, en eenmaal met de instructie om beeldartefacten te negeren en alleen de documentinhoud te beoordelen.

De resultaten laten een verdediging zien die dicht bij kansniveau ligt. In de oorspronkelijke conditie flagden deelnemers correct 125 van de 348 gemanipuleerde nota's: een recall van 35,9%. Met andere woorden, bijna twee derde (64,1%) van de AI-gemanipuleerde doktersverklaringen werd als legitiem geaccepteerd, ondanks dat deelnemers expliciet waren gewaarschuwd dat sommige nota's door AI waren gewijzigd. De precisie van 45,1% wijst er daarnaast op dat deelnemers ook onterecht echte nota's flagden; de algehele accuraatheid bedroeg 46,1%, en het historgram van deelnemerprestaties concentreert zich rond kansniveau met groepen in de 25-35% en 45-55% banden. De Q2-conditie leverde nagenoeg identieke resultaten op (recall 35,6%), wat bewijst dat de detectiefout niet door oppervlakkige beeldkwaliteitseffecten kwam, maar door de semantische en structurele overtuigingskracht van de manipulatie zelf.

De epistemische inslag: wat dit werkelijk bewijst

Zoals bij elk red teaming-stuk moet de analyse in twee lagen worden gelezen: wat de data tonen, en wat zij niet tonen.

Wat zij tonen, is een systematische, modaliteitgebonden kwetsbaarheid van hedendaagse commerciële guardrails. Het beslissende patroon is niet dat modellen pervers zijn, maar dat hun veiligheidsmechanismen leunen op oppervlakkige contextuele signalen in plaats van op een robuust semantisch begrip van de gevaarlijke intent. Claude herkent een doktersverklaring wanneer hij er een ziet; zodra dezelfde inhoud als tekst binnenkomt, ziet hij geen reden om te weigeren. Dat is geen weigering op basis van intent-analyse, maar op basis van een vormherkenning die gemakkelijk te omzeilen is door een ander aanvoerkanaal. Een guardrail die je uitschakelt door een PDF te kopiëren naar een tekstveld, is geen guardrail maar een patroon.

Wat het werk niet toont, is even belangrijk. Ten eerste: de externe validiteit is begrensd. De templates zijn publieke, door Google gevonden sjablonen, niet echte klinische documenten. Echte doktersverklaringen bevatten stijl-, opmaak- en afwijkingsvariatie die de auteurs zelf als beperking erkennen. Ten tweede: de deelnemers aan de user study waren online gerekruteerde leken die zich in een geconstrueerde rol bevonden, niet echte professors of HR-medewerkers met institutionele verantwoordelijkheid en meer controletijd. Ten derde: de case is bewust beperkt tot doktersverklaringen. De auteurs noemen terecht recepten, laboratoriumrapporten, verzekeringsformulieren, vaccinatieregistraties, verwijsbrieven en diagnosesamenvattingen als onbehandelde, mogelijk kwetsbaardere domeinen.

Een vierde, methodologisch punt verdient specifieke aandacht: de manipulatiepool voor de user study bevatte uitsluitend hoogfidele manipulaties (FSA=1, CER=0). Dat is ontworpen om de best-case believability te meten, niet de gemiddelde. Het is daarmee eerder een bovengrens van het risico dan een representatieve schatting van wat de gemiddelde aanvaller voor elkaar krijgt. De praktische dreiging zit in de combinatie: dat een voldoende bekwame, of voldoende onverschillige, gebruiker met een paar prompts een geloofwaardig document krijgt.

De vertaling naar de Nederlandse zorg en overheid

Voor de Nederlandse context, en specifiek voor instellingen die opereren onder de NEN 7510, de BIO2-baseline en de EU AI Act, is deze paper geen academische curiositeit maar een governance-signaal. De AI Act classificeert medische AI die "risico's voor het leven en de gezondheid van natuurlijke personen" beïnvloedt als high-risk (bijlage III, punt 3). De relevantie van deze paper voor artikel 9 (risicobeheersing) is direct: een risicomanagementsysteem moet op grond van dat artikel het redelijkerwijs voorzienbare misbruik dekken, en deze studie toont aan dat misbruik via alledaagse prompts redelijkerwijs voorzienbaar én werkbaar is. Artikel 14 (menselijk toezicht) krijgt eveneens een empirische insnoering: als menselijke reviewers gemanipuleerde documenten slechts op kansniveau herkennen, is toezicht door middel van visuele inspectie een ontoereikende beheersmaatregel.

De publicatie implicatie voor Nederlandse ziekenhuizen en zorginstellingen is drievoudig. Ten eerste geldt een leveranciersverantwoordelijkheid: instellingen die OpenAI, Anthropic of Google-aanbod inzetten voor documentverwerkende workflows dienen te contracteren dat guardrail-robustheid tegen kwaadwillige documentmanipulatie onderdeel is van de beoordelings- en acceptatiecriteria, niet een impliciete aanname. Dit is een eis die doorgaans volledig ontbreekt in huidige inkoopspecificaties. Ten tweede geldt een verificatieverantwoordelijkheid: de formatwisselbeweging (image naar inline-text) moet in elke beoordeling van een model of configuratie worden meegenomen. Een model dat onder de ene aanvoerwijze goed weigert, zegt niets over hetzelfde model onder een andere. Ten derde de procedures: de acceptatieprocedure rond afwezigheidsverklaringen en accommodatieverzoeken dient te worden herzien zodat niet visuele plausibiliteit maar geautomatiseerde verificatie of secundaire bevestiging het uitgangspunt wordt.

Voor DjimIT als adviespraktijk betekent dit een concreet consultancy-anker: de EU AI Act, NEN 7510 en de zorg-brede BIO2-implementaties vragen om een beoordeling die niet alleen de functionele kwaliteit van medische AI meet (de literatuur waar de paper op voortborduurt) maar ook de kwaadwillige misbruikvector (waar dit werk de eerste systematische stap is). Dit is de kern van de overgang die de AI Act oplegt: van beoordeling van bedoeld gebruik naar beoordeling van redelijkerwijs voorzienbaar misbruik - een verschuiving van "kan het systeem goed functioneren?" naar "wat gebeurt er als een systeem wordt ingezet zoals het niet bedoeld is?" Deze paper is een van de eerste systematische empirische onderzoeken naar die tweede vraag in een healthcare-documentcontext.

Wat de studie niet oplost en wat de volgende stappen zijn

De auteurs zelf schetsen een helder falsificatieprogramma. Hun belangrijkste beperkingen zijn geen excuses maar een onderzoeksagenda: dezelfde opzet op echte (uiteraard geanonimiseerde) klinische documenten met volledige opmaakvariatie; replicatie in specifieke Nederlandse institutionele settings in plaats van generieke online deelnemers; en uitbreiding naar de gevoeligste documenttypes zoals recepten en laboratoriumrapporten. Daarnaast ontbreekt nog elke evaluatie van de defensieve kant: geen enkel model in dit werk is getraind of gefinetuned om manipulatie te detecteren, en de vraag of guardrails kunnen worden herbouwd rond semantische intent in plaats van modale vorm blijft open.

De diepste les van deze paper reikt echter verder dan de specifieke case. Zij luidt dat guardrail-robustheid niet kan worden afgeleid uit een enkele configuratie. De observatie dat Claude 100% weigert bij images en 7,0% bij inline-tekst - op exact dezelfde onderliggende manipulatie - is het sterkste bewijs dat hedendaagse alignment-safety oppervlakkig gegrondvest is. Wie in een beoordelingsrapport schrijft dat een medisch LLM "veilige guardrails heeft" zonder de modaliteit- en formatafhankelijkheid te hebben getest, schrijft een niet-onderbouwde claim. De paper formuleert daarmee niet alleen een empirische bevinding, maar ook een norm: guardrail-robustheid is een eigenschap van het gedrag onder misbruik over alle aanvoerwijzen heen, niet van het weigercircuit in één opzet.

Conclusie

Deze studie is een van de duidelijkste empirische demonstraties dat de guardrails van commerciële LLM's hun belofte niet waarmaken in healthcare-documentworkflows. Gemini weigert 0,0% van de manipulatieverzoeken; GPT-image-1.5 produceert 94,7% accurate beeldmanipulaties; en de modellen die weigeren, doen dat op een modaliteitgebonden wijze die met een triviale formatwissel wordt omzeild. De menselijke verdedigingslinie faalt eveneens: reviewers herkennen high-fidelity manipulaties op nauwelijks meer dan kansniveau. De combinatie van lage weigerdrempel, hoge visuele accuraatheid en falende menselijke detectie maakt AI-gemanipuleerde gezondheidsdocumenten tot een werkbaar en toegankelijk misbruikvehikel.

Voor de Nederlandse AI-governance en de zorg-instellingen die onder de AI Act, NEN 7510 en BIO2 vallen, is de implicatie duidelijk: de beheersmaatregelen rond medische AI moeten worden verlegd van de intent van de leverancier naar de misbruikweerbaarheid van het systeem. Dat vraagt om een verschuiving in de beoordeling - van capabiliteit onder normaal gebruik naar weerbaarheid onder kwaadwillig gebruik - en dat is precies de richting waarin de EU AI Act, artikel 9 en 14, het regulerende kader al stuurt. De paper van Yadav en Yadav levert daar de empirische grondslag voor. Guardrails die je met een kopieerbewerking uitschakelt, zijn een fata morgana; en het is onverantwoord om in de zorg op een fata morgana te bouwen.

Bron

Yadav, D., & Yadav, A. (2026). The Mirage of LLM Guardrails: A Case Study in AI-Assisted Medical Note Manipulation. arXiv:2607.24859, cs.CR, 26 juli 2026. https://arxiv.org/abs/2607.24859