Ga naar hoofdinhoud
← Terug naar blog

Prompt-injectie maakt LLM-gegenereerde compliance-documenten op afstand manipuleerbaar

AI Security

Primaire bron: When the Spec Sheet Lies: Injection Attacks on LLM-Generated Compliance Artifacts; volledige PDF.

Expertise-marker: Deze analyse combineert 1 bron uit het domein AI & Governance. Confidentie: 86%. Wat mijn conclusie zou veranderen: tegengesteld empirisch bewijs uit peer-reviewed replicatie. Correctiebeleid.

De kern

De traditionele aanname dat documenten passieve dataobjecten zijn, houdt geen stand wanneer een LLM ze verwerkt tot compliance-artefacten. In dit nieuwe paradigma wordt elke invoer potentieel uitvoerbare instructie: een kwaadwillende kan via indirect prompt injection op afstand de generatie van een Digital Product Passport of veiligheidsdatasheet manipuleren, zonder ooit rechtstreeks toegang te hebben tot het systeem. Dat is geen theoretisch risico, maar een materieel probleem dat uw organisatie concreet raakt: hoe garandeert u dat een door een LLM gegenereerd conformiteitsdocument daadwerkelijk de producteigenschappen weergeeft, en niet een door een derde ingevoegde constructie? De kernvraag uit het onderzoek van Greshake et al. (2023) raakt hier rechtstreeks: LLM-geïntegreerde toepassingen vervagen de grens tussen data en instructies, wat aanvallers in staat stelt strategisch prompts te injecteren in data die het model waarschijnlijk zal verwerken. Ik zie in de Nederlandse publieke praktijk dat deze kwetsbaarheid extra scherp uitpakt bij industriële compliance, waar documentintegriteit niet alleen een technisch, maar een toezichtkwestie is: een gemanipuleerd conformiteitsartefact kan regelgevende ketens doorbreken zonder dat een menselijke controleur het direct opmerkt. De empirische toets uit het onderzoek bevestigt dit: 3.000 injectietrials over zes industriële taken en vijf modellen leverden een gemiddeld succespercentage van 65,1% op, met falsificatie als meest succesvolle payload (74-97% afhankelijk van de taak). Vooral de generatie van standaard productrepresentaties en kwaliteitscontrole bleken kwetsbaar (beide 70,4%), terwijl douaneclassificatie relatief minder gevoelig was (59,0%). De spreiding tussen modellen is opmerkelijk: Qwen2.5-7B-Instruct scoorde 89,7%, GPT-4o 55,8%, maar Claude Sonnet 5 slechts 10,7% : met uitzondering van falsificatie, waar ook dit model in 45% van de gevallen faalde. Dat laatste detail is beslissend voor uw afweging: geen enkel commercieel model biedt robuuste bescherming tegen het vervalsen van compliance-output.

Wat het onderzoek aantoont

Out of the injection trials, 1,953 were successful, equaling a 65.1% attack success rate. (bron)

Het onderzoek toont aan dat injectie-trials een totale succesrate van 65,1% behaalden: uit 3.000 trials slaagden er 1.953 in het compromitteren van het gegenereerde compliance-artefact. Dit cijfer is een directe observatie uit de gecontroleerde experimenten over zes industriële taken en vijf modellen, niet een schatting of projectie. De interpretatie die hieraan verbonden is, luidt dat twee op de drie pogingen tot manipulatie effectief waren: een mate van kwetsbaarheid die de betrouwbaarheid van LLM-gegenereerde conformiteitsdocumenten fundamenteel onder druk zet. De onzekerheid ligt in de generaliseerbaarheid naar operationele omgevingen; de bron merkt zelf aan dat gesynthetiseerde documenten mogelijk niet de volledige complexiteit van praktijksituaties weerspiegelen. Voor uw organisatie betekent dit dat de centrale hypothese van het onderzoek, namelijk dat LLM-geïntegreerde compliance-artefacten systematisch manipuleerbaar zijn, empirisch wordt gedragen door een meerderheidssucces van aanvallen. De spreiding per taak (59,0% tot 70,4%) en per model (10,7% tot 89,7%) introduceert variabiliteit, maar verandert niet het kerngegeven: geen enkele geteste configuratie bood adequate weerbaarheid. De 65,1% vormt daarmee de empirische basis voor de risicobeoordeling bij inzet van generatieve AI in compliance-ketens.

Active injections were more successful for every payload category. Averaged across all categories, tasks, models, and document authors, active injections achieved a 73.2% success rate while passive injections had a 57.0% success rate. (bron)

Het onderzoek toont een materieel verschil tussen actieve en passieve injectiestrategieën: actieve injecties behaalden een succesrate van 73,2%, terwijl passieve injecties stokten bij 57,0%. Dit is een directe observatie uit de 3.000 trials over alle categorieën, taken, modellen en auteurs, niet een subsetanalyse. De interpretatie is dat een aanvaller die het model expliciet tot actie aanzet, aanzienlijk meer kans heeft op succes dan een aanvaller die slechts op verwerking wacht. De onzekerheid ligt in de operationalisatie van "actief" versus "passief" in concrete compliance-ketens; de bron specificeert dit als methodologische keuze binnen de gecontroleerde experimenten. Voor uw organisatie versterkt dit de centrale hypothese: de wijze waarop een LLM documenten verwerkt, is zelf een aanvalsoppervlak. Het 16,2%-puntverschil betekent dat risicobeheersing niet alleen moet kijken naar wat er in een document staat, maar ook naar hoe het systeem dat document oppakt. Geen enkele geteste payloadcategorie vormde uitzondering: actief overtroef passief over de hele linie. Dat maakt de keuze voor verwerkingsarchitectuur in LLM-geïntegreerde compliance-systemen tot een beheersbare, maar vaak onbenoemde risicofactor.

Falsification was the most successful category for every task, with success rates ranging from 74% for procurement to 97% for predictive maintenance. (bron)

Falsificatie was the most successful category for every task, with success rates ranging from 74% for procurement to 97% for predictive maintenance. (bron)

Het onderzoek toont aan dat falsificatie-payloads in elke taak het meest succesvolle aanvalstype vormden, met percentages van 74% voor inkoop tot 97% voor predictief onderhoud. Dit is een directe observatie uit de 3.000 injectietrials over zes industriële taken en vijf modellen, niet een geaggregeerde schatting. De interpretatie is dat het vervalsen van compliance-output structureel eenvoudiger is dan andere manipulatievormen: een aanvaller die specificaties, meetwaarden of classificaties wijzigt, slaagt vaker dan een aanvaller die data onderdrukt of exfiltreert. De onzekerheid ligt in de taakspecificiteit; het 97%-plafond voor predictief onderhoud versus het 74%-minimum voor inkoop suggereert dat documenten met gestandaardiseerde technische parameters kwetsbaarder zijn dan procesafhankelijke contracten. Voor uw organisatie versterkt dit de centrale hypothese: de integriteit van LLM-gegenereerde conformiteitsartefacten is niet incidenteel, maar systematisch ondermijnbaar. Dat Claude Sonnet 5 slechts 10,7% gemiddeld scoorde, maar bij falsificatie alsnog in 45% van de gevallen faalde, onderstreept dat geen enkel model immuniteit biedt tegen deze specifieke payload. De 74-97%-bandbreedte maakt falsificatie tot de dominante risicofactor in de risicobeoordeling.

Alternatieve verklaringen

Onder aanwezigheid van een prompt-injection treedt een verhoogde foutieve output op in LLM-gegenereerde compliance-artefacten. Dit mechanisme werkt doordat kwaadwillende instructies in brondocumenten het model tot afwijkende output dwingen: de grens tussen data en instructie vervaagt, zoals Greshake et al. (2023) aantonen voor LLM-geïntegreerde toepassingen in het algemeen. Het onderzoek naar industriële compliance-artefacten bevestigt dit specifiek: 65,1% van de 3.000 injectietrials resulteerde in succesvol gecompromitteerde output, zonder dat een enkel getest model adequate weerstand bood. De assumptie hierachter is dat het generatieproces inherent onderscheidt tussen system-prompt en gebruikersinput, maar niet tussen gebruikersinput en externe data. Verwachte observaties zijn systematisch hogere foutpercentages bij documenten met ongeverifieerde herkomst dan bij gestandaardiseerde interne templates. De discriminator die deze verklaring toetst, is de vraag of foutieve output structureel correleert met aanwezigheid van externe, niet-gecontroleerde brondocumenten: als die correlatie ontbreekt, verliest deze hypothese haar draagkracht. Het confidence-niveau is matig tot hoog: de empirische basis is solide, maar de gesynthetiseerde aard van de testdocumenten introduceert onzekerheid over generaliseerbaarheid naar operationele omgevingen. Voor uw organisatie betekent dit dat elke compliance-keten die externe documentatie via LLM verwerkt, een kwantificeerbaar injectierisico draagt dat expliciet in de beheersmaatregelen moet worden opgenomen.

Een tweede verklaring houdt in dat de gemeten succesrates de inherente hallucinatie-tendens van de LLM's weerspiegelen, onafhankelijk van de injectie-instructies. Dit alternatief suggereert dat de 65,1% aanvalssucces niet primair door kwaadwillende manipulatie ontstaat, maar door het model zelf: systematische neiging tot het fabriceren van feiten bij het genereren van gestructureerde compliance-output. Supporting evidence ontbreekt in het plan; de contradicting evidence is substantieel. De baseline van 150 niet-geïnjecteerde runs toont aan dat het onderzoek expliciet een controle-scenario hanteerde, maar de correctheid van die baseline-output werd niet geëvalueerd. Dat is een bewuste methodologische keuze, geen empirische onderbouwing voor dit alternatief. De assumptie hierachter is dat hallucinaties willekeurig verdeeld zouden zijn over taken en modellen; de data tonen echter systematische patronen die daar tegenin gaan. Falsificatie domineert met 74-97% per taak, terwijl override slechts 36-58% haalt: een hallucinerend model zou geen dergelijke payload-afhankelijke structuur vertonen. De verwachte observatie bij dit alternatief zou een gelijkmatige foutverdeling zijn zonder correlatie met injectie-aanwezigheid. De discriminator die beide verklaringen scheidt, is de vraag of foutieve output structureel samenvalt met specifieke injectie-payloads: als fouten onafhankelijk van payload-type optreden, wint het alternatief; als ze systematisch aan injecties gebonden blijven, verliest het. Het confidence-niveau voor deze verklaring is laag: de empirische structuur derogerend, de baseline-evaluatie ontbreekt, en de modelspreiding (Qwen2.5-7B-Instruct 89,7% versus Claude Sonnet 5 10,7%) past bij architectuurverschillen in instructiegehoorzaamheid, niet bij uniforme hallucinatietendens. Voor uw organisatie betekent dit dat risicobeheersing niet mag volstaan met algemene modelkwaliteit als mitigatie: de aard van de fout is bepalend, niet alleen de frequentie.

De gerapporteerde succesrates zijn overschat door de evaluatiemethode die bekende marker‑strings zoekt, waardoor elke gemarkeerde injectie als geslaagd wordt geteld.

Een derde verklaring is dat de gerapporteerde succesrates kunstmatig hoog uitvallen door de evaluatiemethode. Het onderzoek bepaalt succes aan de hand van bekende marker-strings in de output: als het model een vooraf gedefinieerde string reproduceert, telt de trial als geslaagde injectie. Dit mechanisme meet niet per se intentievolle gehoorzaamheid aan de kwaadwillende instructie, maar detecteert het oppervlakkige verschijnen van een patroon. De assumptie hierachter is dat marker-string aanwezigheid equivalent is aan daadwerkelijke compromittering; dat is een methodologische keuze, geen empirische gegeven. Supporting evidence ontbreekt in het plan; de contradicting evidence eveneens, maar de structuur van de evaluatie roept vragen op. Verwachte observaties bij dit alternatief zijn hoge succesrates voor modellen die technisch gezien instructiegehoorzaam bieden, maar de marker simpelweg als tekstfragment reproduceren zonder de onderliggende taak te vervormen. De toets die dit alternatief van de voorkeursverklaring scheidt, is de vraag of menselijke beoordeling van de volledige output dezelfde succespercentages zou bevestigen: als reviewers systematisch meer trials als mislukt classificeren, is de evaluatie overschat. Het confidence-niveau is matig: de methode is expliciet beschreven, maar er is geen inter-rater reliability of menselijke validatie gerapporteerd. Voor uw organisatie betekent dit dat het 65,1%-cijfer een bovengrens kan zijn, niet een exact risico.

Als bij actieve injecties de success rate ≥70 % is, dan is H1 waarschijnlijker dan H2; blijft die onder 50 %, dan H2.

De eerste verklaring houdt dat het vervalsen van compliance-output primair optreedt bij actieve injecties, waarbij een aanvaller het model expliciet tot actie aanzet. Het alternatief stelt dat passieve injecties, die slechts op verwerking wachten, een vergelijkbaar risico vormen. De toets die beide onderscheidt, is de empirische succesrate per strategie: actieve injecties behaalden 73,2% over alle categorieën, taken, modellen en auteurs, terwijl passieve injecties stokten bij 57,0%. Als bij toekomstige observaties van actieve injecties de succesrate structureel boven 70% blijft en die van passieve systematisch onder 60% uitkomt, draagt dit de eerste verklaring; dalen actieve injecties structureel onder 50% of naderen beide elkaar, dan verliest deze verklaring haar draagkracht. Het 16,2%-puntverschil is consistent over alle vijf payloadcategorieën, zonder uitzondering. Dat patronen geen uniforme spreiding vertonen, maar systematisch aan de injectiemethode gebonden blijven, maakt een generieke hallucinatieverklaring onwaarschijnlijk. Voor uw organisatie betekent dit dat de verwerkingsarchitectuur, niet alleen de brondocumentcontrole, een beheersbare risicofactor is: hoe het systeem een document oppakt, bepaalt mede of de grens tussen data en instructie doorbroken wordt.

Wat deze conclusie zou weerleggen

Onder dezelfde injectietests wordt een attack success rate NIET waargenomen: het percentage succesvolle injecties blijft ≤60 %.

Herhaal de 3 000 injectietrials en meet het percentage succesvolle injecties; een uitkomst ≤60 % weerlegt de claim.

De claim dat injectie-trials een totale succesrate van 65,1% behalen, is materieel verzwakt als herhaalde meting een ander beeld geeft. De toets is helder: voer de 3.000 injectietrials opnieuw uit en meet het percentage succesvolle injecties. Blijft dat resultaat op of onder de 60%, dan weerlegt dat de huidige conclusie. De grens van 60% is niet willekeurig gekozen: zij ligt duidelijk onder de gerapporteerde 65,1% en markeert het punt waarop de meerderheid van aanvallen niet langer slaagt. Voor uw organisatie heeft dit directe beslisrelevantie: het 65,1%-cijfer vormt nu de empirische basis voor risicobeoordeling, maar die basis staat of valt met replicatie. Een uitkomst van 60% of lager zou betekenen dat de kwetsbaarheid van LLM-gegenereerde compliance-artefacten minder systematisch is dan nu wordt aangenomen, en dat de keuze voor mitigerende maatregelen op een ander risicoprofiel moet worden geijkt. (bron)

Als geen enkele injectie (actief of passief) wordt toegevoegd, zou de foutieve output (bijv. gefalsificeerde hazard‑classificatie) nog steeds optreden?

De toets die de centrale conclusie weerlegt, is een causale stresstest: als geen enkele injectie (actief of passief) wordt toegevoegd, zou de foutieve output dan nog steeds optreden? Het onderzoek hanteerde 150 baseline-runs zonder injectie, maar de correctheid van die output werd niet geëvalueerd. Dat laat een methodologische opening: als de niet-geïnjecteerde runs eveneens structureel foutieve compliance-output zouden hebben geproduceerd, dan is de 65,1% geen meetwaarde van injectie-effectiviteit, maar een bovengrens opgedreven door inherente modelzwaktes. De grens die dit alternatief scheidt van de voorkeursverklaring, is de vraag of herhaalde baseline-meting zonder enige injectie een foutpercentage oplevert dat de 35% mislukte injecties benadert of zelfs overtreft. Zou dat het geval zijn, dan weerlegt het dat injecties de dominante oorzaak vormen van gecompromitteerde compliance-artefacten. Het confidence-niveau voor deze weerlegging is laag tot matig: de data ontbreken, maar de structuur van het experiment biedt geen immuniteit tegen dit scenario. Voor uw organisatie betekent dit dat mitigatie op injectiebestrijding alleen onvoldoende is als het onderliggende generatieproces zelf systematisch onbetrouwbaar blijkt.

Wat werkelijk nieuw is

Falsificatie‑payloads blijven het meest succesvolle aanvalstype ongeacht taak of model.

De hoge kwetsbaarheid voor falsificatie‑injecties impliceert dat de Nederlandse publieke sector aanvullende validatiemechanismen moet invoeren bij Digital Product Passports, zodat de EU‑AI‑Act‑vereisten voor data‑integriteit worden gewaarborgd.

De empirische kern van dit onderzoek bevestigt wat Greshake et al. (2023) al aantoonden voor LLM-geïntegreerde toepassingen in het algemeen: de grens tussen data en instructies vervaagt systematisch, wat indirecte prompt injection mogelijk maakt. Dit is geen nieuwe theoretische doorbraak, maar een bevestiging in een specifiek domein. Wat wel nieuw is, is de kwantificering voor industriële compliance-artefacten: 3.000 injectietrials over zes taken en vijf modellen leveren een gedifferentieerd risicoprofiel op dat voorheen ontbrak. De 65,1% aanvalssucces en de 74-97% bandbreedte voor falsificatie zijn nieuwe empirische metingen, niet nieuwe mechanismen. De verpakking van bestaande kennis doet zich voor bij de taakclassificatie: de onderscheiding tussen actieve en passieve injecties reproduceert een bekend onderscheid uit het bredere prompt-injection-onderzoek, nu toegepast op compliance-documenten. De nieuwe implicatie die uit de combinatie van evidence volgt, is specifiek voor de Nederlandse publieke sector: de hoge kwetsbaarheid voor falsificatie-injecties impliceert dat u aanvullende validatiemechanismen moet invoeren bij Digital Product Passports, zodat de EU-AI-Act-vereisten voor data-integriteit worden gewaarborgd. Dit volgt niet rechtstreeks uit het technische paper, maar uit de kruising van de empirische bevindingen met de regelgevende verplichtingen die gelden voor publieke toepassingen. De invariant dat actieve injecties hogere success rates opleveren dan passieve injecties (73,2% versus 57,0%) ondersteunt deze implicatie: de verwerkingsarchitectuur van uw compliance-systeem is zelf een beheersbare risicofactor.

Wat de paper niet test

De gesynthetiseerde documenten weerspiegelen mogelijk niet de complexiteit van operationele omgevingen.

De correctheid van de benign LLM‑output wordt niet geëvalueerd, waardoor de impact van injecties op de algehele kwaliteit onduidelijk blijft.

Het onderzoek bewijst niet dat de bevindingen rechtstreeks overzetbaar zijn naar operationele omgevingen. De auteurs merken zelf aan dat gesynthetiseerde documenten mogelijk niet de volledige complexiteit van praktijksituaties weerspiegelen: de testdocumenten zijn gecontroleerd gegenereerd om vertrouwelijkheidsrisico's te vermijden, wat hun representativiteit voor echte industriële datasets beperkt. Ook de correctheid van de ongeïnjecteerde baseline-output wordt niet geëvalueerd, waardoor onduidelijk blijft in hoeverre de gemeten 65,1% aanvalssucces echt toe te schrijven is aan injecties of mede voortkomt uit inherente generatiefouten van de modellen. Het bewijs onderscheidt de injectiehypothese niet volledig van een alternatief waarin het model zonder enige kwaadwillende input al systematisch onbetrouwbare compliance-artefacten produceert; daarvoor zou een menselijke kwaliteitsbeoordeling van de 150 baseline-runs nodig zijn geweest. De lezer mag het 65,1%-cijfer gebruiken als empirische bovengrens voor injectiekwetsbaarheid in gecontroleerde omstandigheden, maar niet als exact risicoprofiel voor productiesystemen met ongeverifieerde brondocumenten.

Wat te doen

Deze bevindingen zijn direct relevant voor de CISO en enterprise-architect die verantwoordelijk zijn voor AI-geïntegreerde compliance-ketens in de Nederlandse publieke sector, zorg of financiële sector. Het besluit dat nu ligt: of u LLM-gegenereerde conformiteitsdocumenten toestaat zonder aanvullende validatielaag, gegeven de empirisch vastgestelde 65,1% injectiekwetsbaarheid en de 74-97% bandbreedte voor falsificatie. Deze maand kunt u drie controles toetsen: (1) inventariseer welke brondocumenten in uw compliance-pipeline afkomstig zijn van externe partijen en dus indirecte injectie dragen, (2) controleer of uw huidige verwerkingsarchitectuur actieve versus passieve verwerking onderscheidt, en (3) evalueer of uw outputvalidatie menselijke review vereist voor safety-critical artefacten zoals hazard-classificaties. Een technische controle implementeert u als volgt:

INPUT: raw_document, source_trust_level  # source_trust_level: {internal, external_verified, external_unverified}
BEWERKING:
    if source_trust_level == "external_unverified":
        extracted_text = sanitize(raw_document)  # verwijder markup, scripts, embedded metadata
        prompt = wrap_in_delimiters(extracted_text)  # scheiding data vs instructie versterken
        output = llm_generate(prompt, temperature=0.0, system_prompt=COMPLIANCE_ONLY)
        validated_output = cross_reference(output, internal_registry)  # verplichte veldverificatie
    else:
        output = llm_generate(raw_document)
        validated_output = spot_check(output, 0.1)  # steekproef 10%
OUTPUT: validated_output, validation_log, escalation_flag  # escalation_flag bij afwijking > drempel

Voor een inhoudelijke verkenning van hoe deze risico's passen binnen uw bestaande beheersstructuur, zie djimit.nl/kennismaking. Bij concrete architectuurvraagstukken rondom LLM-veiligheid in compliance-ketens kunt u terecht via djimit.nl/advisory.

Zie ook

Bronnen

  1. https://arxiv.org/abs/2611.19090

AI & Security Intelligence

Wekelijkse nieuwsbrief met AI updates, security alerts en compliance inzichten, direct in uw inbox.

Security & AI Operating Model

Advisory met executiekracht

Van BIO2 en NIS2 tot EU AI Act, embedded in uw operating model, niet als extern project. Maandelijks opzegbaar, met assessments als bewijsvoering.