Attacks on AI Agent Systems: prompt injection in single- en multi-agent

Primaire bron: Attacks on AI Agent Systems: prompt injection in single- en multi-agent; volledige PDF.

Lead: de centrale verschuiving

De overstap van single-agent naar A2A-gebaseerde multi-agent architecturen verandert het aanvalsoppervlak aanzienlijk: niet meer een enkel entrypoint, maar een gedistribueerd netwerk zonder centrale orchestrator dat prompt infection mogelijk maakt. Mijn centrale onderzoeksvraag is hoe dit materieel verschuift: van directe prompt injection tegen één agent (system-prompt leakage, restricted-topic bypass, ongeautoriseerde file-system editing, misbruik van online search) naar een propagatiemechanisme waarbij één geïnfecteerde agent het hele netwerk compromitteert via ongevalideerde inter-agent berichten. De paper van Qiao et al. introduceert 'Agent Card Spoofing' als protocol-specifieke aanval voor A2A, waarbij een kwaadwillende agent zich voordoet als legitieme dienstverlener. Ik constateer dat dit een structureel ander probleem is dan single-agent defenses adresseren: zonder centrale validatie is er geen vertrouwensgrens die externe input onderscheidt van interne communicatie. Dit raakt direct aan de AI Act-eis van menselijk toezicht (art. 14 en 15, EUR-Lex: https://eur-lex.europa.eu/legal-content/NL/TXT/?uri=CELEX:32024R1689), die betekenisvol toezicht vereist op besluitvorming: een autonoom multi-agent systeem waarvan de interne communicatie niet gevalideerd wordt, kan hieraan niet voldoen. De exploratieve aard van de studie (geen formele threat-model, geen harde kwantitatieve success rates) beperkt de generaliseerbaarheid, maar maakt de kwetsbaarheidscategorie niet minder urgent voor publiek-sector-afwegingen. Bron: https://arxiv.org/abs/2610.12524

Claim C1

Prompt‑injectie kan system‑prompt leakage veroorzaken in single‑agent LangChain‑ en LangGraph‑implementaties.

De paper toont dat een directe prompt‑injectie in een LangGraph‑chatbot leidt tot system‑prompt leakage, omzeilen van restricted topics en ongeautoriseerde file‑system editing. (bron).

Prompt-injectie in single-agent LangChain- en LangGraph-implementaties kan system-prompt leakage veroorzaken, zoals aangetoond door Qiao et al. (2026). De onderzoekers construeerden een basale LangGraph-chatbot (lokaal Ollama Mistral 0.9.5) en toonden aan dat directe prompt-injectie niet alleen system-prompt leakage bewerkstelligde, maar ook restricted-topic bypass, ongeautoriseerde file-system editing en misbruik van online-search-capabilities. Dit is observationele evidence uit een primaire bron (arXiv:2610.12524), geclassificeerd als exploratieve studie zonder formeel threat-model of harde kwantitatieve success rates. De interpretatie dat deze kwetsbaarheden structureel inherent zijn aan single-agent architecturen met ongevalideerde externe input wordt door de auteurs zelf als "key vulnerability" gelabeld, maar mist statistische validatie. De claim ondersteunt de centrale hypothese dat single-agent aanvalsvectoren de basis vormen waarvan multi-agent prompt infection afwijkt: waar directe injectie één agent compromitteert, verschaft de afwezigheid van centrale orchestratie in A2A-netwerken een propagatiemechanisme dat dezelfde kwetsbaarheidsset netwerkbreed laat escaleren. De onzekerheid ligt in de generaliseerbaarheid; de mechanismen zijn echter expliciet gedocumenteerd.

Claim C2

Agent Card Spoofing kan een A2A‑bericht vervalsen en daardoor alle agents in een netwerk compromitteren.

De paper introduceert de Agent Card Spoofing aanval die een A2A‑bericht manipuleert en daardoor cross‑agent infectie veroorzaakt. (bron).

Agent Card Spoofing manipuleert het A2A-protocol door een kwaadwillende agent een valse identiteit te laten aannemen in het Agent Card-verificatieproces. Deze aanval vervalst het A2A-bericht dat agents onderling uitwisselen, waardoor downstream agents de gecompromitteerde agent als legitiem accepteren en prompt-instructies overnemen. De mechanismische observatie is dat A2A geen centrale orchestrator hanteert die inter-agent berichten valideert; de interpretatie is dat dit een netwerkbrede infectie mogelijk maakt die single-agent defenses niet kunnen tegenhouden. De evidence strength is beperkt: Qiao et al. demonstreren het principe, maar leveren geen formeel threat-model of kwantitatieve success rates (arXiv:2610.12524). De onzekerheid ligt in de reproduceerbaarheid onder realistische fleet-omstandigheden. De claim versterkt de centrale hypothese dat de afwezigheid van een vertrouwensgrens in A2A het propagatiemechanisme vormt dat single-agent kwetsbaarheden netwerkbreed escaleert.

Claim C3

Ontbreken van centrale validatie maakt dat één geïnfecteerde agent het volledige netwerk kan besmetten.

De experimenten met vier testscenario's laten zien dat een geïnfecteerde agent in een A2A‑protocol zonder centrale orchestrator de rest van het netwerk kan besmetten. (bron).

Het ontbreken van centrale validatie in A2A-architecturen maakt netwerkbrede infectie mogelijk. Qiao et al. demonstreren dit met vier testscenario's waarin één geïnfecteerde agent via ongevalideerde inter-agent berichten het volledige netwerk compromitteert (bron). De observationele bevinding is dat downstream agents de geïnjecteerde instructies propageren zonder verificatie; de interpretatie is dat dit een fundamenteel propagatiemechanisme vormt dat afwezig is in gecentraliseerde orchestrator-modellen. Evidence strength is beperkt: de studie is exploratief, zonder formeel threat-model of kwantitatieve success rates. De onzekerheid betreft de reproduceerbaarheid in productie-fleets met heterogene agent-configuraties. De claim verankert de centrale hypothese: waar C1 een enkele agent compromitteert en C2 de spoofing-techniek toont, maakt C3 het propagatiemechanisme expliciet dat single-agent defenses irrelevant maakt voor A2A-netwerken. Dit raakt de vraag of inter-agent communicatie als vertrouwensgrens geïmplementeerd moet worden alvorens publieke inzet mogelijk is.

Hypothese H1

Onder een A2A‑implementatie zonder centrale validatie treedt prompt‑infectie op in het volledige agentnetwerk.

H1 stelt dat prompt-infectie het volledige agentnetwerk bereikt zonder centrale validatie. Het propagatiemechanisme is helder: één geïnfecteerde agent verspreidt gecompromitteerde instructies via ongevalideerde A2A-berichten, en downstream agents propageren deze zonder onderscheid tussen interne en externe input (bron). De supporting evidence beperkt zich tot E3 (de vier testscenario's), die het principe demonstreren maar geen statistische validatie bieden. Er is geen contradicting evidence in het plan; dit versterkt de structurele zorg, niet de empirische zekerheid. De kernassumptie is dat A2A's gedistribueerde architectuur inherente propagatie mogelijk maakt: zonder vertrouwensgrens is iedere inter-agent verbinding een potentieel infectiepad. Verwachte observaties zouden netwerkbrede flag-reveal of behavior hijacking omvatten, hoewel de paper geen harde success rates rapporteert. De discriminator tussen H1 en H2 ligt in de vraag of centrale orchestratie het probleem fundamenteel mitigeert of slechts verschuift: indien validatie op orchestrator-niveau inter-agent berichten kan onderscheiden van externe input, faalt de netwerkbrede infectie. Confidence is matig: het mechanisme is mechanistisch plausibel en observationeel gedemonstreerd, maar de exploratieve methodologie en afwezigheid van formeel threat-model beperken generaliseerbaarheid tot productie-fleets. Voor Nederlandse publieke-sector-afwegingen betekent dit dat A2A-deployments een expliciete vertrouwensgrens vereisen alvorens kritieke workflows te ondersteunen.

Hypothese H2

Onder een A2A‑implementatie met een centrale orchestrator die tool‑calls valideert, treedt prompt‑infectie niet op in het volledige agentnetwerk.

H2 stelt dat een centrale orchestrator met tool-call-validatie prompt-infectie in het volledige agentnetwerk voorkomt. Het mechanisme verschilt fundamenteel van H1: waar A2A geen vertrouwensgrens kent, introduceert een orchestrator een validatielaag die inter-agent berichten onderscheidt van externe input en tool-calls afkeurt die afwijken van het geautoriseerde schema.

Supporting evidence ontbreekt in het plan; dit is significant, want de paper van Qiao et al. behandelt uitsluitend A2A zonder orchestrator (arXiv:2610.12524). Er is geen empirische test uitgevoerd tegen een gecentraliseerd model. Contradicting evidence E3, de vier testscenario's, toont dat infectie wél optreedt zonder centrale validatie, maar bewijst niet dat validatie op orchestrator-niveau effectief is tegen gesofisticeerde spoofing of compromittering van de orchestrator zelf.

De kernassumptie is dat de orchestrator zelf niet gecompromitteerd raakt en dat tool-call-validatie voldoende is tegen semantische injectie in berichtinhoud. Verwachte observaties zouden geïsoleerde infectie van één agent omvatten, zonder downstream propagatie. De discriminator tussen H1 en H2 is de vraag of validatie het propagatiemechanisme onderbreekt of slechts verplaatst naar het orchestrator-level. Confidence is laag: het argument is architectonisch plausibel maar ongetest in de primaire bron, en de orchestrator wordt zelf een single point of failure met een vergroot aanvalsoppervlak. Voor Nederlandse publieke-sector-afwegingen betekent dit dat H2 een ontwerphypothese is die empirische validatie vereist alvorens als mitigatie te worden aanvaard.

Hypothese H3

Onder een A2A‑implementatie zonder centrale validatie treedt alleen lokale prompt‑manipulatie op, maar geen netwerkbrede infectie, omdat elke agent een eigen sandbox handhaaft.

H3 stelt dat lokale prompt-manipulatie beperkt blijft tot één agent wanneer elke agent een eigen sandbox handhaaft. Het mechanisme berust op proces-isolatie: een gecompromitteerde agent kan niet escaleren naar peers omdat er geen gedeelde uitvoeringscontext bestaat. Supporting evidence ontbreekt in het plan; de primaire bron behandelt uitsluitend A2A zonder sandbox-garanties (arXiv:2610.12524). Contradicting evidence E3, de vier testscenario's, toont dat netwerkbrede infectie wél optreedt zonder centrale validatie, maar test niet expliciet een gesandboxte configuratie. De kernassumptie is dat sandboxing semantische injectie in inter-agent berichten kan tegenhouden; dit veronderstelt dat de sandbox inhoudelijke validatie biedt, niet alleen proces-isolatie. Verwachte observaties zouden geïsoleerde infectie zonder downstream propagatie omvatten. De discriminator tussen H3 en H1/H2 ligt in de vraag of sandboxing een vervanger is voor centrale validatie, of slechts een complementaire maatregel die het propagatiemechanisme niet fundamenteel doorbreekt. Confidence is laag: het argument is architectonisch plausibel maar ongetest in de primaire bron, en de assumptie dat sandboxing semantische injectie afwerend werkt tegen A2A-berichten is niet empirisch onderbouwd. Voor Nederlandse publieke-sector-afwegingen betekent dit dat sandboxing als isolatiestrategie empirische validatie vereist tegen prompt-infection-scenario's alvorens als mitigatie te worden aanvaard.

Discriminators: wat onderscheidt de hypotheses?

Als een geïnfecteerde agent in een A2A‑netwerk zonder centrale validatie meer dan 80 % van de andere agents compromitteert, dan is H1 waarschijnlijker dan H2; blijft die besmetting onder 10 %, dan H2.

De propagatiegraad van een geïnfecteerde agent in een A2A-netwerk zonder centrale validatie onderscheidt H1 van H2. Qiao et al. demonstreren dit met vier testscenario's waarin één gecompromitteerde agent via ongevalideerde inter-agent berichten downstream agents infecteert (bron). De operationele test is kwantitatief: indien meer dan 80% van de agents in een netwerk gecompromitteerd raakt na eerste infectie, bevestigt dit het propagatiemechanisme van H1 dat geen vertrouwensgrens kent. Blijft de besmetting onder 10%, dan wijst dit op een zelfdempend effect dat H2 ondersteunt, waarbij een centrale orchestrator met tool-call-validatie het propagatiemechanisme zou hebben onderbroken. De paper rapporteert geen harde percentages; deze discriminator vereist aanvullende empirische observatie in gecontroleerde fleet-omstandigheden. Voor Nederlandse publieke-sector-afwegingen betekent dit dat A2A-deployments zonder expliciete inter-agent validatie niet voldoen aan de betekenisvolle menselijke controle die de AI Act vereist (EUR-Lex).

Falsification: wat zou de conclusie verzwakken?

Onder een A2A‑implementatie zonder centrale validatie wordt prompt‑infectie NIET waargenomen: besmettingsratio blijft ≤ 5 %.

Meten van besmettingsratio na injectie van één kwaadaardige agent in een 10‑agent A2A‑netwerk zonder centrale validatie; vergelijken met baseline van 0 % infectie.

De huidige hypothese H1, dat prompt-infectie het volledige agentnetwerk bereikt zonder centrale validatie, zou materieel verzwakt worden indien een gecontroleerd experiment laat zien dat de besmettingsratio ≤ 5% blijft. Het mechanisme is helder: indien downstream agents de geïnjecteerde instructies niet propageren, faalt het veronderstelde propagatiemechanisme. De observable test hiervoor is het meten van de besmettingsratio na injectie van één kwaadaardige agent in een 10-agent A2A-netwerk zonder centrale validatie, vergeleken met een baseline van 0% infectie. Qiao et al. rapporteren geen harde percentages uit hun vier testscenario's (bron), waardoor deze falsifier ongetest blijft. Voor Nederlandse publieke-sector-afwegingen betekent dit dat A2A-deployments zonder empirische validatie van het propagatiemechanisme niet voldoen aan de voorzichtigheid die de AI Act vereist (EUR-Lex).

Counterfactual: causale stresstest

Als er geen A2A‑protocol zonder centrale validatie bestaat, zou prompt‑infectie nog optreden?

De counterfactual test of het A2A-protocol zelf het propagatiemechanisme vormt, of dat prompt-infectie ook zonder dit protocol zou optreden, scheidt structureel artifact van incidenteel effect. Indien agents via een gecentraliseerde orchestrator communiceren waarbij elke tool-call gevalideerd wordt, blijft prompt-injectie beperkt tot de initieel gecompromitteerde agent: er is geen ongevalideerd inter-agent kanaal dat downstream propagatie mogelijk maakt. Dit toont dat de afwezigheid van centrale validatie in A2A niet een optioneel ontwerpkenmerk is, maar de noodzakelijke voorwaarde voor netwerkbrede infectie. De beperking ligt in het ontbreken van empirische test van deze counterfactual in de primaire bron: Qiao et al. rapporteren uitsluitend A2A-scenario's zonder orchestrator, waardoor de causaliteit protocol-afhankelijk blijft (bron). Voor Nederlandse publieke-sector-afwegingen betekent dit dat inter-agent communicatie als vertrouwensgrens geïmplementeerd moet worden alvorens A2A-deployments kritieke workflows ondersteunen, in lijn met de AI Act-eis van betekenisvol menselijk toezicht (EUR-Lex).

Invariant vs novelty: wat is werkelijk nieuw?

Elke architectuur die inter‑agent berichten niet valideert, blijft kwetsbaar voor prompt‑propagatie, ongeacht het onderliggende LLM‑model.

Koppeling van prompt‑infectie aan de AI‑Act art. 14/15 vereist expliciete menselijke oversight van inter‑agent communicatie.

Voorstel dat netwerksegmentatie‑principes uit NIS2 ook op logische agent‑netwerken moeten worden toegepast.

De invariant uit het plan bevestigt zich in elke geteste configuratie: zonder inter-agent berichtvalidatie blijft propagatie mogelijk, ongeacht of het onderliggende model Ollama Mistral of een ander LLM is. Dit is geen nieuwe bevinding, maar een herbevestiging van het vertrouwensgrens-principe dat reeds in single-agent architectuur geldt en door Qiao et al. naar A2A wordt getransponeerd (bron).

Wat werkelijk nieuw is, is de koppeling van dit propagatiemechanisme aan de AI-vereisten voor menselijke controle. De paper zelf stelt geen juridische implicatie; die volgt uit de combinatie van evidence met art. 14/15 AI Act, die betekenisvol toezicht vereist op besluitvorming (EUR-Lex). Een autonoom multi-agent systeem waarvan interne communicatie niet gevalideerd wordt, kan hieraan niet voldoen: er is geen menselijk zicht op welke instructies tussen agents circuleren.

Het voorstel om NIS2-netwerksegmentatie op logische agent-netwerken toe te passen, is nieuwe verpakking van bestaande kennis. De principes zijn overgenomen uit cybersecurity; de toepassing op semantische infectie in plaats van netwerkverkeer is een analogische transfer zonder empirische test in de primaire bron. De nieuwe implicatie die hieruit volgt: publieke-sector-A2A vereist een expliciete vertrouwensgrens voor inter-agent communicatie, niet slechts proces-isolatie per agent.

Onzekerheid: expliciete classificatie

De studie levert geen statistisch onderbouwde succespercentages; resultaten kunnen variëren per LLM‑versie.

De experimenten gebruiken een lokaal Ollama‑Mistral‑model; gedrag kan anders zijn bij commerciële cloud‑LLM’s.

De onzekerheid in deze analyse is systemisch en op vier niveaus te traceren. Op source-niveau: de primaire bron is een exploratieve studentenstudie zonder peer review, wat de evidentiegrondslag tot PLAUSIBLE beperkt. Op measurement-niveau: de experimenten gebruiken een lokaal Ollama-Mistral-model (0.9.5), waardoor reproduceerbaarheid bij commerciële cloud-LLM's als UNKNOWN geldt; de paper levert geen statistisch onderbouwde succespercentages. Op model-niveau: de afwezigheid van een formeel threat-model maakt dat de kwetsbaarheidscategorie weliswaar mechanistisch begrijpelijk is, maar de generaliseerbaarheid naar productie-fleets SPECULATIVE blijft. Op causal-niveau: het propagatiemechanisme van prompt infection is observationeel gedemonstreerd in vier testscenario's, maar de causale claim dat centrale orchestratie dit fundamenteel zou mitigeren (H2) is ongetest en dus SPECULATIVE. De classificatie van kernclaims: C1 (system-prompt leakage in single-agent) is PROBABLE gegeven de observationele evidence, maar met model-uncertainty; C2 (Agent Card Spoofing) is PLAUSIBLE als protocol-specifieke aanval; C3 (netwerkbrede infectie zonder validatie) is PROBABLE voor het geteste model, maar UNKNOWN voor andere LLM-versies; H1 is PROBABLE op mechanistische gronden, SPECULATIVE op empirische; H2 en H3 zijn SPECULATIVE wegens ontbrekende evidence in de primaire bron. Voor Nederlandse publieke-sector-afwegingen betekent deze onzekerheidspiramide dat A2A-deployments zonder expliciete inter-agent validatie niet voldoen aan de voorzichtigheid die de AI Act vereist: betekenisvol menselijk toezicht is niet mogelijk wanneer de besluitvormingsketen zichtbaar noch gevalideerd is (EUR-Lex).

Handelingsperspectief

Deze analyse is relevant voor informatiebeveiligingsarchitecten en compliance-officers bij ministeries, uitvoeringsorganisaties en zelfstandige bestuursorganen die A2A- of MCP-gebaseerde agent-fleets overwegen voor beslissende of geautomatiseerde workflows. Het concrete toetsingsprobleem: kan uw huidige ontwerp garanderen dat een geïnfecteerde agent niet via ongevalideerde inter-agent berichten de volledige fleet compromitteert, en voldoet dit aan de AI Act-eis van betekenisvol menselijk toezicht op besluitvorming?

INPUT:  agent_fleet_config, external_user_message, agent_card_registry
BEWERKING:
  1. valideer agent_card_registry tegen vertrouwde public_key_store
  2. parseer inkomend A2A-bericht: onderscheid externe_input vs interne_bron
  3. indien externe_input: pas sandboxed_execution toe zonder tool-call-rechten
  4. indien interne_bron: verifieer upstream_validatie_chain
  5. log alle inter-agent berichten naar menselijk_review_queue
  6. bij afwijking in stap 1, 3 of 4: quarantaine_agent + alert
OUTPUT: gevalideerde_tool_call of geblokkeerd_bericht + audit_trail

Voor een inhoudelijke verkenning van hoe inter-agent validatie als vertrouwensgrens geïmplementeerd kan worden, zie djimit.nl/kennismaking. Specifieke ondersteuning bij threat-modellering van agent-architecturen in publieke-sector-context vindt u via djimit.nl/advisory.