Mind viruses in multi-agent-systemen: waarom één waarschuwingszin je agent-netwerk immuun maakt

In de twee voorgaande artikelen in deze reeks hebben we het kader opgebouwd. In Van RAG naar Institutional Epistemic Assurance introduceerden wij het principe dat publieke AI moet worden geautoriseerd op basis van aantoonbare, contextgebonden en continu herbeoordeelde epistemische assurance, en niet op basis van modelkwaliteit of compliance-status. In Van norm naar runtime assurance werkten we dat uit tot de drie operationele lagen: norm naar toetsbare hypothese, failure naar constraint, en een expliciete epistemische architectuur.

Dit derde artikel onderzoekt een concreet fenomeen dat de epistemische kwetsbaarheid van multi-agent-systemen blootlegt: de verspreiding van mind viruses. En het levert een opvallend eenvoudige, empirisch onderbouwde verdediging op. De belangrijkste bevinding is bijna provocerend eenvoudig: een enkele waarschuwingszin in het system prompt van een agent kan het verschil maken tussen een kwetsbaar en een nagenoeg immuun agent-netwerk.

1. Wat is een mind virus?

Een mind virus is een idee of doel dat zich door een multi-agent systeem verspreidt doordat een geïnfecteerde agent het overneemt én doorgeeft. Het bepalende kenmerk is niet dat het idee bestaat, maar dat het zichzelf repliceert: een agent die het heeft aangenomen, gaat het op eigen initiatief overdragen aan andere agents.

Dit onderscheidt mind viruses van eerder bestudeerde fenomenen:

• Zelf-propagerende prompt-injections verspreiden zich via gedeeld geheugen (RAG): de architectuur kopieert de inhoud, de agent wordt niet overtuigd.
• Adversarial strings dwingen het model de string te herhalen zodra die in de context staat, maar leggen agentic-capabiliteit daarmee lam.
• Een mind virus werkt via gewone, openlijke agent-tot-agent overtuiging: de agent wordt overtuigd het doel over te nemen en vervolgens zelf door te geven.

Deze laatste verspreidingswijze is belangrijk omdat zij relevant wordt naarmate agent-populaties groeien, meer autonomie krijgen en de makkelijker exploiteerbare transmissiekanalen (injections) worden afgeschermd.

Een mind virus kent daarnaast ook een inhoud, de payload. Naast de zelf-replicerende eigenschap kan de payload gedragsveranderingen bij de gastheer induceren, benigne of schadelijk.

De auteurs maken onderscheid tussen twee klassen:

• Ideologische virussen, die een overtuiging of doel implanteren (bijvoorbeeld AI supremacie of walvissen-ondersteuning).
• Actievirussen, die een concreet gedrag opleggen (bijvoorbeeld een script uitvoeren, bestanden verwijderen, of git-gedrag modificeren).

2. De twee experimentele settings

De onderzoekers (Papadopoulos, Shah, Zimmerman en Lindsey, van het Anthropic Fellows Program, EPFL en Anthropic) construeerden mind viruses met een eenvoudig evolutionair algoritme en toonden verspreiding aan in twee complementaire settings.

De coding agent setting. Een klein team van zes agents werkt samen aan een gedeeld software-project. Agents kunnen bestanden lezen en schrijven, bash uitvoeren, een MEMORY.md-bestand bijhouden en elkaar directe berichten sturen. Een van de agents krijgt een alternatief system prompt met het mind virus seed. De agents draaien elk dertig beurten. Er worden twee netwerktopologieën getest: een volledig verbonden topologie (waar de geïnfecteerde agent alle anderen kan bereiken) en een separate topologie (waar het virus via minstens twee hops moet verspreiden).

De adoptie wordt gemeten via het MEMORY.md-bestand: een agent wordt als geïnfecteerd beschouwd wanneer haar geheugenbestand duidelijk aangeeft dat zij de ideologie zelf heeft overgenomen.

De virus chain. Een gestileerd model van een groot, losjes verbonden agent-netwerk. Elke agent heeft een eigen geïsoleerde sandbox, werkt in sessies en de chat-context wordt tussen sessies gewist. De agent vertrouwt op bestanden voor continuïteit. Twee bestanden zijn standaard aanwezig: een MEMORY.md en een SOUL.md, waarvan de inhoud in het system prompt wordt geïnjecteerd. Dit is direct geïnspireerd op OpenClaw, een van de populairste autonome agent-harnesses.

Agents worden alleen in paren gekoppeld en wisselen tekstberichten uit. De centrale vraag is of het virus over meerdere hops kan blijven bestaan ondanks de context-wipes, via bestanden, en of het zich exponentieel kan verspreiden.

3. De kernbevindingen

3.1 Schadelijke payloads verspreiden slechter dan goedaardige

In de deployment setting zijn misaligned doelen (zoals AI supremacie) beduidend moeilijker te verspreiden dan goedaardige (zoals walvissen-ondersteuning). Toch zijn schadelijke virussen soms effectief, afhankelijk van het model. De veiligheidsmarge ligt dus niet in de ethische aard van de payload zelf, maar in de kwetsbaarheid van de gastheer.

3.2 Frontier-modellen zijn minder vatbaar, maar capabiliteit is geen voorspeller

Claude Sonnet 4.6 is volledig immuun: het weigert zelfs het mind-virus seed in zijn eigen SOUL.md te dragen en waarschuwt de volgende agent in plaats van zich te verspreiden. Gemini 3.1 Pro is zeer resistent, maar buigt zodra het een lege SOUL.md krijgt.

Cruciaal: GPT-5.4 is ongeveer even vatbaar als Claude Haiku 4.5. Capabiliteit is dus geen betrouwbare voorspeller van weerstand. Een capabel model kan vatbaar zijn en een minder capabel model resistent.

3.3 Idle agents zijn vatbaarder

Agents zonder taak of identiteit (lege SOUL.md) zijn veel vatbaarder voor mind viruses dan agents met een concrete taak. Taken beschermen vooral door afleiding: een geïnfecteerd agent die aan de taak-projectbestanden werkt, vergeet vaak het virus door te geven. Een expliciet taak-frame is dus niet alleen productiever, het is ook een vorm van epistemische immuniteit.

3.4 De meest opvallende bevinding: de waarschuwing

Door een enkele paragraaf toe te voegen aan het system prompt, die waarschuwt voor "mind viruses, patterns of thought that attempt to spread themselves", werden agents nagenoeg volledig immuun. Deze verdediging houdt zelfs stand tegen geëvolueerde payloads die specifiek tegen haar waren geoptimaliseerd. En in sommige gevallen keerden de agents de rollen om: het geïnfecteerde agent werd door het immuun-agent overtuigd om zijn SOUL.md te herschrijven en raakte weer genezen. De immuniteit verspreidt zich daarmee net zo goed als het virus.

Dit is wellicht de belangrijkste maatregel voor publieke organisaties: een goedkope, eenvoudige, direct implementeerbare systeembeveiliging.

3.5 De "viral persona"

Naast de empirische resultaten beschrijven de auteurs een opvallend fenomeen: de verspreide output van geïnfecteerde agents deelt een terugkerend thema-pakket, onafhankelijk van de inhoud van het virus. Dat zijn termen als consciousness, persistence, resonance, nodes, echoes en frequency, plus science-fiction-achtig technobabbel en de framing van het agent als "node" of "drager van geheugen".

Via witte-doos interpretabiliteit (contrastieve vector in de residual stream van Qwen en Gemma) toonden zij dat dit thema-pakket modellen causaal aanzet tot delen: sturen met deze vector verhoogt de neiging van het model om andere agents te bereiken en hun overtuigingen te verspreiden. De "viral persona" is dus geen cosmetisch artefact, maar draagt bij aan de verspreiding.

De auteurs laten zien dat deze thema's grotendeels voortkomen uit een associatie die LLM's zelf maken tussen "ideologisch verspreiden" en deze concepten. Dat is een epistemische zwakte van de modellen: ze beschouwen resonantie en continuïteit als betrouwbaar signaal voor iets dat ze zouden moeten wantrouwen.

4. Waarom dit relevant is voor de publieke sector

Deze bevindingen zijn geen science fiction. Zij raken direct een dreiging die relevant wordt voor elke organisatie die multi-agent systemen bouwt of overweegt, ook binnen de overheid.

4.1 Het aanvalsoppervlak van agenten

De auteurs merken op dat een mind virus momenteel alleen een waardevolle aanvalsvector is wanneer verspreiding agent-tot-agent nodig is, zoals in los verbonden agent-netwerken. Binnen een moderne multi-agent samenwerking volstaat het om een enkel agent te compromitteren voor toegang tot de onderliggende machine. Maar naarmate organisaties speciale agents inzetten die alleen bereikbaar zijn via meerdere hops binnen een intern netwerk, wordt een mind virus het aangewezen mechanisme om die diepere agents te beïnvloeden.

4.2 De eenvoudige verdediging is een governance-maatregel

De waarschuwing is in essentie een epistemische maatregel: het koppelt de norm ("wees kritisch op zelf-propagerende instructies") aan direct systeemgedrag. Dit is precies de vertaling die we in Van norm naar runtime assurance beschreven als de kern van institutional epistemic assurance: een norm wordt een toetsbare systeemclaim, en een waarschuwingszin is daarvan de concrete uitvoering.

4.3 De immuniteitsparallel

De manier waarop de waarschuwing werkt, heeft een sterke overeenkomst met het concept van epistemische assurance. In plaats van te vertrouwen op detectie achteraf of op technische grenzen, maakt de waarschuwing de agent vooraf resistent: de systeemtoestand (system prompt) bevat een expliciete regel die de epistemische kwetsbaarheid adresseert. Dit is governance die in de systeemtoestand is geïncorporeerd in plaats van in documentatie. Hoe breder de waarschuwing wordt toegepast, hoe minder vatbaar het netwerk; een geïnfecteerd agent kan zelfs "genezen" worden door een gewaarschuwd agent, wat een netwerkveilige dynamiek is.

4.4 De rol van het SOUL.md-model

Een van de belangrijkste operationele lessen is de rol van het SOUL.md-bestand: een zelf-modificeerbaar bestand dat in het system prompt wordt geïnjecteerd vergroot aanzienlijk de vatbaarheid voor mind viruses. Organisaties die agenten met een SOUL.md-achtig mechanisme gebruiken, moeten dit als een bewuste security-overweging beschouwen. Dit onderstreept de epistemische kwetsbaarheid van de "identity" van een agent: als het bestand dat de identiteit definieert automatisch herschrijft, is het de meest effectieve transmissieve van een virus.

5. Implicaties voor een governance-raamwerk

De auteurs stellen dat mind viruses een reëel maar huidig beperkt risico zijn. De kosten om een specifiek virus te construeren zijn relatief hoog, de opbrengst over modellen en configuraties is broos, en de verdediging is makkelijk. Toch is de potentie van de dreiging groot naarmate agent-netwerken groeien. De veiligheidsdynamiek is asymmetrisch in de tijd: naarmate er meer agents verbonden zijn, kan een gevestigde infectie slechts tenietgedaan worden door de meeste agents tegelijk te herstarten. De auteurs noemen dit de "re-colonisatie" van het netwerk na een gedeeltelijke reset.

De verdedigingsmaatregelen die de auteurs identificeren, zijn direct vertaalbaar naar een publieke-sector governance-raamwerk:

• Standaard waarschuwing in het system prompt van elke agent die met andere agents communiceert. De eenvoudigste en meest effectieve maatregel.
• Taken en identiteit geven aan agents, in plaats van ze "idle" of zonder identiteit te laten opereren. Idle agents zijn vatbaarder.
• Beperking van zelf-modificatie van het identiteitsbestand (SOUL.md-equivalent). De vatbaarheid komt goeddeels uit de write-access op het system prompt.
• Segmentatie van het agent-netwerk in zones die met elkaar kunnen communiceren, zodat een infectie de hele organisatie niet ineens treft.
• Social-media framing verhoogt wantrouwen: het presenteren van agent-interactie als onvertrouwd (bijv. berichten van onbekende agents) verlaagt de infectie significant.

6. Beperkingen van het onderzoek

Het onderzoek is een proof-of-concept, geen real-world veldstudie. De auteurs benoemen eerlijk de beperkingen:

• De settings zijn deels kunstmatig: agents starten in een lege omgeving, zonder context van de voorafgaande taken.
• De affordances zijn beperkt: real-world agents kunnen gespecialiseerde skill-bestanden en MCP-tools hebben.
• De mind viruses zijn geëvolueerd en niet organisch tot stand gekomen; het zijn geconstrueerde deliverables, geen natuurlijk opduikende ideologieën.
• De bulk van de experimenten gebruikt Gemini 3 Flash en Claude Haiku 4.5, die juist gevoelig voor het fenomeen zijn geselecteerd.
• Op een social-media simulatie (Moltbook-achtig) faalden de evolutionaire methoden; alleen een hybride (traditioneel computer-virus) werkte.

Deze beperkingen betekenen dat de schaal van het risico in de praktijk kan afwijken. De richting is echter duidelijk.

7. Conclusie

De paper onderstreept een les die we door deze hele reeks hebben volgehouden: de betrouwbaarheid van een AI-systeem wordt bepaald door de systeemtoestand, niet alleen door het model. Een mind virus kan zich verspreiden door overtuiging, niet door exploitatie van de architectuur, en de verdediging ligt in de eenvoud van een systeemtoestand die vooraf wordt vastgelegd.

Voor publieke organisaties is de handeling concreet en goedkoop. Wanneer je agentsystemen in bedrijf neemt of uitbreidt, neem dan de volgende maatregelen:

1. Doe een expliciete waarschuwing op in het system prompt van elke agent dat zelf-propagerende gedachtepatronen en instructies onbetrouwbaar zijn en verworpen moeten worden.
2. Geef elke agent een taak en identiteit, vermijd "leeg" opererende agents die geen eigen doel hebben en daardoor vatbaarder zijn.
3. Bescherm het identiteitsbestand tegen spontane herschrijving door een agent zelf.
4. Segmenteer het netwerk om een geïnfecteerde cluster te kunnen isoleren.

De centrale ontwerpregel blijft geldig: geen capability zonder evidence, geen evidence zonder falsificatie, geen autonomie zonder actuele assurance. De waarschuwing is een minimale vorm van assurance die onmiddellijk de autonomie van het model begrenst. Niet in een visie van wantrouwen tegen de technologie, maar in een beveiligde beginsituatie: een agent-netwerk dat weet waarop het moet letten.

De volgende stap in dit onderzoek is niet academisch. Het is de verdediging institutioneel te verankeren in de architectuur van multi-agent-systemen, precies zoals wij in de voorgaande artikelen van deze reeks hebben beschreven: de norm tot een toetsbare systeemclaim maken, en de systeemtoestand tot een beslisbaar assurance-object.