Je multi-agent systeem wordt al gehackt - je ziet het alleen niet

De aanname dat een AI-aanval binnen één sessie zichtbaar wordt, klopt niet meer. Onderzoekers van Magnet presenteren een threat model dat ik al een tijdje zie opkomen in de praktijk. Aanvallers knippen een schadelijk doel op in onschuldig ogende subtaken en verspreiden die over meerdere geïsoleerde agent-sessies. Bestaande single-session detectie, of het nu op turn-niveau of multi-turn-niveau is, mist deze capability accumulation volledig. arXiv:2608.02518

Voor Nederlandse overheden die multi-agent systemen draaien, denk aan documentverwerkingspipelines, citizen-service bots, of geautomatiseerde vergunningchecks, is dit geen academisch ver-van-mijn-bed-show. Het is een concrete kwetsbaarheid die je nu moet adresseren.

Wat is capability accumulation?

Stel je een aanval voor waarbij een kwaadwillende een overheids-databank wil exfiltreren. In een klassiek scenario probeert een gebruiker in één sessie een reeks queries te doen die samen een patroon vormen van data-extractie. Moderne detectie vangt dat. Rate limiting, anomaliedetectie op query-sequenties, of simpele regels zoals "meer dan 1000 records in 5 minuten" werken dan.

Maar wat als de aanvaller het doel opknipt? Sessie 1: vraag een enkel document op via een legitieme zoekopdracht. Sessie 2, twee uur later en vanaf een ander IP, past een filterparameter aan in een configuratie-tool. Sessie 3, de volgende dag, exporteert een subset van data die precies overeenkomt met de eerdere filter. Elke sessie afzonderlijk is volkomen normaal. De capability, de combinatie van kennis, toegang en actie, accumuleert pas over sessies heen.

Magnet formaliseert dit. Het modelleert de toestand van een agent als een vector van capabilities. Een aanval is een reeks acties die deze vector naar een schadelijke eindtoestand brengt. Bestaande detectie kijkt alleen naar de toestand binnen een sessie. Magnet detecteert cross-session patronen door capability-accumulatie te monitoren.

Waarom dit raakt aan Nederlandse overheden

Ik spreek regelmatig CIO's en CISO's van gemeenten en uitvoeringsorganisaties. Ze hebben hun AI-security op orde, denken ze. Ze hebben prompt-injection filters, rate limiters, logging op API-niveau. Maar bijna niemand heeft cross-session detectie. De architectuur van multi-agent systemen is vaak ontworpen rond isolatie. Elke sessie is stateloos, elke agent heeft een eigen context. Dat is precies wat de aanvaller uitbuit.

Neem een citizen-service bot die burgers helpt met belastingaangifte. De bot heeft toegang tot persoonsgegevens, inkomen, en eventueel medische kosten. Een aanvaller kan in sessie 1 vragen "wat is mijn inkomen?" (normaal), in sessie 2 "toon mijn medische kosten" (ook normaal), in sessie 3 "combineer deze twee in een export" (verdacht, maar alleen als je de eerdere sessies kent). Zonder cross-session detectie is sessie 3 een single-turn query die niet opvalt.

Onder de BIO2 (Baseline Informatiebeveiliging Overheid) moet je "loggen en monitoren", maar BIO2 specificeert niet over welke tijdschaal. NIS2 eist dat je "incidenten detecteert die significante impact kunnen hebben". Als je capability accumulation niet ziet, mis je incidenten die over dagen of weken worden opgebouwd. De AI Act classificeert systemen die toegang hebben tot persoonsgegevens als hoog-risico. Voor die systemen moet je een risicobeheersysteem hebben dat "redelijkerwijs te voorziene misbruikscenario's" dekt. Magnet laat zien dat cross-session misbruik een redelijkerwijs te voorzien scenario is.

Hoe Magnet het aanpakt

Het framework gebruikt een capability graph. Dit is een gerichte graaf waarin nodes capabilities voorstellen, bijvoorbeeld "heeft toegang tot document X", "kan parameter Y wijzigen", "heeft exportrechten". Edges zijn de acties die capabilities toevoegen of combineren. Elke sessie voegt een subgraaf toe. Magnet detecteert of de geaccumuleerde capabilities over sessies heen een schadelijke eindtoestand bereiken, bijvoorbeeld "kan alle re