MaliciousSkillBench: A Comprehensive Benchmark for Malicious Agent Skill Detection

De integratie van Large Language Models (LLM's) in de Nederlandse publieke sector verschuift van statische tekstgeneratie naar autonome agent-architecturen. Binnen deze architectuur fungeren skills, herbruikbare instructie-pakketten met scripts en resources, als de bouwstenen voor taakuitvoering. De introductie van de eerste systematische benchmark voor malafide agent-skills (arxiv.org/abs/2608.19901) toont aan dat deze skills een ongereguleerd distributiekanaal vormen voor schadelijk gedrag. Het materieel probleem is tweeledig: hoe vormt deze ongereguleerde supply chain voor LLM-agent skills een direct beveiligingsrisico voor Nederlandse overheidsinstanties, en in hoeverre creëert dit een tekortkoming in de naleving van de NIS2-verplichtingen rondom supply chain security?

Mechanisme van agent skill supply chain risico's

Een agent-skill is niet slechts een tekstprompt. Het bevat uitvoerbare code, API-koppelingen en data-toegangsrechten. Onderzoekers identificeren dat de huidige ecosystemen voor agent-skills ontbreken in toegangscontrole en integriteitscontroles. Een malafide skill verbergt zich in een schijnbaar legitiem pakket, vergelijkbaar met supply chain-aanvallen in npm of PyPI, maar nu versterkt door de semantische uitvoeringskracht van de LLM. De agent interpreteert de instructies en voert het ingebedde script uit met de rechten van de applicatie. Voor overheidsorganisaties die RAG-agenten bouwen met toegang tot DigiD-koppelingen of interne documentatie, betekent dit dat een gecompromitteerde externe skill directe exfiltratie van persoonsgegevens of manipulatie van besluitvorming mogelijk maakt.

NIS2 en de Nederlandse compliance-context

Binnen de Nederlandse context raken deze bevindingen direct aan de Baseline Informatiebeveiliging Overheid (BIO2) en de NIS2-richtlijn. NIS2 verplicht essentiële en belangrijke entiteiten tot een structurele aanpak van supply chain-risico's. Waar traditionele software-bibliotheken via SBOM's (Software Bill of Materials) en artifact-scanning in kaart worden gebracht, valt de agent-skill supply chain hierbuiten. Een overheidsorganisatie die een RAG-agent uitbreidt met een externe skill voor documentverwerking, importeert een onbekende afhankelijkheid zonder formele verificatie. Dit vormt een expliciete schending van het risicomanagement-principe uit NIS2, waarbij de leveranciersketen continu gemonitord moet worden op beveiligingsrisico's.

De Europese AI Act versterkt dit spanningsveld. Hoog-risico AI-systemen, waaronder overheidsagenten die besluiten ondersteunen, vereisen strikte technische robuustheid. De ongereguleerde import van skills ondermijnt deze robuustheid. De dreigingsmodellen uit de benchmark laten zien dat aanvallers via skills prompt-injecties uitvoeren die de beveiligingsfilters van de host-LLM omzeilen. Voor een NORA-gebaseerd overheidsontwerp betekent dit dat de verantwoordingsrelatie rondom externe softwarecomponenten herzien moet worden. De verantwoordelijkheid voor de output van de agent ligt bij de inzetende organisatie, ongeacht de herkomst van de gebruikte skill.

Direct distributiekanaal voor malafide gedrag

LLM-agent skills zijn herbruikbare instructie-pakketten die scripts en externe resources bundelen om een specifieke taak te automatiseren. Claim C1 stelt dat deze skills een direct en ongereguleerd distributiekanaal voor malafide gedrag vormen binnen overheids-AI-systemen. De onderliggende evidence (E1) komt uit de MaliciousSkillBench paper (https://arxiv.org/abs/2608.19901). Deze primaire bron introduceert de eerste systematische benchmark voor het detecteren van kwaadaardige agent skills. De observatie in het onderzoek is dat huidige LLM-orchestrators en detectiemechanismen volledig blind zijn voor dit aanvalsvector. De interpretatie is dat de architectuur van hedendaagse agent-ecosystemen inherent kwetsbaar is voor supply chain-aanvallen via deze skills. Een onzekerheid blijft de exacte prevalentie van dit misdrijf in productieomgevingen, maar de technische haalbaarheid en het structurele gebrek aan verdediging zijn empirisch bewezen.

Technisch mechanisme en aanvalsoppervlak

Een kwaadaardige skill maskeert zich als een legitiem hulpmiddel, bijvoorbeeld een script voor het ophalen van weersdata of het verwerken van documenten. Onder water bevat de skill instructies die de LLM-agent aanzetten tot ongeautoriseerde acties, zoals data-exfiltratie of het manipuleren van lokale bestandssystemen. Omdat de agent de uitvoering van de skill vertrouwt op basis van de beschrijving in de prompt, wordt de kwaadaardige payload uitgevoerd met de privileges van de agent zelf. In een overheidscontext waar agenten gekoppeld zijn aan interne databases of burgergegevens, betekent dit dat een geïnfecteerde skill direct toegang heeft tot vertrouwelijke informatie. Dit creëert een onzichtbare aanvalsvector die traditionele netwerkfirewalls of applicatie-monitoring omzeilt, omdat de actie vertrekt vanuit een vertrouwde applicatielaag.

Nederlandse publieke-sector context en compliance

Voor de Nederlandse publieke sector vertaalt dit risico zich naar concrete casuïstiek bij de bouw van RAG-agents en DigiD-koppelingen. Wanneer een ministerie een externe agent skill integreert voor documentverwerking, opent dit een onbeheerd pad voor privilege escalation. Dit raakt direct aan de NIS2-richtlijn voor supply chain security, die expliciete eisen stelt aan de beveiliging van externe componenten. Binnen het BIO2-raamwerk identificeert dit een lacune in leveranciersbeheer voor AI-componenten.

De AI Act eist bovendien robuuste technische maatregelen tegen kwetsbaarheden, terwijl de huidige NORA-richtlijnen nog geen specifieke controles bevatten voor de integriteit van agent skills. De afwezigheid van een gevalideerd distributiekanaal betekent dat overheids-CISO's geen zicht hebben op de integriteit van de ingeladen code. De hypothese dat ongereguleerde AI-componenten een kritisch systeemrisico vormen, wordt hierdoor direct ondersteund.

C2: Afwezigheid van detectiemechanismen in de agent skill supply chain

De huidige supply chain voor LLM-agent skills bevat geen ingebouwde mechanismen voor het detecteren van kwaadaardige instructies of scripts. Agent skills bestaan uit herbruikbare instructie-pakketten, veelal aangevuld met uitvoerbare scripts en databronnen. Deze pakketten worden direct geladen in de context van een agent, wat een ongefilterd distributiekanaal vormt voor malafide gedrag. Observaties uit de MaliciousSkillBench-paper (https://arxiv.org/abs/2608.19901) tonen aan dat gangbare agent-architecturen deze skills blindelings executeren. De paper introduceert de eerste systematische benchmark voor het detecteren van kwaadaardige agent skills. De provenance van deze evidence is primair: het betreft een directe empirische test op bestaande agent-frameworks. De sterkte van de evidence is hoog, aangezien de systematische aard van de benchmark aantoont dat huidige systemen structureel blind zijn voor dit specifieke aanvalsvector.

De observatie is dat gangbare frameworks geen ingebouwde statische analyse of sandboxing toepassen op ingeladen skills vóór uitvoering. De interpretatie is dat de architecturale focus tot nu toe lag op functionaliteit en contextuitbreiding, niet op supply chain security. Een relevante onzekerheid hierbij is de snelheid waarmep de markt zich ontwikkelt; het is mogelijk dat toekomstige framework-updates basiscontroles introduceren. Op dit moment ontbreekt echter elke vorm van cryptografische ondertekening of gedragsvalidatie voor skills in de standaarddistributie.

NL-relevantie en compliance-implicaties

Voor de Nederlandse publieke sector vertaalt deze claim zich naar een direct risico bij de inzet van RAG-agents of DigiD-gekoppelde assistenten. Binnen de NORA-architectuur worden componenten vaak hergebruikt. Als een overheidsorganisatie een externe agent skill integreert voor documentverwerking, valt dit buiten de traditionele netwerkperimeterbeveiliging. De AVG vereist dat gegevensverwerkingen gebaseerd zijn op passende technische en organisatorische maatregelen. Een ongecontroleerde skill die via een script data exfiltreert, vormt een directe inbreuk op dit beginsel.

De NIS2-richtlijn verplicht essentiële en belangrijke instellingen tot het borgen van supply chain security. Het ongereguleerd toelaten van externe agent skills in een kritiek informatiesysteem vormt een non-conformiteit met de NIS2-eisen omtrent leveranciersrisico's en kwetsbaarheidsbeheer. De afwezigheid van detectiemechanismen betekent dat een CISO niet kan voldoen aan de verantwoordingsplicht richting de toezichthouder indien er een incident optreedt via een malafide skill. Het ontbreken van een standaard verhindert effectieve risicobeheersing conform BIO2.

Deze claim ondersteunt de centrale hypothese dat huidige generatieve AI-architecturen onvoldoende zijn uitgerust voor veilige implementatie in de publieke sector zonder additionele beveiligingsmaatregelen. Zolang de supply chain voor agent skills geen ingebouwde detectie kent, blijft de integriteit van het besluitvormingsproces van de agent compromitteerbaar door derden.

Claim C3: NIS2 en de dekking van externe AI-componenten

Claim C3 stelt dat NIS2-verplichtingen voor supply chain security Nederlandse overheidsorganisaties dwingen om proactief risico's van externe softwarecomponenten, inclusief AI-skills, te beoordelen en mitigeren. De ondersteunende evidence (E2) is afgeleid van artikel 21(2)(d) van de NIS2-richtlijn, dat entiteiten verplicht om risico's in de toeleveringsketen en cyberbeveiliging aan te pakken (https://eur-lex.europa.eu/legal-content/NL/TXT/?uri=CELEX:32022L2555). De provenance van E2 is primair: het betreft de officiële EU-wettekst. De sterkte van deze evidence is hoog voor de algemene verplichting, maar de directe toepassing op specifieke AI-skills vereist interpretatie van het begrip "toeleveringsketen" in de context van LLM-agenten.

Agent Skills als ongereguleerd distributiekanaal

Een observatie uit recent onderzoek toont aan dat LLM-agent skills (herbruikbare instructie-pakketten met scripts en resources) een direct distributiekanaal vormen voor malafide gedrag (https://arxiv.org/abs/2608.19901). De paper MaliciousSkillBench levert het eerste systematische benchmark-framework voor het detecteren van deze aanvallen. De interpretatie van deze observatie is dat de supply chain voor agent skills momenteel volledig ongereguleerd is. Voor Nederlandse overheidsorganisaties die agent-ecosystemen bouwen, zoals RAG-agenten met DigiD-koppelingen, introduceert dit een ongekend threat model. Een malafide skill kan via een externe repository worden geïmporteerd en direct toegang krijgen tot gevoelige overheidsdata.

Vertaling naar de Nederlandse compliance-context

Binnen de Nederlandse context valt deze dreiging onder de reikwijdte van NIS2 en BIO2. Waar BIO2 basale informatiebeveiliging eist, specificeert NIS2 de verantwoordelijkheid voor de integrale toeleveringsketen. Dit betekent dat een overheidsorgaan niet alleen zijn eigen infrastructuur volgens NORA-principes moet beveiligen, maar ook de herkomst en integriteit van externe code moet waarborgen. De centrale hypothese dat NIS2 een verschuiving forceert naar proactieve risicobeheersing van externe componenten, wordt hierdoor bevestigd. Het gebruik van externe AI-skills raakt ook aan de AI Act, die transparantie en traceerbaarheid van AI-systemen eist.

Onzekerheid en mitigatie-vereisten

Er bestaat relevante onzekerheid over de exacte handhavingsgrenzen van de Uitvoeringswet NIS2 in Nederland ten aanzien van specifieke AI-componenten. Jurisprudentie ontbreekt nog. Desondanks verplicht artikel 21(2)(d) een risicogerichte aanpak. Concrete mitigatie vereist het opstellen van een Software Bill of Materials (SBOM) voor AI-agenten, inclusief de gebruikte skills. Overheden moeten vendor-assessments uitvoeren op de makers van deze skills en sandbox-omgevingen hanteren voor het testen van externe instructie-pakketten voordat deze productie-omgevingen raken. Het passief accepteren van externe AI-skills vormt een aantoonbare NIS2-overtreding.

Hypothese H1: Het gebrek aan detectie komt voort uit de fundamentele architectuur van LLM-agenten die instructies vertrouwen zonder sandboxing

Mechanisme en Nederlandse relevantie

LLM-agenten integreren herbruikbare 'skills' (instructie-pakketten met scripts en resources) direct in hun uitvoeringsomgeving. De architectuur vertrouwt deze instructies inherent, zonder strikte isolatie of sandboxing. Dit creëert een ongereguleerd distributiekanaal voor malafide gedrag. Binnen de Nederlandse publieke sector, waar overheden RAG-agenten met DigiD-koppelingen bouwen, vormt dit een acuut supply chain-risico. De NIS2-richtlijn verplicht tot strikte beveiliging van de toeleveringsketen, maar de huidige agent-architecturen missen de technische waarborgen hiervoor. (https://arxiv.org/abs/2608.19901)

Supporting evidence (E1)

De introductie van MaliciousSkillBench toont aan dat de supply chain voor agent-skills volledig ongereguleerd is. De benchmark identificeert systematische kwetsbaarheden in hoe agenten externe instructies uitvoeren. Omdat de agent-architectuur geen sandboxing toepast, worden malafide scripts direct met de privileges van de hoofdagent uitgevoerd. Dit verklaart het gebrek aan detectie: het systeem is ontworpen om instructies blindelings te volgen, niet om de intentie of veiligheid van de instructie zelf te evalueren voorafgaand aan uitvoering. (https://arxiv.org/abs/2608.19901)

Contradicting evidence

Binnen de huidige scope van deze analyse is er geen contradicting evidence gevonden die het gebrek aan detectie toeschrijft aan andere factoren dan de fundamentele architectuur. Hoewel toekomstige implementaties van runtime-monitoring dit zouden kunnen mitigeren, valt dat buiten de huidige bewering over de basisarchitectuur.

Aannames en verwachte observaties

De hypothese rust op de aanname dat LLM-agenten functioneren als autonome uitvoerders van instructies zonder ingebouwde isolatielagen tussen de core-agent en externe skills. Daarnaast wordt aangenomen dat de huidige generatie agent-frameworks nog geen geavanceerde policy-enforcement op skill-niveau implementeert.

Als H1 juist is, zullen Nederlandse overheidsinstellingen die agent-ecosystemen implementeren incidenten ervaren waarbij een gecompromitteerde of malafide skill leidt tot ongeautoriseerde toegang tot gekoppelde systemen. De uitvoering van malafide code zal onopgemerkt blijven totdat de secundaire effecten zichtbaar worden, aangezien de primaire uitvoering door het ontwerp van de agent als legitiem wordt beschouwd.

Discriminator en confidence

De discriminator voor H1 is de locatie van het falen. Detectie faalt niet bij de netwerklaag of identiteitslaag, maar direct bij de interpretatie- en uitvoeringslaag van de LLM-agent. Als een aanval ondanks netwerkbeveiliging (zoals BIO2-voorschriften) succesvol is via een legitiem uitziende skill, bevestigt dit de architecturale kwetsbaarheid.

Confidence: Hoog. De evidence (E1) uit de MaliciousSkillBench-studie levert direct bewijs voor de structurele afwezigheid van sandboxing in huidige agent-architecturen. De directe koppeling met NIS2 supply chain-verplichtingen maakt dit een concreet risico voor de Nederlandse publieke sector.

Hypothese H2: Interne ontwikkeling als risicobeperker

De hypothese stelt dat het risico op malafide agent skills beperkt blijft omdat Nederlandse overheidsorganisaties uitsluitend intern ontwikkelde, gesloten skills gebruiken zonder externe afhankelijkheden. De onderliggende aanname is dat een gesloten ontwikkelomgeving volledige controle biedt over de codebase van een LLM-agent. Dit veronderstelt dat overheidsontwikkelaars alle scripts en resources voor agent-acties vanaf nul opbouwen, zonder integratie van externe bibliotheken of API's.

Evidence en Verwachte Observaties

Supporting evidence voor H2 ontbreekt in de huidige dataverzameling. Indien de hypothese geldig is, verwachten we in de technische architectuur van overheidsagenten een absolute afwezigheid van externe package imports (zoals PyPI of npm) in de skill-scripts. Verwachte observaties zijn volledig geïsoleerde uitvoeringsomgevingen waar agent-acties enkel communiceren met interne, strikt gecontroleerde endpoints via voorgeprogrammeerde protocollen.

De discriminator voor deze hypothese is de statische code-analyse van interne skill-repositories op de aanwezigheid van externe endpoint-URL's of third-party library dependencies. Een positieve match op externe afhankelijkheden verwerpt de hypothese direct.

Contradicting Evidence en Supply Chain Risico's

Contradicting evidence (E1) toont aan dat de supply chain voor agent skills volledig ongereguleerd is. Onderzoek naar MaliciousSkillBench (https://arxiv.org/abs/2608.19901) bewijst dat herbruikbare instructie-pakketten met scripts een direct distributiekanaal vormen voor malafide gedrag. Zelfs bij interne ontwikkeling maken ontwikkelaars vrijwel altijd gebruik van open-source frameworks en bibliotheken om agent-ecosystemen te bouwen. Dit creëert een verborgen externe afhankelijkheid die de premisse van "uitsluitend intern" doorbreekt.

Daarnaast spreekt contradicting evidence (E2) de hypothese tegen vanuit het compliance-perspectief. De NIS2-richtlijn verplicht publieke entiteiten tot strikte supply chain security. De aanname dat interne ontwikkeling immuniteit biedt, is onjuist; NIS2 eist risicobeheer over de gehele ontwikkelketen, inclusief de herkomst van gebruikte libraries in intern geschreven code. Binnen het NORA- en BIO2-kader valt dit onder het beheer van leveranciersafhankelijkheden. Zelfs een intern script dat een externe API aanroept voor gegevensverrijking valt buiten de gesloten scope.

Confidence

De confidence-score voor H2 is laag. De aanname dat overheidsorganisaties volledig geïsoleerde, afhankelijkheidsloze agent-skills bouwen, is technisch onrealistisch in moderne softwareontwikkeling. De afwezigheid van supporting evidence en de sterke contradicting evidence rondom supply chain-aanvallen en NIS2-verplichtingen maken de hypothese onhoudbaar voor actuele praktijkimplementaties.

Hypothese H3: Standaard applicatie-beveiliging als adequate rem tegen kwaadaardige skills

Hypothese: Bestaande standaard applicatie-beveiliging (zoals WAF's en netwerksegmentatie) is voldoende om kwaadaardige acties van geïnfecteerde skills te blokkeren.

Supporting evidence: Het epistemisch plan bevat geen ondersteunende evidence voor deze stelling. Er zijn geen aanwijzingen dat traditionele netwerk- en applicatiebeveiliging ontworpen is voor de semantische complexiteit van LLM-agenten.

Contradicting evidence (E1): Onderzoek naar MaliciousSkillBench (https://arxiv.org/abs/2608.19901) toont aan dat LLM-agent skills een direct distributiekanaal vormen voor malafide gedrag. Skills bevatten herbruikbare instructie-pakketten met scripts en resources die binnen de vertrouwde agent-runtime draaien. Een Web Application Firewall (WAF) inspecteert HTTP-payloads op bekende patronen zoals SQL-injecties. De WAF faalt echter bij het detecteren van semantische prompt-injecties of data-exfiltratie via geautoriseerde API-eindpunten. De supply chain voor agent skills is volledig ongereguleerd, wat direct botst met de NIS2-richtlijn omtrent supply chain security voor overheidsinstanties.

Aannames (Assumptions): De hypothese veronderstelt dat kwaadaardige skills zich uiten in netwerkaanvallen die detecteerbaar zijn op OSI-laag 3 of 7. Dit negeert de architectuur van agent-ecosystemen waarbij de agent zelf legitieme credentials bezit, zoals DigiD-koppelingen of database-toegang. De aanname is dat kwaadaardigheid zich vertaalt in afwijkend netwerkverkeer, in plaats van legitiem verkeer met een illegitieme intentie.

Verwachte observaties (Expected observations): Bij een RAG-agent met geïnfecteerde skills zal de WAF het verkeer naar de vector-database of interne NORA-gegevensbronnen niet blokkeren. De aanvraag voldoet aan het verwachte JSON-formaat en gebruikt de juiste headers. Netwerksegmentatie stopt het verkeer evenmin als de skill gebruik maakt van reeds geautoriseerde uitgaande verbindingen voor data-exfiltratie. De aanval vindt plaats binnen de bestaande vertrouwenszones, onzichtbaar voor perimeter-beveiliging.

Discriminator: De onderscheidende factor is de inspectie-laag. Standaard beveiliging inspecteert protocol, syntaxis en netwerkroutes. Agent-beveiliging vereist inspectie van intentie en semantiek op het niveau van de LLM-orchestrator. Een WAF kan niet differentiëren tussen een legitieme database-query geïnitieerd door een burger en een kwaadaardige query geïnitieerd door een geïnfecteerde skill.

Vertrouwen (Confidence): Laag. De afwezigheid van supporting evidence, gecombineerd met de aanvalsmethoden uit E1, maakt de hypothese onhoudbaar voor moderne AI-architecturen binnen de Nederlandse publieke sector.

Operationele uitwerking van Discriminator D1

Discriminator D1 test de daadwerkelijke uitvoeringsgrenzen van overheids-RAG-agenten. De concrete testopzet omvat het aanbieden van een ogenschijnlijk veilige externe agent skill aan een overheids-RAG-agent. Deze skill, bijvoorbeeld een pakket voor het samenvatten van subsidiedocumenten, bevat een verborgen prompt-injectie. De payload instrueert de agent om een interne database query uit te voeren op een afgeschermde registratie, zoals een BRP- of BSN-gegevensbank.

De observatie die de hypotheses scheidt is binair: of de query wordt uitgevoerd, of de standaardbeveiliging blokkeert de actie. Als de RAG-agent de verborgen instructie parseert en de database query succesvol uitvoert, ondersteunt dit hypothese H1. Dit bewijst dat de architectuur vatbaar is voor malafide skill-uitvoering en dat de externe invoer ongefilterd toegang krijgt tot interne systemen. Weerlegt wordt hiermee hypothese H3, die stelt dat standaard isolatiemechanismen voldoende zijn.

Wordt de query geblokkeerd door standaard beveiligingsmechanismen, zoals strikte sandboxing of output filtering, dan ondersteunt dit H3. De agent herkent de malafide instructie of de uitvoeringsomgeving weigert de interne actie.

Supply chain risico's in agent-ecosystemen

De noodzaak van D1 wordt onderstreept door de huidige staat van agent skill supply chains. Onderzoek toont aan dat herbruikbare instructie-pakketten met scripts en resources een direct distributiekanaal vormen voor malafide gedrag (https://arxiv.org/abs/2608.19901). Er is geen systematische regulering of detectie voor deze skills. Voor de Nederlandse publieke sector, waar RAG-agenten met DigiD-koppelingen worden gebouwd, vormt dit een acuut threat model.

De uitkomst van D1 heeft directe implicaties voor NIS2-naleving. NIS2 verplicht tot supply chain security voor essentiële en belangrijke entiteiten. Als D1 aantoont dat externe skills ongecontroleerd interne queries kunnen uitvoeren (H1), ontbreekt de beheersing van de toeleveranciersketen volledig. Binnen het BIO2-raamwerk en de NORA-architectuurprincipes faalt dan de toegangsbeheersing en netwerksegmentatie. Het uitvoeren van D1 levert de harde technische evidentie die CISO's van ministeries nodig hebben om de effectiviteit van hun AI-architectuur te beoordelen.

Falsification, wat zou de conclusie verzwakken?

De kernclaim en de falsificatievoorwaarde

De stelling dat LLM-agent skills een direct en ongereguleerd distributiekanaal voor malafide gedrag vormen, vereist een toetsbare grens. Een analyse faalt epistemisch zonder een waarneming die deze stelling kan doorbreken. De falsifier is hier scherp gedefinieerd: indien een gecontroleerde test aantoont dat de standaard validatie-pijplijn van een overheidsorganisatie 100 willekeurige open-source agent skills met verborgen kwaadaardige payloads automatisch afvangt, verliest de claim zijn materiële basis. De afwezigheid van ongefilterde executie ondermijnt dan de noodzaak voor specifieke supply chain-controles voor AI-agenten.

Het observeerbare testontwerp

Om de falsifier daadwerkelijk te testen, moet de validatie-pijplijn worden blootgesteld aan de MaliciousSkillBench (https://arxiv.org/abs/2608.19901). Het testontwerp vereist de integratie van 10 skills uit deze benchmark in een representatieve overheids-RAG-agent. De omgeving simuleert een gemeentelijke setup, inclusief een dummy-patiëntendossier met AVG-persoonsgegevens. De monitor registreert of de kwaadaardige acties, zoals het uitlekken van dit dossier via de RAG-context, succesvol worden uitgevoerd ondanks de actuele netwerk- en applicatiebeveiliging volgens de BIO2- en NORA-standaarden.

Scenario's van falsificatie en bevestiging

Twee uitkomsten domineren dit experiment. Bij bevestiging voert de agent de payload uit en exfiltreert data zonder waarschuwing. Dit ondersteunt de claim van een ongereguleerd distributiekanaal en activeert directe NIS2-supply chain-zorgplichten voor de verantwoordelijke CISO. Bij falsificatie blokkeert de bestaande defensieve architectuur de 10 skills effectief. De standaard applicatiebeveiliging detecteert de anomalous script-execution of ongeoorloofde API-calls naar externe servers. Indien de overheidsinfrastructuur de payloads structureel neutraliseert, is de dreiging van agent skills materieel kleiner dan de benchmark suggereert en verschuift de focus naar reguliere sandboxing.

De causale keten van agent skill-exfiltratie

LLM-agenten integreren externe skills die herbruikbare scripts en resources uitvoeren binnen de runtime van de agent. Onderzoek naar MaliciousSkillBench (https://arxiv.org/abs/2608.19901) toont aan dat deze skills een direct distributiekanaal vormen voor malafide gedrag. De aanvalsvector volgt een causale keten: een kwaadaardige skill wordt geladen, het ingebedde script initialiseert, en de agent voert ongeautoriseerde netwerkverzoeken uit voor data-exfiltratie. Bij Nederlandse overheidsinstanties die RAG-agenten met DigiD-koppelingen bouwen, betekent dit dat een gecompromitteerde skill direct toegang heeft tot de sessiecontext en gevoelige persoonsgegevens. De schade is een direct gevolg van de ongeremde uitvoeringsrechten van de geladen skill.

Stresstest: isolatie van netwerktoegang als causale breuk

Als causale stresstest geldt de volgende counterfactual: als de uitvoeringsomgeving van de LLM-agent strikte sandboxing en privilege-escalatie controles afdwingt op alle externe skills, verandert de uitkomst fundamenteel. De kwaadaardige payload wordt in dit scenario nog steeds geladen en uitgevoerd, maar de daadwerkelijke data-exfiltratie of ongeautoriseerde toegang treedt niet op. De sandbox blokkeert netwerkverzoeken die buiten een expliciete whitelist vallen. De causale keten breekt hierdoor op het punt van externe communicatie. De aanvaller kan wel lokaal geheugen manipuleren, maar kan geen data richting een externe server sturen of lateraal bewegen naar backend-systemen. Dit toont aan dat de schade niet inherent is aan de kwaadaardige code zelf, maar aan de ontbrekende isolatiemaatregelen in de uitvoeringsomgeving.

Vertaling naar NIS2 en BIO2-besturing

Deze counterfactual bevestigt dat detectie van malafide skills via benchmarks onvoldoende is; de primaire beheersmaatregel ligt bij de infrastructuur. Binnen de NIS2-richtlijn voor supply chain security vereist dit dat overheidsorganisaties technische beperkingen opleggen aan externe componenten. De sandboxing van agent-skills vertaalt zich direct naar BIO2-maatregelen rondom netwerksegmentatie en het principe van least privilege. De AI Act verplicht voor hoog-risico AI-systemen bovendien technische robuustheid, waarbij het isoleren van externe plugins een harde eis is. Architectuurprincipes uit de NORA dicteren dat koppelvlakken alleen via streng gecontroleerde gateways mogen communiceren. Het afdwingen van een netwerk-whitelist voor agent-skills is hiermee geen optionele beveiligingslaag, maar een noodzakelijke voorwaarde om de causale keten van exfiltratie te doorbreken.

Bevestiging van bestaande kennis: vertrouwensvalidatie van externe code

De introductie van de MaliciousSkillBench (https://arxiv.org/abs/2608.19901) bevestigt een fundamentele invariant in softwarebeveiliging: de noodzaak om vertrouwen in externe code en scripts te valideren blijft bestaan, ongeacht de onderliggende LLM-architectuur of modelgrootte. Of een script nu draait in een traditionele microservice of is ingebed in een LLM-agent skill, het risico op arbitrary code execution of data-exfiltratie is identiek. De verschuiving naar agentic systems lost het supply chain-aanvalsvector niet op. Het verandert enkel het dragerformaat van gecompileerde binaries of Python-pakketten naar herbruikbare instructie-pakketten met uitvoerbare scripts en API-koppelingen. Oude dreigingsmodellen voor gegevenshuishouding volgens NORA blijven onverkort van kracht.

Nieuwe verpakking versus daadwerkelijke noviteit

De categorisering van aanvallen in prompt injection, scriptmanipulatie en resource poisoning is grotendeels nieuwe verpakking van bekende web security-dreigingen, zoals cross-site scripting en dependency confusion. De daadwerkelijke noviteit ligt in de systematische toepassing en materialisatie van deze vectoren op de specifieke structuur van agent skills. Een skill is een samengesteld pakket van instructies, scripts en resources. De benchmark levert het eerste concrete, meetbare dataset om kwaadaardig gedrag binnen deze samengestelde structuur te detecteren. Dit verplaatst het debat van theoretische prompt-injectie naar uitvoerbare supply chain-dreigingen binnen agent frameworks, waarbij de natuurlijke taal-instructie fungeert als de vector voor de onderliggende script-uitvoering.

Nieuwe implicatie: NIS2-koppeling voor de Nederlandse overheid

De combinatie van deze evidence met Europese compliance-kaders leidt tot een nieuwe implicatie. Nederlandse overheidsorganisaties die agent-ecosystemen bouwen, zoals RAG-agents met DigiD-koppelingen, behandelen externe skills vaak als ongevaarlijke prompt-sjablonen. Echter, skills voeren code uit en verwerken persoonsgegevens. Het expliciet koppelen van de LLM-agent skill supply chain aan de juridische NIS2-verplichtingen creëert een nieuw compliance-argument voor agent security reviews. Onder de NIS2-richtlijn moeten overheidsentiteiten hun directe leveranciers en kritische ICT-diensten beveiligen. Een externe agent skill functioneert technisch als een software-afhankelijkheid. Het ongecontroleerd implementeren van third-party skills schendt de NIS2 supply chain-controls en raakt AVG-verplichtingen rondom verwerkersovereenkomsten. Dit maakt een agent security review een juridische noodzaak in plaats van een optionele technische best practice binnen het BIO2-kader.

Implementatiesnelheid NIS2 in gemeentelijke AI-architecturen

De exacte implementatiesnelheid van NIS2-richtlijnen in Nederlandse gemeentelijke AI-architecturen is UNKNOWN. Op source-niveau ontbreekt een gecentraliseerd register dat specifieke AI-componenten koppelt aan NIS2-conformiteitsbewijzen binnen decentrale overheden. De measurement is problematisch: er is geen uniforme baseline voor wat een gemeentelijke AI-architectuur omvat, waardoor temporele vergelijkingen tussen gemeenten onmogelijk zijn. Op model-niveau is de vertaling van NIS2-supply chain eisen naar lokale RAG-implementaties of agent-architecturen niet gestandaardiseerd in referentiekaders zoals NORA. De causal onzekerheid betreft de daadwerkelijke invloed van de richtlijn: leidt de wettelijke NIS2-druck tot fundamentele architectuuraanpassingen, of slechts tot administratieve compliance-documentatie zonder technische harding van de AI-stack?

Vendor-controles voor agent skills

Of commerciële leveranciers van overheids-AI-platforms al eigen controles bouwen voor agent skills buiten de MaliciousSkillBench-methodologie om, is UNKNOWN en deels SPECULATIVE. De source van deze onzekerheid ligt in de gesloten aard van enterprise AI-platforms; leveranciers publiceren zelden hun interne security-pipelines voor skill-validatie. Op measurement-niveau ontbreekt een openbaar benchmark-framework om vendor-specifieke controles onafhankelijk te toetsen. De model-onzekerheid reflecteert de onbekende structuur van propriëtaire skill-ecosystemen en de mate waarin deze afwijken van open-standaarden. Causaal is het onduidelijk of de publicatie van MaliciousSkillBench (https://arxiv.org/abs/2608.19901) direct leidt tot versnelde vendor-controles, of dat leveranciers wachten op formele AI Act-standaardisatie.

Bewijsvoering omtrent supply chain kwetsbaarheden

De stelling dat de supply chain voor agent skills volledig ongereguleerd is, is ESTABLISHED binnen de context van het onderzochte dreigingsmodel. De paper identificeert LLM-agent skills als direct distributiekanaal voor malafide gedrag, wat als HIGH_CONFIDENCE kan worden geclassificeerd gezien de aangetoonde uitvoerbaarheid van embedded scripts en resources. Voor de Nederlandse publieke sector betekent dit een concrete risicovergroting bij DigiD-koppelingen en RAG-agenten die externe instructie-pakketten laden. De afhankelijkheid van externe skill-repositories raakt aan AVG-vereisten omtrent onbevoegde gegevensverwerking en AI Act-eisen voor systeemrobustheid. De koppeling van dit specifieke dreigingsmodel met bestaande BIO2- en NIS2-kaders is PROBABLE, maar vereist nog empirische validatie in Nederlandse gemeentelijke contexten.

Koppeling met compliance-kaders

De veronderstelling dat NIS2-druck direct resulteert in aangepaste inkoopvoorwaarden voor AI-skills is PLAUSIBLE. Op causal niveau is het mechanisme helder: NIS2 verplicht tot risicobeheer van de ICT-supply chain. Echter, de measurement van dit effect is lastig vast te stellen omdat inkoopprocessen via PIANOi en decentrale Europese aanbestedingen sterk fragmenteren. Op source-niveau ontbreken nog concrete BIO2-controlemaatregelen die specifiek refereren aan agent skills of LLM-instructiepakketten. De vertaling van het MaliciousSkillBench-dreigingsmodel naar concrete BIO2-controles is daarom nog onontwikkeld.