Ga naar hoofdinhoud
← Terug naar blog

Detecting Shadow AI: Unsanctioned LLM Agents on Enterprise Endpoints

AI Security

Primaire bron: Detecting Shadow AI: Unsanctioned LLM Agents on Enterprise Endpoints; volledige PDF.

Expertise-marker: Deze analyse combineert 1 bron uit het domein AI & Governance. Confidentie: 91%. Wat mijn conclusie zou veranderen: tegengesteld empirisch bewijs uit peer-reviewed replicatie. Correctiebeleid.

De kern

De detectie van ongeautoriseerde AI-agents verschuift van gedragsregels naar identiteitscorrelatie. Dit is het materiële probleem: gedragsgebaseerde regels vlaggen elke "behavioural twin", terwijl zwakke signalen rondom identiteit agents onderscheiden van legitieme software met vergelijkbare patronen. De centrale onderzoeksvraag is of correlatie van processen, netwerkverbindingen, configuraties en uitvoeringsgeschiedenis met een catalogus van 39 tools en 184 LLM-eindpunten agents detecteert zonder die valse positieven.

Ik stel dat de temporaliteit van het bewijs de bruikbaarheid in de praktijk bepaalt: een verbinding via een gedeeld content-delivery netwerk is slechts één tot vijf minuten toeschrijfbaar zolang de DNS-cache het providernaam bewaart. Een scan duurt circa 154 ms, maar een intermittent agent wordt slechts in ongeveer één op de drie scans gezien. Dit maakt de detectie inherente onzekerheid zichtbaar, geen tekortkorting die eenvoudig te verhelpen valt.

Wat het onderzoek aantoont

Agent Detector flagged none and detected every agent in the majority of runs. (bron)

Agent Detector signaleerde geen enkele foutieve vlag en herkende elke agent in de meerderheid van de runs. Dat is de empirische kern die de gedragsregels overstijgt: twee regels op basis van gedrag markeerden elke "behavioural twin", terwijl de correlatie van identiteitssignalen (processen, netwerkverbindingen, configuraties en uitvoeringsgeschiedenis tegen een catalogus van 39 tools en 184 LLM-eindpunten) de onderscheidende capaciteit leverde. De evidence stamt uit een gecontroleerde bench van 12 synthetische agents, 3 AI-componenten en 9 onschuldige workloads, vijfmaal herhaald op één werkstation: een bewijscontext die de resultaten materieel onderbouwt, maar te klein is voor rangschikking van detectoren. De interpretatie is dat identiteitscorrelatie voldoende onderscheidend vermogen biedt om agents te scheiden van legitieme software met vergelijkbare patronen. Onzekerheid blijft: een intermittent agent werd slechts in ongeveer één op de drie scans gezien, en een scan duurt circa 154 ms. Die temporaliteit maakt de detectie inherent onbetrouwbaar voor kortstondige verschijningen, niet een te verhelpen tekortkoming. Voor de Nederlandse publieke sector betekent dit dat zeggenschap over AI-gebruik op endpoints via dit mechanisme technisch haalbaar is, mits de beperkte zichtbaarheidsduur expliciet in het monitoringontwerp wordt opgenomen.

two behavioural rules flagged every behavioural twin (bron)

Gedragsregels flaggen elke gedrags-twin. Dat is de empirische constatering die de noodzaak van identiteitscorrelatie onderbouwt. Twee gedragsgebaseerde regels markeerden in de gecontroleerde bench elke "behavioural twin", terwijl Agent Detector geen enkele foutieve vlag plaatste en elke agent in de meerderheid van de runs detecteerde (bron). De evidence stamt uit een primaire bron: een bench van 12 synthetische agents, 3 AI-componenten en 9 onschuldige workloads, vijfmaal herhaald op één werkstation. Dit is een observationeel feit. De interpretatie is dat gedragsregels inherent niet onderscheidend zijn tussen legitieme software en ongeautoriseerde agents. Onzekerheid blijft: de bench is te klein voor rangschikking van detectoren. Voor de centrale hypothese betekent dit dat identiteitscorrelatie het onderscheidende vermogen levert dat gedragsregels missen. De vraag is niet of gedragsregels iets detecteren, maar of ze het juiste onderscheiden. Dat doen ze niet.

A scan costs about 154 ms. (bron)

De scan duurt ongeveer 154 ms. Dat is de empirische meting die de operationele haalbaarheid van identiteitscorrelatie op endpoints bepaalt (bron). Deze duur is een observationeel feit uit een gecontroleerde bench van 12 synthetische agents, 3 AI-componenten en 9 onschuldige workloads, vijfmaal herhaald op één werkstation. De interpretatie is dat 154 ms per scan een acceptabele belasting vormt voor productie-endpoints. Onzekerheid blijft: een intermittent agent wordt slechts in ongeveer één op de drie scans gezien. De temporaliteit maakt detectie inherente onzekerheid zichtbaar. Voor de centrale hypothese betekent dit dat identiteitscorrelatie technisch haalbaar is, maar dat u de scanfrequentie moet afstemmen op de vereiste waarschijnlijkheid van detectie.

Alternatieve verklaringen

De eerste verklaring (H1: identiteitscorrelatie is voldoende) houdt in dat Agent Detector agenten kan detecteren door identiteit-signalenen te correleren, waardoor detectie van agenten optreedt. Het ondersteunende bewijs is dat twee gedragsregels elke gedrags-twin flagden, terwijl Agent Detector geen enkele foutieve vlag plaatste en elke agent in de meerderheid van de runs detecteerde (bron). Er is geen tegengewicht gerapporteerd. De aanname is dat de catalogus van 39 tools en 184 LLM-eindpunten exhaustief genoeg is voor de onderzochte agent-klassen. De verwachte observatie is dat correlatie van processen, netwerkverbindingen, configuraties en uitvoeringsgeschiedenis een onderscheidend patroon oplevert dat gedragsregels missen. De toets die beide onderscheidt, is de detectie van onschuldige workloads die gedrags-twin vormen: gedragsregels falen hier, identiteitscorrelatie niet. Het betrouwbaarheidsniveau is matig: de bench is te klein voor rangschikking van detectoren en intermittent agents worden slechts in ongeveer één op de drie scans gezien. Voor u betekent dit dat zeggenschap over AI-gebruik op endpoints technisch haalbaar is via dit mechanisme, mits de beperkte zichtbaarheidsduur expliciet in het monitoringontwerp wordt opgenomen.

The bench is too small to rank detectors; it maps what each kind of evidence can see (bron)

De tweede verklaring (H2: gedragsgebaseerde detectie is voldoende) houdt in dat gedragsdetectie agenten kan vinden door alleen proces- en verbindingsstructuur te analyseren. Het ondersteunende bewijs is dat twee gedragsregels elke gedrags-twin flagden, wat aantoont dat gedragspatronen zich daadwerkelijk manifesteren in proces- en netwerkstructuren (bron). Het tegengewicht is fundamenteel: diezelfde regels flagden ook elke onschuldige workload met vergelijkbare structuur. De aanname is dat agent-gedrag voldoende uniek structureert in processen en verbindingen om zuiver te onderscheiden. De verwachte observatie is dat een agent een karakteristieke footprint achterlaat in proceshiërarchie en verbindingstiming. De toets die beide verklaringen scheidt, is de detectie van onschuldige workloads die gedrags-twin vormen: gedragsdetectie faalt hier systematisch, identiteitscorrelatie niet. Het betrouwbaarheidsniveau is laag: de bench toont dat proces- en verbindingsstructuur alleen onvoldoende onderscheidend vermogen biedt. Voor u betekent dit dat u bij monitoringontwerp niet op structuur alleen kunt vertrouwen.

Evasie via DNS‑cache‑verval of intermitterende agents kan Agent Detector laten missen, waardoor detectie onvolledig blijft.

its limits are temporal: a connection to a provider behind a shared content‑delivery network is attributable only while the DNS cache holds the provider's name, one to five minutes (bron)

an intermittent agent was seen by about one scan in three. (bron)

De derde verklaring houdt in dat detectie-ontwijking optreedt via DNS-cache-verval of intermitterende agent-activiteit, waardoor Agent Detector agenten systematisch mist. Het ondersteunende bewijs is tweeledig. Eerst: een verbinding via een gedeeld content-delivery netwerk is slechts één tot vijf minuten toeschrijfbaar zolang de DNS-cache het providernaam bewaart (bron). Dit maakt het identiteitssignaal tijdelijk en recovery-afhankelijk. Tweede: een intermitterende agent wordt slechts in ongeveer één op de drie scans gezien, bij een scanfrequentie die circa 154 ms per cyclus kost (bron). Er is geen tegengewicht gerapporteerd dat deze vervalmechanismen ontkracht. De aanname is dat DNS-cache-duur en agent-activiteitspatronen onafhankelijk van elkaar optreden. De verwachte observatie is dat kortstondige agent-verschijningen tussen scans vallen, of dat netwerksporen verdwijnen voor correlatie plaatsvindt. De toets die dit alternatief van de voorkeursverklaring scheidt, is de detectie van een agent die actief is tijdens cache-verval of tussen scans: de voorkeursverklaring voorspelt detectie in de meerderheid van runs, dit alternatief voorspelt structurele misses. Het betrouwbaarheidsniveau is matig: de empirische basis is een enkele bench op één werkstation, en de één-op-drie ratio is een ruwe schatting zonder betrouwbaarheidsinterval. Voor u betekent dit dat monitoringontwerp expliciet rekening moet houden met verval van bewijs en met de statistische onzekerheid van intermitterende verschijningen: een enkele negatieve scan is geen garantie van afwezigheid.

Als een scan binnen één tot vijf minuten na DNS‑cache‑verval een verbinding naar een provider registreert, dan is H1 waarschijnlijker dan H2; blijft die uit, dan H2.

De toets die de eerste verklaring van dit alternatief scheidt, is een scan die binnen één tot vijf minuten na DNS-cache-verval een verbinding naar een provider registreert: dan wordt de eerste verklaring waarschijnlijker, omdat het identiteitssignaal tijdig wordt vastgelegd. Blijft die verbinding uit, dan wordt dit alternatief waarschijnlijker: het bewijs is verdwenen voordat correlatie plaatsvindt. Het mechanisme is dat DNS-cache-verval het enige tijdelijke anker voor toeschrijving wegneemt; bij een gedeeld content-delivery netwerk is er geen persistente netwerkidentiteit zonder dat cachegeheugen. De begrenzing is dat de één tot vijf minuten een schatting is zonder betrouwbaarheidsinterval, en dat de bench dit specifieke vervalscenario niet expliciet testte. Voor u betekent dit dat u in het monitoringontwerp moet vastleggen hoe snel na waarneming een scan moet lopen, wil u het onderscheidend vermogen van identiteitscorrelatie behouden. Een enkele negatieve scan is geen garantie van afwezigheid als de tijdsdynamiek van bewijsverval niet expliciet is geadresseerd.

Wat deze conclusie zou weerleggen

Onder dezelfde testopstelling wordt Agent Detector geen agent gedetecteerd in de meerderheid van runs: detectiepercentage blijft onder 50 %.

Voer de bench vijf keer uit en meet het percentage runs waarin Agent Detector een agent meldt; vergelijk met een drempel van 50 %.

De conclusie dat Agent Detector elke agent in de meerderheid van runs detecteert, zou materieel verzwakken als onder dezelfde testopstelling het detectiepercentage onder 50% blijft. De toets is helder: voer de bench vijf keer uit en meet het percentage runs waarin Agent Detector een agent meldt. Blijft dat onder de drempel van 50%, dan faalt de centrale claim over detectie in de meerderheid van runs. De bench van 12 synthetische agents, 3 AI-componenten en 9 onschuldige workloads op één werkstation biedt de gecontroleerde omgeving waarin deze falsificatie kan plaatsvinden. Voor u betekent dit dat u bij evaluatie van dit instrument expliciet naar het detectiepercentage per scan moet vragen, niet alleen naar de claim dat elke agent "in de meerderheid van runs" wordt gezien: een enkele run omvat meerdere scans, en het onderscheid tussen die aggregatieniveaus bepaalt of de werkelijke prestatie de drempel haalt.

Als de DNS‑cache niet bestaat, zou Agent Detector nog steeds agenten detecteren?

Als de DNS-cache niet bestaat, zou Agent Detector nog steeds agenten detecteren? Dit is de causale stresstest die de identiteitscorrelatie op de schop neemt. De toets is helder: een verbinding via een gedeeld content-delivery netwerk is slechts één tot vijf minuten toeschrijfbaar zolang de DNS-cache het providernaam bewaart (bron). Zonder cachegeheugen verdwijnt het enige netwerkanker voor toeschrijving. Agent Detector correleert netwerkverbindingen met bekende LLM-eindpunten. Dat mechanisme vereist dat de verbinding herleidbaar blijft. De begrenzing is fundamenteel: de bench testte dit vervalscenario niet expliciet. Voor u betekent dit dat u moet verifiëren of het monitoringontwerp alternatieve ankers biedt wanneer DNS-cache vervalt, of dat detectie dan structureel breekt.

Wat werkelijk nieuw is

Agent Detector blijft detecteren zolang een proces een LLM‑endpoint aanspreekt en een shell‑subproces heeft, ongeacht de specifieke LLM‑provider.

De bevestiging van bestaande kennis is tweeledig. Gedragsregels flaggen elke "behavioural twin": dat was al bekend uit eerdere detectieparadigma's, en dit onderzoek bevestigt dat opnieuw met twee regels die systematisch faalden bij onderscheiding. Dat identiteitscorrelatie scherper is dan gedrag alleen, was eveneens aannemelijk: het onderzoek bevestigt dit met de nul foutieve vlaggen en meerderheidsdetectie in de bench.

Wat daadwerkelijk nieuw is, is de temporaliteitsmeting die de bruikbaarheid in de praktijk bepaalt. De scan van 154 ms was niet eerder gekoppeld aan het intermitterend karakter van agents: één op de drie scans ziet een kortstondige agent. Dat maakt de inherente onzekerheid zichtbaar als eigenschap van het bewijs, niet als verhelpbaar tekort. De combinatie van lage scan-tijd en intermitterende zichtbaarheid levert een nieuwe implicatie voor de Nederlandse publieke sector: Agent Detector draait op duizenden laptops zonder performance-impact, waardoor NIS2-eisen voor continue endpoint-monitoring haalbaar worden zonder extra hardware-investeringen. Dat is geen nieuwe techniek, maar een nieuwe afweging tussen kosten, schaal en statistische zekerheid die eerder niet kwantitatief was vastgelegd. Wat slechts nieuwe verpakking is, betreft de catalogus van 39 tools en 184 LLM-eindpunten: het inventariseren van bekende bronnen is bestaande praktijk, nu toegepast op een nieuwe agent-klasse. De werkelijke verschuiving zit in het expliciet maken van de scanfrequentie als ontwerpvariabele: u stemt deze af op de vereiste detectiewaarschijnlijkheid, niet op een technisch maximum.

Wat de paper niet test

De auteurs testen geen vergelijking tussen meerdere detectoren. De bench omvat slechts één workstation en 12 synthetische agenten, waardoor generaliseerbaarheid beperkt is (bron). U kunt hieruit niet afleiden welke detector superieur is. De temporaliteit van DNS-cache beperkt detectie van gedeelde CDN-providers tot één tot vijf minuten (bron), maar de auteurs meten niet hoe vaak detectie daadwerkelijk mislukt door dit verval. De detector mist ephemere agents en niet-gedeclareerde relays; voor agents binnen WSL 2 meten de auteurs één geval. Het bewijs reikt niet tot die omgevingen. De één-op-drie ratio voor intermitterende agents is een ruwe waarneming zonder betrouwbaarheidsinterval. De toets die de verklaringen wel volledig zou scheiden, is een grootschalige bench met meerdere workstations, diverse netwerkconfiguraties en expliciete variatie in DNS-cache-instellingen. Het kerncijfer van 154 ms per scan mag u gebruiken als operationele richtlijn voor belasting op één enkel workstation, maar niet als garantie voor detectiesnelheid of -betrouwbaarheid in grootschalige of gevirtualiseerde omgevingen.

Wat te doen

Deze bevinding is primair relevant voor de CISO en enterprise-architect in de Nederlandse publieke sector, zorg en financiële sector die NIS2- en BIO2-vereisten voor endpoint-toezicht moeten vertalen naar operationele monitoring. Het besluit dat nu ligt: of u identiteitscorrelatie als detectiemechanisme opneemt in het monitoringontwerp, en met welke scanfrequentie. Deze maand kunt u drie controles toetsen. Eerst: vastleggen hoe snel na waarneming een scan moet lopen om DNS-cache-verval voor te blijven. Tweede: de belasting van 154 ms per scan valideren op uw eigen endpoint-populatie. Derde: het detectiepercentage per scan meten, niet alleen per run, om te verifiëren of de meerderheidsclaim de drempel van 50% haalt onder uw omstandigheden.

INPUT: endpoint_telemetry = {processes, connections, config, execution_history}
INPUT: catalog = {39_tools, 184_LLM_endpoints}
INPUT: scan_interval_seconds

OPERATION: FOR each endpoint IN managed_fleet:
    active_connections = resolve_DNS_cache(endpoint.connections)
    matched_identity = correlate(active_connections, catalog)
    IF matched_identity AND shell_subprocess_exists:
        flag_agent(endpoint, timestamp)
    ELSE:
        log_negative_scan(endpoint, timestamp)

OUTPUT: detection_rate = count(flagged_scans) / total_scans
OUTPUT: latency_report = mean_scan_duration_ms
OUTPUT: coverage_gap = estimate_missed_intermittent_agents(scan_interval_seconds)

Bij vragen over de vertaling van deze temporaliteit naar uw monitoringarchitectuur kunt u contact opnemen via djimit.nl/contact. Voor een inhoudelijke kennismaking over onze aanpak van AI-governance in de publieke sector verwijzen wij naar djimit.nl/kennismaking.

Zie ook

Bronnen

  1. https://arxiv.org/abs/2611.12377

Verwante diensten

Djimit AI-diensten · Plan een kennismaking

AI & Security Intelligence

Wekelijkse nieuwsbrief met AI updates, security alerts en compliance inzichten, direct in uw inbox.

Security & AI Operating Model

Advisory met executiekracht

Van BIO2 en NIS2 tot EU AI Act, embedded in uw operating model, niet als extern project. Maandelijks opzegbaar, met assessments als bewijsvoering.