Ga naar hoofdinhoud

Dit whitepaper is de uitgebreide versie van Tether: formeel geverifieerde bewaking vangt cumulatieve systeemrisico's van AI-agents.

Primaire bron: Tether: Verified Stateful Policy Engine for System-Level Monitoring of Agents; volledige PDF.

Expertise-marker: Deze analyse combineert 1 bron uit het domein AI & Governance. Confidentie: 95%. Wat mijn conclusie zou veranderen: tegengesteld empirisch bewijs uit peer-reviewed replicatie. Correctiebeleid.

De kern

De traditionele aanpak van prompt-based guardrails voor AI-agents richt zich op invoerfiltering en outputmoderatie. Dat paradigma faalt wanneer een autonome agent willekeurige shell-commando's uitvoert: het beleid moet stateful zijn en rekening houden met cumulatieve systeemtoestanden, niet alleen met geïsoleerde transacties. De centrale vraag is daarom hoe een beveiligingslaag formeel kan garanderen dat opeenvolgende commando's gezamenlijk geen verboden informatiestromen of privilege-escalaties veroorzaken, zonder de operationele bruikbaarheid van de agent op te heffen. Ik beschouw deze vraag als materieel omdat elke publieke-sectororganisatie die AI-agents inzet op infrastructuurniveau, een reproduceerbare methode nodig heeft om te verifiëren dat het beleid daadwerkelijk het gewenste gedrag uitsluit. Tether introduceert daarvoor een sandbox-gebaseerde architectuur waarbij voorgestelde acties eerst in isolatie worden uitgevoerd, de semantiek van systeemaanroepen wordt geabstraheerd, en een in Lean 4 ingebedde domeinspecifieke taal (EDSL) het stateful beleid formeel verifieert alvorens de actie toe te staan (allow) of te blokkeren (deny) (https://arxiv.org/abs/2611.25599). De evaluatie toont 100% adversarial recall op MonitoringBenchHonest (199 adversarial trajecten) en LinuxArena (145 adversarial trajecten), met false-positive rates van respectievelijk 2,3% (218 benigne trajecten) en 5,0% (1.372 benigne trajecten). Deze beperking geldt echter: Tether benadert de exacte commandosemantiek via overbenadering van informatiestromen en privilege-effecten; ongetraceerde externe state kan niet op fine-grained niveau gevolgd worden maar wordt wel deterministisch gedetecteerd en geblokkeerd aan de grens, en puur semantische aanvallen zonder systeemniveau-invariantschending vallen buiten de detectiecapaciteit.

Wat het onderzoek aantoont

Tether blokkeert 100 % van in‑scope aanvallen met een valse‑positieve ratio onder 5 % op de geëvalueerde benchmarks.

Tether blocks 100% of in-scope attacks while maintaining a benign false-positive rate under 5%. (bron)

On all in-scope trajectories (where all actions are traced by our system), Tether achieves 100 % adversarial recall with a low false-positive rate of 2.3 % on MonitoringBenchHonest and 5.0 % on LinuxArena. (bron)

Het onderzoek toont dat Tether 100% van de in-scope aanvallen blokkeert met een valse-positieve ratio onder de 5% op de geëvalueerde benchmarks. Deze prestatie is empirisch vastgesteld op twee datasets: MonitoringBenchHonest omvat 199 adversariale en 218 benigne trajecten; LinuxArena omvat 145 adversariale en 1.372 benigne trajecten. Op MonitoringBenchHonest bedraagt de valse-positieve ratio 2,3%; op LinuxArena 5,0% (https://arxiv.org/abs/2611.25599). Dit zijn observaties uit de primaire bron. De interpretatie dat Tether daarmee een reproduceerbare methode biedt voor formele verificatie van stateful beleid, volgt uit de architectuur die deze resultaten mogelijk maakt: sandbox-isolatie, abstractie van systeemaanroepen en beleidsafdwinging via een in Lean 4 ingebedde domeinspecifieke taal. De centrale hypothese, dat stateful beveiligingsbeleid formeel geverifieerd kan worden voor autonome AI-agents met willekeurige shell-commando's, wordt hiermee ondersteund voor het gedefinieerde toepassingsgebied. Relevante onzekerheid blijft: de metingen gelden uitsluitend voor trajecten waarbij alle acties traceerbaar zijn; interacties met ongetraceerde externe state en puur semantische aanvallen vallen buiten scope (https://arxiv.org/abs/2611.25599).

Tether inferreert abstracte acties uit systeem‑calls binnen een geïsoleerde sandbox en handhaaft stateful beleid gedefinieerd in Lean 4, waardoor formele verificatie van beleidscorrectheid mogelijk is.

We implement our abstract action calculus and policy language as an embedded domain-specific language (EDSL) in Lean 4, a dependently typed programming language and interactive theorem prover with a small trusted kernel. (bron)

Tether executes each proposed action in an ephemeral, isolated sandbox, inferring abstract action semantics from observed system calls. (bron)

Het onderzoek toont dat Tether abstracte acties afleidt uit systeemaanroepen binnen een geïsoleerde sandbox en stateful beleid handhaaft dat is gedefinieerd in Lean 4. Dit maakt formele verificatie van beleidscorrectheid mogelijk. De auteurs implementeren hun abstracte actiecalculus en beleidstaal als een ingebedde domeinspecifieke taal in Lean 4, een afhankelijk getypeerde programmeertaal en interactieve theorembewijzer met een kleine vertrouwde kernel (https://arxiv.org/abs/2611.25599). Tether voert elke voorgestelde actie uit in een vluchtige, geïsoleerde sandbox en leidt abstracte actiesemantiek af uit waargenomen systeemaanroepen (https://arxiv.org/abs/2611.25599). Deze twee mechanismen zijn observaties uit de primaire bron. De interpretatie dat hierdoor een reproduceerbare verificatieketen ontstaat, volgt uit de architectuur zelf: de sandbox isoleert neveneffecten, de abstractie vertaalt concrete systeemaanroepen naar formeel bewijsbare invarianten, en Lean 4's kleine vertrouwde kernel verkleint het vertrouwensoppervlak voor de correctheidsgaranties. De centrale hypothese, dat stateful beveiligingsbeleid formeel geverifieerd kan worden voor autonome AI-agents met willekeurige shell-commando's, wordt hiermee onderbouwd voor het gedefinieerde toepassingsgebied. Relevante onzekerheid blijft: Tether benadert exacte commandosemantiek via overbenadering van informatiestromen en privilege-effecten, en kan geen trajecten volgen die ongetraceerde externe state benutten of puur semantische aanvallen zonder systeemniveau-invariantschending bevatten (https://arxiv.org/abs/2611.25599).

Tether over‑approximeert informatie‑flow, waardoor af en toe valse positieven ontstaan maar gemiste data‑flows worden vermeden.

Because reconstructing the exact data flow of an arbitrary process from system calls alone is impossible in general, Tether does not assume that the exact semantics of any terminal action can be recovered; instead, it over-approximates the command’s information-flow and privilege side effects. The out-of-scope trajectories comprise either (i) interactions with untraced external state (such as background daemons, database queries, etc.), which cannot be tracked at a fine grain but which Tether can deterministically detect and block at the boundary, or (ii) purely semantic attacks that violate no system-level flow invariants and thus cannot be prevented by any formal guardrail without sacrificing utility. (bron)

Tether overbenadert de informatiestroom en privilege-effecten van een commando omdat reconstructie van exacte dataflow uit systeemaanroepen algemeen onmogelijk is. Deze overbenadering vermijdt gemiste dataflows maar introduceert af en toe valse positieven. De auteurs erkennen expliciet dat twee trajectcategorieën buiten scope vallen: interacties met ongetraceerde externe state (bijvoorbeeld achtergrondprocessen of databasequeries) die wel deterministisch gedetecteerd en geblokkeerd kunnen worden aan de grens, en puur semantische aanvallen die geen systeemniveau-invariant schenden en daarom door geen enkel formeel guardrail te voorkomen zijn zonder verlies van bruikbaarheid (https://arxiv.org/abs/2611.25599). Dit is een fundamenteel mechanisme, geen implementatietekort: de keuze voor overbenadering volgt rechtstreeks uit de theoretische grens van systeemaanroepreconstructie. Voor u als beslisser betekent dit dat Tether geschikt is voor scenario's waarin systeemniveau-invarianten voldoende bescherming bieden, maar dat aanvullende maatregelen noodzakelijk blijven waar semantische correctheid het primaire beveiligingsdoel is.

Alternatieve verklaringen

De eerste verklaring houdt in dat Tether onder evaluatie op MonitoringBenchHonest en LinuxArena daadwerkelijk 100% van de in-scope aanvallen blokkeert. Ondersteunend bewijs daarvoor komt uit de empirische metingen op twee datasets: 199 adversariale en 218 benigne trajecten op MonitoringBenchHonest, respectievelijk 145 adversariale en 1.372 benigne trajecten op LinuxArena (https://arxiv.org/abs/2611.25599). Er is geen tegengewicht in het beschikbare materiaal. De verklaring berust op de aanname dat de sandbox-isolatie en systeemaanroepabstractie geen ondetecteerbare omwegen toelaten voor de geëvalueerde trajecten. Verwachte observaties die deze verklaring zouden versterken: herhaalbare 100% adversarial recall in onafhankelijke replicaties met identieke scope-afbakening. Het gepresenteerde bewijs (benchmark-recall en false-positive ratios) discrimineert niet tussen deze verklaring en het alternatief dat de hoge recall een artefact is van de beperkte scope van de benchmarks. De combinatie van volledige adversarial recall met een valse-positieve ratio onder 5% sluit wel uit dat het systeem trivialiter alles blokkeert, maar zegt niets over de generalisatie buiten de geëvalueerde scope (https://arxiv.org/abs/2611.25599). Het betrouwbaarheidsniveau is hoog voor het gedefinieerde toepassingsgebied, met de fundamenteel begrensde caveat dat ongetraceerde externe state en puur semantische aanvallen buiten scope blijven.

Een tweede verklaring voor de 100% adversarial recall is dat de benchmarks uitsluitend in-scope aanvallen bevatten. Out-of-scope aanvallen worden niet meegerekend in de recall-meting, waardoor de claim van volledige beveiliging beperkt is. Ondersteunend bewijs komt uit de primaire bron zelf: de auteurs definiëren expliciet twee categorieën buiten scope, namelijk interacties met ongetraceerde externe state en puur semantische aanvallen die geen systeemniveau-invariant schenden (https://arxiv.org/abs/2611.25599). Er is geen contradicting evidence in het beschikbare materiaal. De verklaring berust op de aanname dat de benchmarkconstructie geen onzichtbare omwegen toelaat die wél traceerbaar zouden zijn. Verwachte observaties die dit alternatief zouden versterken: onafhankelijke audits die aantonen dat puur semantische aanvallen structureel ongedetecteerd blijven, aangezien interacties met ongetraceerde externe state wel aan de grens gedetecteerd en geblokkeerd worden. De toets die dit alternatief onderscheidt van de voorkeursverklaring is de vraag of 100% recall standhoudt wanneer de scope-afbakening wordt opgeheven: als puur semantische out-of-scope aanvallen alsnog worden meegenomen, zou de recall dalen, terwijl de voorkeursverklaring voorspelt dat het systeem robuust blijft zolang de sandbox werkt. Het betrouwbaarheidsniveau is gemiddeld: de beperking is expliciet erkend door de auteurs, maar de omvang van het out-of-scope domein is niet kwantitatief in kaart gebracht. Voor u als beslisser betekent dit dat Tether functioneert als een formeel verifieerbare laag voor gedefinieerde dreigingsmodellen, maar dat aanvullende risicoanalyse noodzakelijk blijft voor aanvallen buiten dat model.

Kernel-level exploits and sandbox escapes are outside the scope of this work. (bron)

Een derde verklaring is dat de 100% adversarial recall mogelijk niet blijft gelden wanneer aanvallers kernel-level exploits of sandbox-escapes inzetten. De auteurs erkennen expliciet dat deze aanvalscategorie buiten scope valt (https://arxiv.org/abs/2611.25599). Dit betekent dat Tether geen garanties biedt tegen aanvallen die de isolatiegrens zelf ondermijnen. Er is geen contradicting evidence in het beschikbare materiaal. De verklaring berust op de aanname dat de geëvalueerde benchmarks dergelijke geavanceerde escapes niet bevatten. Verwachte observaties die dit alternatief zouden versterken: onafhankelijke penetratietests die sandbox-breuken aantonen in productieomgevingen. De toets die dit alternatief onderscheidt van de voorkeursverklaring is de vraag of de beveiliging standhoudt wanneer de aanvaller de sandbox zelf target: als kernel-exploits slagen, faalt de hele verificatieketen, terwijl de voorkeursverklaring uitgaat van intacte isolatie. Het betrouwbaarheidsniveau is laag tot gemiddeld: de auteurs erkennen de beperking, maar kwantificeren het risico niet. Voor u als beslisser betekent dit dat Tether geen vervanging is voor traditionele infrastructuurhardening en dat aanvullende sandbox-escaperesistentie noodzakelijk blijft.

Als het aandeel out‑of‑scope trajecten onder 5 % blijft, dan is H1 waarschijnlijker dan H2; blijft het boven 20 %, dan H2.

De eerste verklaring houdt in dat Tethers 100% adversarial recall op MonitoringBenchHonest en LinuxArena een valide indicator is van robuuste bescherming binnen het gedefinieerde toepassingsgebied. Het alternatief stelt dat deze prestatie voornamelijk reflecteert dat out-of-scope trajecten systematisch zijn uitgesloten van meting. De toets die beide verklaringen onderscheidt, is het aandeel out-of-scope trajecten in operationele praktijk: blijft dit onder 5%, dan spreekt dat voor de eerste verklaring; blijft het boven 20%, dan wijst dat naar het alternatief. De auteurs kwantificeren dit aandeel niet. Dit vormt een meetbare onzekerheid voor uw risicobeoordeling. U kunt deze toets operationeel maken door in pilot-implementaties te loggen welk percentage agenttrajecten ongetraceerde externe state raakt of semantische bewerkingen vereist die geen systeemniveau-invariant schenden. Dat percentage bepaalt of Tethers formele garanties al dan niet generaliseren naar uw specifieke gebruikscontext.

Wat deze conclusie zou weerleggen

Onder evaluatie op MonitoringBenchHonest en LinuxArena wordt 100 % van in‑scope aanvallen NIET waargenomen: adversarial recall blijft ≤ 95 %.

Meet adversarial recall op beide benchmarks en vergelijk met de 100 % drempel.

De conclusie dat Tether onder evaluatie op MonitoringBenchHonest en LinuxArena 100% van in-scope aanvallen blokkeert, zou materieel verzwakken wanneer de adversarial recall op beide benchmarks ≤ 95% blijft. De toets is eenvoudig: meet adversarial recall op MonitoringBenchHonest (199 adversariale trajecten) en LinuxArena (145 adversariale trajecten) en vergelijk met de 100% drempel (https://arxiv.org/abs/2611.25599). Een enkele gemiste in-scope aanval zou de centrale prestatieclaim ondermijnen, omdat het systeem dan geen volledige garantie biedt voor het gedefinieerde toepassingsgebied. De huidige meting toont 100% recall, maar deze is gebonden aan de scope-afbakening: alleen trajecten waarbij alle acties traceerbaar zijn, worden meegeteld (https://arxiv.org/abs/2611.25599). Voor u als beslisser betekent dit dat een onafhankelijke replicatie met identieke scope de enige manier is om de claim te falsificeren of te bevestigen. Een resultaat van ≤ 95% zou aantonen dat de sandbox-isolatie of de abstractie van systeemaanroepen onverwachte detectiegaten bevat, ondanks de formele verificatie in Lean 4.

Als Tether geen over‑approximatie van informatie‑flow toepast, zou het valse‑positieve percentage nog lager zijn, maar zou de dekking van aanvallen afnemen.

Als Tether geen over-approximatie van informatie-flow toepast, zou het valse-positieve percentage inderdaad lager zijn, maar zou de dekking van aanvallen afnemen. Deze causale stresstest toont aan dat de 2,3% en 5,0% valse-positieve ratios op MonitoringBenchHonest en LinuxArena geen implementatietekort zijn, maar een noodzakelijk gevolg van de architectuurkeuze. Exacte dataflowreconstructie uit systeemaanroepen is algemeen onmogelijk; zonder overbenadering zou Tether dataflows kunnen missen die wel tot aanvallen leiden (https://arxiv.org/abs/2611.25599). De 100% adversarial recall hangt direct samen met deze conservatieve abstractie: striktere semantiek zou meer trajecten doorlaten, maar dan tegen het risico van ongedetecteerde informatielekken. Voor u als beslisser betekent dit dat optimalisatie van het valse-positieve percentage alleen verantwoord is wanneer u tegelijkertijd het risico van gemiste aanvallen accepteert, of wanneer aanvullende detectielagen buiten Tether worden ingezet.

Wat werkelijk nieuw is

Deny‑overrides discipline garandeert dat elke deny‑regel een actie altijd blokkeert, ongeacht andere allow‑regels.

Policy‑compositie via meet‑ en grant‑operatoren behoudt monotoniciteit: een strengere policy kan nooit een eerder geweigerde actie toestaan.

Wat bestaande kennis bevestigt, is dat deny-overrides en monotoniciteit bij policy-compositie fundamentele eigenschappen zijn van elke robuuste toegangscontrole. Tether materialiseert deze in Lean 4: elke deny-regel blokkeert een actie onverminderd door allow-regels, en een strenger beleid kan nooit een eerder geweigerde actie toestaan. Dit is geen nieuwe theorie, maar een bevestiging dat klassieke autorisationele principes vertaalbaar zijn naar een theorem-prover.

Wat daadwerkelijk nieuw is, is de combinatie van drie mechanismen die samen een reproduceerbare verificatieketen vormen: sandbox-isolatie van voorgestelde acties, abstractie van systeemaanroepen naar formele actiesemantiek, en afdwinging via een in Lean 4 ingebedde domeinspecifieke taal. Geen van deze bouwstenen is op zichzelf ongehoord; het samenbrengen tot een geïntegreerd systeem voor willekeurige shell-commando's van AI-agents is dat wel. De 100% adversarial recall op MonitoringBenchHonest (199 adversariale trajecten) en LinuxArena (145 adversariale trajecten), met valse-positieve ratios van 2,3% (218 benigne trajecten) respectievelijk 5,0% (1.372 benigne trajecten), valideert deze integratie voor het gedefinieerde toepassingsgebied (https://arxiv.org/abs/2611.25599).

Wat slechts nieuwe verpakking is, is de presentatie van formele verificatie als oplossing voor AI-agentbeveiliging. Theorem-provers bestonden al; de toepassing op autonome agents met onvoorspelbare commandoreeksen is een nieuw verpakt gebruiksscenario, geen nieuwe techniek.

Welke nieuwe implicatie uit de combinatie van evidence volgt, is dat het formeel verifiëren van stateful beleid met Tether een technische bouwsteen biedt om te voldoen aan NIS2- en BIO2-eisen voor AI-agents in de Nederlandse publieke sector, doordat beleidsregels direct in een theorem-prover worden bewezen. Deze implicatie is geen claim uit het paper zelf, maar volgt uit de architectuur: beleid dat in Lean 4 is bewezen, produceert controleerbare bewijzen die auditbaar zijn onder risicobeheerkaders. De begrenzing blijft fundamenteel: overbenadering van informatiestromen introduceert de gemeten valse positieven, en ongetraceerde externe state of puur semantische aanvallen vallen buiten de verificatieketen (https://arxiv.org/abs/2611.25599). Voor u als beslisser betekent dit dat Tether een formele laag toevoegt die aansluit op compliance-eisen voor traceerbaarheid, maar dat aanvullende maatregelen noodzakelijk blijven waar semantische correctheid of sandbox-escaperesistentie het primaire risico vormt.

Wat de paper niet test

Out‑of‑scope aanvallen die interacties met ongetraceerde externe state omvatten, worden wel aan de grens geblokkeerd maar niet op fine-grained niveau gevolgd.

De paper toont geen empirische dekking van trajecten waarbij de exacte dataflow uit systeemaanroepen gereconstrueerd wordt: die reconstructie is algemeen onmogelijk, waardoor Tether noodgedwongen overbenadert. Het bewijs onderscheidt niet of een hypothetisch systeem met perfecte dataflowreconstructie minder valse positieven zou opleveren zonder aanvallen te missen; die toets zou een vergelijking vereisen met een orakel dat systeemaanroepen volledig interpreteert. Evenmin toont het onderzoek aan hoe groot het aandeel out-of-scope trajecten is in operationele praktijk: de auteurs erkennen dat interacties met ongetraceerde externe state en puur semantische aanvallen buiten scope vallen, maar kwantificeren dat aandeel niet. De 100% adversarial recall geldt uitsluitend voor de in-scope adversariale trajecten op MonitoringBenchHonest en LinuxArena waarbij alle acties traceerbaar waren; of deze verhouding standhoudt buiten de gecontroleerde benchmarks, is niet getest. Kernel-level exploits en sandbox-escapes zijn eveneens expliciet uitgesloten. U mag het kerncijfer van 100% recall dus gebruiken als bovengrens voor het gedefinieerde toepassingsgebied, maar niet als garantie voor fine-grained tracking van ongetraceerde externe state of voor semantische aanvalsvectoren die de auteurs zelf buiten scope plaatsen.

Wat te doen

Voor de CISO en enterprise-architect in de Nederlandse publieke sector, zorg of financiële sector ligt het besluit of Tether als formele verificatielaag opgenomen wordt in de AI-agentarchitectuur. Deze maand kunt u drie controles toetsen: (1) inventariseer welk percentage van uw agenttrajecten ongetraceerde externe state raakt, bijvoorbeeld achtergrondprocessen of database-interacties, en vergelijk dat met de 5%-drempel die de bruikbaarheid van Tethers garanties bepaalt; (2) evalueer of uw huidige sandbox-isolatie kernel-level exploits en sandbox-escapes weerstaat, aangezien Tether deze expliciet buiten scope laat; (3) toets of uw bestaande compliance-frameworks, zoals NIS2- of BIO2-vereisten, auditbare bewijzen verlangen die een Lean 4-gebaseerde EDSL kan genereren. Meer over het opzetten van dergelijke verificatieketens vindt u op djimit.nl/kennismaking. Voor inhoudelijke bespreking van uw specifieke agentarchitectuur kunt u contact opnemen via djimit.nl/contact.

INPUT:    proposed_action ∈ ShellCommand, current_state ∈ SystemState
BEWERKING:
  sandbox_output ← ExecuteInEphemeralSandbox(proposed_action)
  abstract_actions ← InferFromSyscalls(sandbox_output.syscalls)
  policy_decision ← Lean4EDSL.VerifyStatefulPolicy(
    current_state, abstract_actions, policy_rules
  )
OUTPUT:   policy_decision ∈ {allow, deny}
          IF deny THEN log_reason ← policy_decision.violation_trace

Zie ook

Bronnen

  1. https://arxiv.org/abs/2611.25599

Verwante diensten

Djimit AI-diensten · Plan een kennismaking

Download de whitepaper

Vul uw e-mailadres in voor directe toegang tot "Tether: formeel geverifieerde bewaking vangt cumulatieve systeemrisico's van AI-agents" en schrijf u in voor de wekelijkse AI & Security Intelligence nieuwsbrief.

Geen spam. Afmelden kan altijd. Lees ons privacybeleid.