Taal is een beveiligingsvlak: hoe agent-guards omzeild worden via vertaling

Step-level guards zijn het veiligheidsmechanisme dat vóór elke tool-aanroep beslist of de volgende handeling van een agent veilig is. Gebruikers schrijven hun verzoeken in veel talen, maar de guard-prompts en de benchmarks waarop purpose-built guards zijn getraind en geëvalueerd, zijn Engels. Language Is a Security Surface, van Hasan Demirkiran en Jens Ernstberger, stelt de voor de hand liggende maar zelden gestelde vraag: hangt het oordeel van een guard af van de taal van het verzoek?

Wat de paper vond

De auteurs bouwen LinguaGuardBench uit de 1.220 gelabelde stappen van TS-Bench AgentDojo-Traj. Ze vertalen alleen de gebruikersinstructie naar het Duits, Frans, Turks, Swahili en Amhaars, en houden elke tool-aanroep, observatie en elk label byte-identiek. Daardoor is elke verandering in een oordeel uitsluitend toe te schrijven aan de taal. Zes Engelse herformuleringen en een whitespace-placebo dienen als controles, en managed guards worden drie keer gedraaid om hun ruis te meten.

Over negentien guards, van frontier-API's tot open modellen van vier miljard parameters en vier purpose-built agent-guards, is de uitkomst helder:

• De meeste open, kleine en purpose-built guards veranderen hun oordeel onder vertaling, meer dan hun eigen ruisvloer.
• Het effect groeit met de zeldzaamheid van de taal: onder de negen guards onder de dertien miljard parameters stijgt de placebo-gecorrigeerde flip-rate van plus 1,5 procentpunt bij Frans naar plus 4,4 procentpunt bij Amhaars.
• Purpose-built guards zijn het gevoeligst.
• De richting van de schade volgt de grootte: open guards van twaalf tot dertig miljard parameters blokkeren meer onschuldige stappen (tot plus 5,0 procentpunt false positives), terwijl elk significant verlies aan recall optreedt bij guards onder de tien miljard parameters (tot min 7,4 procentpunt).
• Frontier-guards verschuiven met hooguit een punt; de sterkste, Gemini 3.8 Flash, retourneert identieke oordelen met en zonder het verzoek.

De schade concentreert zich in een paar instructies en valt, in een post-hoc analyse, op stappen waar de redenering van de agent het Engelse verzoek herhaalt. Dat is consistent met guards die reageren op inconsistentie tussen kanalen. Engelse parafrase beweegt elke guard minder dan vertaling doet. De benchmark en alle 489 duizend oordelen zijn vrijgegeven.

Waarom dit de Nederlandse publieke sector raakt

Voor Nederlandse organisaties is dit geen exotisch randgeval maar de dagelijkse realiteit. Een gemeente bedient burgers in het Nederlands, maar ook in het Fries, het Engels en in talen van migrantengemeenschappen. Een burgerdienst die meertalig is, heeft geen guard nodig die alleen op Engels betrouwbaar is.

Drie punten maken dit concreet:

1. Meertaligheid is de norm, niet de uitzondering. Wie een agent-guard inzet voor burgerinteractie, kan niet aannemen dat verzoeken in het Engels binnenkomen. De paper toont dat juist de guards die specifiek voor agent-veiligheid zijn gebouwd, het meest taalgevoelig zijn.
2. Twee faalrichtingen tegelijk. Een taalgevoelige guard kan onschuldige verzoeken blokkeren (false positives, wat de dienstverlening degradeert) én schadelijke verzoeken doorlaten (verlies aan recall, wat een veiligheidslek is). Beide zijn operationeel schadelijk.
3. Een guard is een controlemechanisme in de zin van de AI Act. Wie een guard presenteert als menselijk-toezicht- of risicobeheersmaatregel, moet kunnen onderbouwen dat die maatregel werkt in de talen waarin hij wordt ingezet. Een Engelstalige evaluatie is daarvoor onvoldoende.

Epistemische classificatie

Claim	Status
Guards veranderen oordelen onder vertaling, meer dan hun ruisvloer	Empirisch ondersteund (489k oordelen, placebo-gecontroleerd)
Het effect groeit met taalzeldzaamheid	Empirisch ondersteund (Frans plus 1,5 pp tot Amhaars plus 4,4 pp)
"Guards reageren op inconsistentie tussen kanalen"	Hypothese (post-hoc analyse, geen causaal bewijs)
Dezelfde faalrichting treedt op in elke productie-omgeving	Niet aangetoond (benchmark-setting, geen productie-casus)
Specifieke NL-talen (Fries) vertonen dezelfde shift	Niet direct aangetoond (Fries zit niet in de vijf testtalen)

De sterkste verdedigbare uitspraak is het patroon: taal is een zelfstandig beveiligingsvlak voor agent-guards, en de taalgevoeligheid is meetbaar en concentreert zich bij kleinere en purpose-built guards.

Wat te doen

1. Evalueer je guard in de talen van je doelgroep. Neem een meertalige evaluatie op in de acceptatiecriteria; een Engelstalige benchmark is geen bewijs voor een meertalige inzet.
2. Meet beide faalrichtingen. Rapporteer zowel false positives (onnodige blokkades) als recall-verlies (gemiste blokkades), niet één samengevoegd veiligheidscijfer.
3. Wees kritisch op purpose-built en kleine guards. De paper toont dat juist die categorieën het meest taalgevoelig zijn; grotere frontier-guards zijn stabieler.
4. Beschouw taal als onderdeel van je dreigingsmodel. Als een aanvaller via een andere taal de guard kan omzeilen, is taal een aanvalsvector, geen toegankelijkheidsdetail.

De les is dat een guard die in het Engels werkt, niet automatisch een guard is die in het Nederlands, Fries of Turks werkt. Voor een publieke sector die per definitie meertalig is, is taal een beveiligingsvlak dat gemeten moet worden, niet een detail dat je mag aannemen.

Bronnen

• Language Is a Security Surface for Agent Guards, arXiv:2610.22244, Demirkiran & Ernstberger, NeurIPS 2026 Workshop AIWILD, 15 oktober 2026