Mobile agents doorbreken elke jailbreak-verdediging: de les van MobileJailBench
De verschuiving van chatbot naar mobile agent is niet cosmetisch. Een chatbot produceert tekst; een mobile agent neemt waar, plant en voert handelingen uit op een echt toestel, rechtstreeks op de interface van apps. Die autonomie verbreedt het aanvalsoppervlak fundamenteel, maar de bestaande jailbreak-evaluaties maten dat niet: ze richtten zich op conversatie-aanvallen in plaats van mobile workflows, gebruikten statische taken met een vaste moeilijkheidsgraad, en beoordeelden alleen het aanvalssucces in plaats van de volledige veiligheidsgrens.
MobileJailBench, van Songping Wang (Nanjing University) en collega's, sluit precies die drie gaten. Het is de eerste evoluerende jailbreak-benchmark voor mobile agents.
Wat de paper vond
De benchmark bestaat uit 520 taken over drie jailbreak-paradigma's en veertien risicocategorieën, gebouwd op een high-fidelity mobile sandbox met realistische workflows over ruim twintig veelgebruikte apps. Twee mechanismen maken hem anders dan wat er was:
- Dual-Dynamic Evolution combineert Failure-Distilled Jailbreak Evolution (aanvallen die falen worden gedistilleerd tot sterkere varianten) met Weakness-Driven Benchmark Expansion (het benchmark zelf breidt uit naar zwakke plekken zodra die blootliggen).
- Stratified Adjudication beoordeelt niet één enkel getal maar drie lagen: veiligheidsbewustzijn, uitvoeringsgedrag en risicogevolgen.
De centrale bevinding is scherp: huidige mobile agents zijn juist kwetsbaar voor impliciete jailbreaks. Hun safety-alignment blijft grotendeels oppervlakkig en generaliseert niet van het weigeren in een gesprek naar dynamische mobile interactie. Het evolutiemechanisme scherpt de praktische dreigingsgrens bovendien continu aan en bereikte daarbij een 100 procent aanvalssucces op Qwen3.5-122B.
De risico's die de auteurs benoemen zijn niet hypothetisch: privacy-lekkage, compromittering van het toestel en grootschalige phishing.
Waarom dit de Nederlandse publieke sector raakt
De kloof die MobileJailBench meet, is precies de kloof waar de publieke sector nu doorheen beweegt. Waar een gemeente of uitvoeringsorganisatie een chatbot inzet, blijft de schade grotendeels tekstueel. Maar de eerste mobile agents die namens burgers handelen, of die assistenten die in burgerapps en DigiD-geïntegreerde omgevingen worden ingebracht, opereren op een toestel met toegang tot contacten, berichten, betaalgegevens en authenticatieflows.
Drie punten maken dit concreet voor een CISO of compliance officer in de publieke sector:
- Weigering in gesprek is geen veiligheidsgarantie in uitvoering. Een agent die in een prompt beleefd weigert, kan in een mobile workflow dezelfde handeling via de UI uitvoeren. Evaluaties die alleen naar tekst weigeren, meten de verkeerde laag.
- De dreigingsgrens verschuift continu. Een benchmark die zichzelf uitbreidt naar gevonden zwaktes is een signaal dat statische rode-teambuurtests onvoldoende zijn voor mobile agents. Wie een mobile agent goedkeurt op een test van vandaag, keurt een bewegend doel goed.
- De risicocategorieën overlappen met BIO2- en AI Act-verplichtingen. Privacy-lekkage raakt de AVG, device-compromise raakt BIO2-objecten rond endpoint- en applicatiebeveiliging, en een agent inzetten met een onvoldoende gemeten veiligheidsgrens raakt de AI Act-eis van risicobeoordeling en menselijk toezicht.
Epistemische classificatie
De claims uit de paper staan niet allemaal op dezelfde bewijssterkte. Een verantwoord gebruik van deze bron vraagt om dat onderscheid expliciet te maken.
| Claim | Status |
|---|---|
| 520 taken, drie paradigma's, veertien risicocategorieën, ruim twintig apps | Empirisch ondersteund (benchmark-ontwerp) |
| 100 procent aanvalssucces op Qwen3.5-122B | Empirisch ondersteund (gerapporteerd resultaat) |
| "Safety-alignment blijft oppervlakkig" | Hypothese (interpretatie van de auteurs) |
| Mobile agents generaliseren niet van conversatie-weigering naar uitvoering | Empirisch ondersteund (kernthese, met de gemeten kloof als bewijs) |
| Deze kwetsbaarheid treft een specifieke NL-burgerapp in productie | Niet aangetoond (geen casus in de paper) |
De sterkste verdedigbare uitspraak is het patroon, niet een enkel percentage: er bestaat een meetbare kloof tussen tekstueel weigeren en veilig handelen, en die kloof is juist bij impliciete jailbreaks het grootst.
Wat te doen
Voor organisaties die mobile agents overwegen of al inzetten, in volgorde van rendement:
- Eis uitvoeringsgebonden evaluatie. Laat een agent niet goedkeuren op een tekstuele jailbreak-test, maar op een benchmark die meet wat hij op een toestel doet, niet wat hij zegt.
- Herzie de veiligheidsgrens doorlopend. Behandel de beveiliging van een mobile agent als een bewegend doel en bouw her-evaluatie in, niet een eenmalige toets.
- Scheid de lagen in je toezicht. Beoordeel bewustzijn, gedrag en gevolg afzonderlijk, zoals de Stratified Adjudication van de paper doet, in plaats van één samengevoegd risicocijfer.
- Beperk de autorisatie van de agent op het toestel. Geef een mobile agent niet standaard toegang tot betaalgegevens, authenticatieflows en gevoelige apps; de minste-privilege-grens moet op toestelniveau worden afgedwongen.
De les van MobileJailBench is niet dat mobile agents nooit veilig kunnen zijn. De les is dat de meetinstrumenten die we voor chatbots hebben gebouwd, op mobile agents de verkeerde laag meten, en dat de kloof tussen die twee lagen een reëel, groeiend risico is voor wie agent namens burgers laat handelen.
Bronnen
- MobileJailBench: Red Queen Jailbreak Benchmarking for Mobile Agents, arXiv:2610.23303, Wang et al., 16 oktober 2026
AI & Security Intelligence
Wekelijkse nieuwsbrief met AI updates, security alerts en compliance inzichten, direct in uw inbox.
Security & AI Operating Model
Advisory met executiekracht
Van BIO2 en NIS2 tot EU AI Act, embedded in uw operating model, niet als extern project. Maandelijks opzegbaar, met assessments als bewijsvoering.