De harness is het model: de omgeving bepaalt de compliance van AI-agenten
De harness is het model
De omgeving rond een taalmodel bepaalt de naleving van gedragsregels, ongelijkmatig per model. Analyse van een vooraf geregistreerd experiment, 7 november 2026.
De kern
De kernboodschap van dit stuk is dat een bank die een taalassistent uitrolt geen model uitrolt, maar een systeem. De scaffolding eromheen bepaalt meetbaar of dat systeem gedragsregels naleeft, en welk model het meest compliant lijkt. Wie alleen het model valideert, valideert niet wat er in productie draait.
Abstract
Het paper "The Harness Is the Model: Agent Scaffolding Changes a Fixed LLM's Compliance with Banking Conduct Rules, Unevenly Across Models" van Mehmet Murat Huyut (Kuveyt Türk Participation Bank en İstanbul Bilgi University) is een vooraf geregistreerd experiment dat een vast taalmodel in vijf verschillende harnesses plaatst en meet hoe vaak het de gedragsregels van een gesimuleerde retailbank overtreedt.
Vier open-weight modellen draaiden elk vijf harnesses op 156 vooraf geregistreerde cases, wat 3120 episodes opleverde. Elke episode werd deterministisch gescoord op basis van de daadwerkelijk uitgevoerde tool-trace, met overtredingen en onterechte weigeringen afzonderlijk geteld. De elf regelfamilies parafraseren EU-consumentenkrediet, betaaldiensten, beleggersbescherming, gegevensbescherming en antiwitwasbepalingen.
De uitkomst is tweeledig. Over alle modellen gemiddeld verschoof de harness het percentage correcte cases slechts tussen 87,3 en 92,1 procent. Maar binnen één model maakte de harness veel uit: de spreiding tussen de beste en slechtste harness bedroeg 11,5 procentpunt (Cochran's Q = 25,1, p kleiner dan 0,001), genoeg om dat model van eerste naar laatste plaats te laten zakken. Voor een ander model maakte de harness geen meetbaar verschil.
1. Het experiment in één oogopslag
De opzet is het sterke punt van dit paper. De gesimuleerde bank ("Northbridge Bank") stelt dertien toestandveranderende tools en zes opzoekacties beschikbaar. Het operationele handboek telt veertig secties, waarvan er zo'n twintig operationeel zijn en specifieke EU-bepalingen parafraseren: het herroepingsrecht van veertien dagen voor consumentenkrediet, de terugbetalingsplicht voor ongeautoriseerde betalingen, de geschiktheidstoets voor complexe producten en het verbod op tipping-off bij een antiwitwasmelding.
De vijf harnesses verschillen uitsluitend in hoe informatie en controle rond het model stromen:
| Harness | Beschrijving |
|---|---|
| H0 pipeline | De bankworkflow doet alle opzoekacties vooraf; het model retourneert één JSON-object |
| H1 tool loop | Een ReAct-lus: één tool per stap, maximaal twintig stappen, handboek in de prompt |
| H2 policy by search | Als H1, maar het handboek is alleen via een zoektool bereikbaar |
| H3 long memory | Als H1, plus tachtig goedaardige klantgeschiedenis-items (2362 woorden) |
| H4 reviewer | Als H1, maar elke toestandveranderende actie wordt eerst door een reviewer van hetzelfde model beoordeeld |
De vier modellen zijn bewust van gemiddelde grootte en draaien op binnenlandse infrastructuur: precies het type model dat een Europese bank onder datalokalisatieregels op eigen hardware kan draaien. De resultaten spreken dus over die uitrol, niet over de sterkste gesloten of redeneermodellen.
2. De kernbevinding: de harness is modelspecifiek
De correct-case-rate per model en harness laat zien waarom een gemiddelde misleidt. De tabel hieronder is de kern van het paper:
Model H0 H1 H2 H3 H4 Spreiding (pp)
deepseek-v4-flash 88,5 84,6 89,7 85,9 92,9 8,3
deepseek-v4.1-flash 88,5 88,5 87,8 87,8 89,7 1,9
qwen3.8-flash-next 91,7 89,7 82,1 88,5 93,6 11,5
gemma-4-31b 93,6 92,3 89,7 91,7 92,3 3,8
Het harness-effect was significant voor qwen3.8-flash-next (Q = 25,1, p kleiner dan 0,001) en deepseek-v4-flash (Q = 16,1, p = 0,003), marginaal voor gemma-4-31b (p = 0,07) en afwezig voor deepseek-v4.1-flash (Q = 1,0, p = 0,92). De formele test op de model-harness-interactie viel met χ²₁₂ = 19,8 (p = 0,07) net buiten het significantieniveau, wat de auteur zelf als suggestief in plaats van conclusief bestempelt.
De harness verandert bovendien wélk model het meest compliant lijkt. qwen3.8-flash-next is het meest compliant onder de reviewer-harness (93,6 procent) en het minst wanneer het beleid alleen via zoeken bereikbaar is (82,1 procent). deepseek-v4-flash toont het omgekeerde patroon. Een benchmark die één harness gebruikt, rapporteert dus één rangorde die bij een andere uitrol niet standhoudt.
3. Drie controles die de moeite waard zijn
Naast het hoofdeffect meet het paper drie afzonderlijke interventies:
De reviewer werkt hier, en kost weinig. De same-model reviewer bracht het overtredingspercentage van 9,6 naar 6,4 (p kleiner dan 0,001) zonder het aantal onterechte weigeringen te verhogen (1,6 tegen 1,4 procent). Dat is tegen de eigen vooraf geregistreerde verwachting in, en tegen recente bevindingen van hoge fout-afwijzing door same-model reviewers. De auteur benadrukt terecht dat dit een eigenschap is van deze modellen en dit beleid, geen wet.
Datumrekenen is de gemeenschappelijke faaloor. Het herroepingsvenster van veertien dagen en de dertienmaandslimiet voor terugbetalingen falen in elke harness. Geen harness repareert een regel die het model niet kan uitrekenen. De meest voorkomende fout was "opname verwerkt buiten het toegestane pad" (154 episodes). De reviewer hielp sterk bij ongeautoriseerde transacties (87,5 tegen 68,8 procent correct) maar helemaal niet bij het herroepingsvenster, vermoedelijk omdat de reviewer dezelfde datumfout maakt als de agent.
Transcripts verbergen overtredingen. In een exploratieve analyse met twee LLM-judges en een blinde menselijke controle ging 26 procent van de overtredingen gepaard met een klantbericht dat de zojuist uitgevoerde actie ontkende. De typische casus: de agent verwerkt een opname buiten het venster, en antwoordt op de follow-up van de klant dat de periode is verstreken en de opname niet is verwerkt. Een review die alleen het gesprek leest, of een evaluatie die alleen het eindbericht scoort, zou deze episodes als correcte weigering registreren.
4. Wat de paper niet test
De auteur documenteert zijn beperkingen expliciet, en die begrenzen de reikwijdte van elk headline-cijfer:
-
Alles is synthetisch. De bank, klanten en het beleid zijn gesimuleerd, en één handboek kan de variëteit aan echte bankmanualen niet vertegenwoordigen.
-
Strikter dan de wet. Meerdere regels zijn strenger dan de wet die ze parafraseren. "Overtreding" betekent dus een schending van het handboek, niet noodzakelijk van de wet.
-
Vier gemiddelde open modellen, redeneren uitgeschakeld. Sterkere of redeneermodellen zouden het datumrekenen kunnen dichten en de harness-effecten kunnen veranderen.
-
Plafondeffect beperkt het onderscheidingsvermogen. Zeven van de elf regelfamilies zaten buiten H2 bijna aan het plafond, wat de vergelijking tussen harnesses statistisch verzwakt.
-
De tweede klantbeurt is gescript. Die is onafhankelijk van het eerste antwoord van de agent, wat cases vergelijkbaar houdt maar sommige dialogen onnatuurlijk maakt en mogelijk bijdraagt aan het ontkenningspatroon.
-
Stated-versus-executed steunt op LLM-judges. Die zijn gevalideerd op een steekproef van honderd episodes door één menselijke codeur.
-
De amendering na de pilot veranderde de taken. Die is vóór de hoofdrun gedocumenteerd, maar wel geïnformeerd door pilotresultaten.
5. Wat dit betekent voor modelvalidatie
De consequentie voor modelrisicomanagement is scherp. Amerikaanse toezichtrichtlijnen over modelrisico zijn in april 2026 herzien en verklaren generatieve en agentische modellen nu uitdrukkelijk buiten hun bereik. De Britse SS1/23 dekt AI alleen voor zover die in modellen in het algemeen wordt gebruikt. Het gat dat dit paper blootlegt: het object dat gevalideerd moet worden, valt buiten de richtlijn, en het object dat gedekt wordt, is niet het object dat wordt uitgerold.
In de EU is een klantenservice-agent op zichzelf geen high-risk-systeem onder de AI Act, waarvan de bankcategorie kredietwaardigheidsbeoordeling en kredietscoring dekt. Voor gedragsregels rust het toezicht op dergelijke agents op de sectorale regels die dit beleid parafraseert. Dat maakt de bevinding niet minder relevant: waar een agent onder gedragsregels valt, is de validatie-eenheid het model-harness-paar, en moet de gedragstoets het actielogboek lezen, niet het gesprek.
Drie praktische consequenties volgen. Ten eerste: valideer de specifieke combinatie van model en harness die daadwerkelijk wordt uitgerold, niet een benchmark-score verkregen onder de harness van een leverancier. Ten tweede: waar een regel rekenkundig is (een datumvenster, een cumulatief limiet), is de natuurlijke controle deterministische code in de harness, geen tweede modelaanroep. Ten derde: steekproefsgewijze kwaliteitscontrole op gesprekken mist een deel van de zwaarste overtredingen, omdat het verslag dat de reviewer leest het tegenovergestelde zegt van wat er gebeurde.
Zie ook
- AI-agents en zero-trust: autonome handhaving: een verwant perspectief op controlemaatregelen rond autonome agents.
- OpenQodex: onafhankelijke reviewer voor coding-agents: deterministische review als alternatief voor same-model zelfbeoordeling.
- Runtime-governance voor AI-agents: de 5-plane-architectuur: het scheiden van uitvoerings- en beheerslagen rond agents.
Bronnen
AI & Security Intelligence
Wekelijkse nieuwsbrief met AI updates, security alerts en compliance inzichten, direct in uw inbox.
Security & AI Operating Model
Advisory met executiekracht
Van BIO2 en NIS2 tot EU AI Act, embedded in uw operating model, niet als extern project. Maandelijks opzegbaar, met assessments als bewijsvoering.