EnvHarness: de omgeving is het trainingsinstrument, niet het model

De agent-harness-gedachte is inmiddels gemeengoed: een bevroren LLM wordt een capabele agent door er een softwarelaag omheen te leggen met tools, geheugen en skills, zonder de modelgewichten aan te raken. Google Cloud AI Research spiegelt dat idee nu naar de andere kant van de agent-omgeving-loop. In EnvHarness: Awakening Static Worlds for Agent Learning (arXiv:2608.19880) is niet het model het object dat gewrapt wordt, maar de omgeving waarin de agent leert. De kernclaim: een statische benchmark is geen trainingsinstrument, maar een bevroren wereld die blind is voor de zwaktes van de agent en niets meer te leren heeft zodra de agent de bestaande taken oplost. EnvHarness maakt die wereld programmeerbaar.

De symmetrie: Agent = Model + Harness, Customized Env = Static Env + EnvHarness

De paper formaliseert de symmetrie expliciet. Een agent-harness voegt capaciteiten toe aan een bevroren model zonder de gewichten te wijzigen. EnvHarness voegt aanpassingsvermogen toe aan een bevroren omgeving zonder de onderliggende logica te wijzigen. Beide werken op dezelfde manier: een externe laag die de informatie-stroom door een standaardinterface hervormt.

Formeel modelleren de auteurs een omgeving als een tuple:

E = (S, A, O, T, R, s0)

waarin S de toestandsruimte is, A de actieruimte, O de observatieruimte, T: S × A → S de transitiefunctie, R de beloning die door de verifier wordt geïnduceerd, en s0 de initiële toestand. Een EnvHarness-component is een omgevings-agnostische transformatie w:

E' = w(E) = (S', A', O', T', R', s0')

De transformatie w hervormt de omgeving strikt op interfaceniveau, zonder de simulator-backend of implementatiedetails aan te raken. Het cruciale detail: omdat alle interventies extern blijven, blijft de ground-truth evaluatielogica behouden. De originele, door mensen gebouwde verifier kan het episode nog steeds scoren. Dat is de epistemische kern van het hele ontwerp: je kunt de omgeving hervormen zonder de waarheidsbron te vervalsen.

Drie plug-in componenten

De paper introduceert drie concrete componenttypen, elk gespecificeerd door eigen parameters die standaard interface-methoden zoals reset of step overschrijven.

Stage: de initiële toestand veranderen. Een Stage w_stage,δ is gespecificeerd door een reeks toestandsmanipulatie-acties δ = (a1, ..., ak) die op de initiële toestand s0 worden toegepast:

E' = w_stage,δ(E) = (S, A, O, T, R, s0')
s0' = T(...T(T(s0, a1), a2)..., ak)

Een Stage kan obstakels introduceren die specifieke skills vereisen, of vroege subdoelen alvast voltooien om de taak-horizon te verkorten. In het voorbeeld van de paper wordt een mok in een gesloten lade verstopt, waardoor de agent gedwongen wordt eerst te zoeken in plaats van direct te grijpen.

Contract: de interactie herschrijven. Een Contract w_contract,r is gespecificeerd door een triplet transformatiemaps r = (fA, fT, fO), elk standaard de identiteit. Deze maps herschrijven respectievelijk de actieruimte, de transitiedynamiek en de observatieruimte:

E' = w_contract,r(E) = (S, A', O', T', R, s0)
(A', O', T') = (fA(A), fO(O), fT(T))

In de praktijk handhaven deze transformaties actie-precondities, maskeren of augmenteren observaties, en koppelen gestructureerde feedback aan specifieke uitkomsten. Een Contract kan de observatie afkappen tot twee zinnen om partiële observeerbaarheid af te dwingen, of een actie blokkeren totdat de agent eerst het object oppakt.

Chain: de omgeving uitbreiden. Een Chain w_chain,ℓ is gespecificeerd door een paar ℓ = (E_ext, g), waarin E_ext een extra omgeving is en g een compositielogica. De compositielogica combineert de originele omgeving E en E_ext tot een composiet-omgeving E' die door dezelfde interface wordt blootgesteld:

E' = w_chain,ℓ(E) = (S', A', O', T', R', s0')
E' = g(E, E_ext)

De nieuwe ruimtes zijn de unie van de basisomgevingen (bijv. A' = A ∪ A_ext), en R' fungeert als de nieuwe composiet-beloning. Een Chain kan een vervolgtaak toevoegen die pas slaagt wanneer beide omgevingen geverifieerd zijn, waardoor de agent leert zijn doel voorbij het punt te dragen waar hij anders zou stoppen.

Omdat alle componenten een standaardinterface delen, componeren ze vrij. Stapelen van een Stage, een Contract en een Chain op dezelfde basistaak levert een composiet-omgeving op. Belangrijk: deze transformaties zijn niet-commutatief (w1 ∘ w2 ≠ w2 ∘ w1); de nestvolgorde bepaalt hoe de omgeving wordt opgebouwd en welke constraints tijdens initialisatie versus actieve interactie gelden.

EnvRigger: de omgeving als black-box-diagnose

EnvHarness is op zichzelf beleids-agnostisch: de transformatie w is een functie van de omgeving alleen. Maar de selectie en parameterisatie van componenten moet geconditioneerd zijn op zowel de basistaak t als het waargenomen gedrag van de policy π. Daarvoor introduceren de auteurs de taak-beleids-geconditioneerde map H:

E' = H(E, t; π) = (wk ∘ w(k-1) ∘ ... ∘ w1)(E)

EnvRigger realiseert deze map door de policy π als een strikte black box te behandelen. Het doorloopt vier fasen:

1. Observe: de policy draaien op de basistaak en een batch rollout-trajecten verzamelen. Falen exposeert de zwaktes, succes definieert de grenzen van die zwaktes.
2. Diagnose: de trajecten analyseren op systemische problemen zoals repetitieve actieloops, falen bij het parsen van lange observaties, of verkeerd gelezen tool-constraints. Als de policy een perfecte success rate haalt, is de omgeving te vergevingsgezind en moet hij juist moeilijker gemaakt worden.
3. Write: op basis van de diagnose EnvHarness-componenten synthetiseren die de geïdentificeerde zwaktes targeten.
4. Validate: de kandidaten wrappen, verse rollouts draaien, en op basis van traject-metrics (success rate, faalverdeling) beslissen tussen accepteren, afwijzen (onsolvable of niet-uitdagend), of verfijnen.

De Write-en-Validate-fasen vormen een loop die herhaalt tot een kandidaat geaccepteerd is of het revisiebudget uitgeput is. De paper benadrukt dat EnvRigger en de policy op elke benchmark hetzelfde model-backbone gebruiken (Gemini-3.1-Flash-Lite voor ALFWorld en WebArena, Gemini-3.5-Flash elders), zodat de prestatie-winsten niet voortkomen uit het distilleren van een sterker extern model.

De resultaten: waar statische omgevingen falen

De kernbevinding is dat skills die uit EnvHarness-omgevingen worden geëxtraheerd consequent beter presteren dan skills uit originele omgevingen, op alle vijf benchmarks in vier domeinen. De opvallendste cijfers:

• ALFWorld: tot 9,0 punten verbetering op held-out taken (OOD 70,4 versus 61,4 voor originele omgevingen).
• SWE-bench Verified: 52,58 success rate versus 49,88 voor originele omgevingen, met 5,40 minder gemiddelde stappen per episode (49,61 versus 55,01).
• OfficeQA: 56,20 EM versus 54,40 voor originele omgevingen.
• SpreadsheetBench: 49,15 Pass@1 versus 45,88, waar skills uit ongemodificeerde omgevingen juist onder de no-skill-baseline zakken.

Een cruciale observatie: skills uit statische basisomgevingen kunnen de prestaties juist verslechteren. Op SpreadsheetBench zakken skills uit ongemodificeerde omgevingen onder de no-skill-baseline, en op SWE-bench Verified verlengen ze de executie-trajecten. Statische omgevingen laten de agent alleen oefenen wat hij al doet, waardoor hij redundante of suboptimale skills ophaalt. De write-en-validate-loop van EnvRigger committeert daarentegen alleen componenten die door verse policy-trajecten geverifieerd zijn, waardoor EnvHarness consequent boven de no-skill-baseline blijft.

Co-evolutie: de omgeving en de policy groeien samen

De meest strategische bevinding zit in de omgevings-schaling. Wanneer het aantal trainingsomgevingen groeit onder een identiek budget, blijven zowel originele als gegenereerde omgevingen afvlakken, terwijl EnvHarness blijft stijgen. Op SWE-bench Verified klimt EnvHarness van 47,67 naar 54,79 (een 7,12-punts winst) en behoudt een opwaartse trend bij 300 omgevingen, terwijl hetzelfde budget op originele omgevingen slechts 52,13 en op gegenereerde omgevingen 50,37 oplevert.

De reden is fundamenteel: de baselines trekken omgevingsbatches onafhankelijk van de lerende, terwijl EnvHarness elke batch specifiek synthetiseert voor de policy die eerder verworven skills heeft. De omgeving en de policy co-evolueren. Dit is geen dataset-uitbreiding, maar een gerichte aanpassing aan de huidige capaciteitsgrens van de lerende.

De generalisatie over model-backbones is eveneens robuust. Op vier modellen (Gemini 3.1 Flash-Lite, Qwen3.6 27B, Gemini 3.5 Flash, Claude Sonnet 4.6) presteren EnvHarness-skills 2,7 tot 3,7 absolute punten beter dan skills uit echte omgevingen, ongeacht of de skill-vrije success rate 30,7 of 67,2 is. De grootte van de winst is grotendeels onafhankelijk van hoe sterk de onderliggende policy is: de customisatie-loop breekt niet op het zwakste model en verzadigt niet op het sterkste.

Falsifieerbare hypothesen

De paper leent zich voor twee expliciete, falsifieerbare hypothesen die een reviewer kan toetsen:

H1: Interface-level hervorming behoudt verifier-integriteit. De claim dat elke hervormde omgeving de originele, door mensen gebouwde verifier behoudt, is falsifieerbaar. H1 faalt wanneer een Stage, Contract of Chain een episode produceert die door de originele verifier anders gescoord wordt dan de bedoelde hervorming, of wanneer de compositie van componenten een toestand bereikt die de verifier niet kan beoordelen. De paper toont dit alleen voor de drie componenttypen en de specifieke benchmarks; het is geen bewijs dat de eigenschap universeel geldt.

H2: Gerichte diagnose overtreft onvoorwaardelijke schaling. De claim dat het targeten van de capaciteitsgrens van de lerende fundamenteel effectiever is dan onvoorwaardelijke omgevings-schaling, is falsifieerbaar. H2 faalt wanneer een voldoende grote hoeveelheid onvoorwaardelijk gegenereerde omgevingen de gerichte EnvHarness-omgevingen inhaalt, of wanneer de diagnose-loop op een bepaald domein geen zwaktes meer vindt die de omgeving kan blootleggen.

De beperkingen die de auteurs zelf toegeven

De paper is eerlijk over de grenzen. Ten eerste is er de kost van de design-loop: elke omgeving wordt gebouwd via een iteratieve loop waarin een designer-agent een kandidaat-harness voorstelt, uitvoert en reviseert. Een zwakkere designer heeft meer iteraties nodig, en elke iteratie vereist een rollout van de omgeving. Deze kost wordt eenmalig per omgeving betaald, niet per trainings-episode, maar kan substantieel zijn.

Ten tweede is er de eis van een resettable, gym-stijl interface. De bindende constraint is reset: een Stage moet de omgeving in een gekozen initiële toestand plaatsen en een Chain moet hem tussen subtaken terugbrengen naar een bekende toestand. Dit sluit omgevingen uit die door een live service worden ondersteund, zoals een agent die op een echt gebruikersaccount handelt waar een verzonden e-mail of geplaatste order niet ongedaan kan worden gemaakt, of een fysieke robot wiens omgeving niet terugkeert naar de initiële configuratie.

Ten derde is er de puur sequentiële compositie in Chain. Een Chain componeert subtaken door concatenatie en verifieert het resultaat via de verifiers van de delen. Dit is wat elke hervormde taak in staat stelt om vertrouwde, door mensen gebouwde verificatie te erven, maar het laat een Chain zonder notie van of de gecomponeerde subtaken semantisch gerelateerd zijn, en zonder de mogelijkheid om workflows met vertakking of gedeelde tussenliggende toestand uit te drukken.

Wat dit betekent voor de publieke sector

De relevantie voor de Nederlandse publieke sector zit niet in de benchmarkcijfers, maar in de architectuurgedachte die erachter zit. Drie lijnen springen eruit.

Ten eerste: evaluatie-assurance zonder de waarheidsbron te vervalsen. De kern van EnvHarness is dat je de omgeving kunt hervormen terwijl de originele verifier intact blijft. Dat is precies de eigenschap die een overheidsorganisatie nodig heeft wanneer zij agent-capaciteit wil trainen of toetsen: je kunt de trainingsomgeving aanpassen aan de specifieke zwaktes die een assessment blootlegt, zonder dat de evaluatie zelf gemanipuleerd wordt. Dit raakt direct aan de EU AI Act, met name de accuracy- en robustness-eisen van artikel 15, en aan de evaluatie-discipline die NIS2 en BIO2 van organisaties eisen.

Ten tweede: de omgeving als auditobject. De paper herformuleert omgevingsconstructie als een wrapping-probleem in plaats van een authoring-probleem. Voor een organisatie die agentic AI in productie brengt, betekent dit dat de trainingsomgeving een eersteklas governance-object wordt: welke zwaktes zijn gediagnosticeerd, welke componenten zijn geaccepteerd, welke verifier blijft van toepassing. Dat is een audit-trail die BIO2- en NIS2-assessments kunnen gebruiken.

Ten derde: de co-evolutie-loop als risico. De kracht van EnvHarness is ook zijn risico. Een omgeving die zichzelf aanpast aan de zwaktes van de policy is een gesloten feedbackloop die zichzelf kan versterken. Als de diagnose of de verifier een systematische blinde vlek heeft, kan de co-evolutie die blinde vlek versterken in plaats van corrigeren. Dit is dezelfde klasse van risico als de green-test-illusie die eerder in de agent-harness-literatuur is beschreven: tests zijn sensors, geen waarheid, en een sensor is alleen nuttig als je weet wat hij meet, wat hij niet meet en welke foutmarges hij heeft.

Beperkingen van deze analyse

Deze analyse is gebaseerd op de preprint zoals gepubliceerd op arXiv op 20 augustus 2026. De resultaten zijn niet onafhankelijk gerepliceerd, en de paper is niet peer-reviewed. De benchmarkcijfers zijn afkomstig van de auteurs zelf en moeten als zodanig worden gelezen. De generalisatie naar productie-omgevingen in de publieke sector is een inferentie op basis van de architectuurgedachte, niet een door de paper bewezen claim. De paper behandelt uitsluitend tekstuele acties en observaties; de uitbreiding naar visuele, GUI-gedreven of belichaamde omgevingen is expliciet een open richting.

De kernbijdrage van EnvHarness is conceptueel: het herformuleert de vraag "hoe bouw ik betere omgevingen?" als "hoe hervorm ik bestaande omgevingen zonder de waarheidsbron te vervalsen?" Dat is een verschuiving van authoring naar wrapping, en het maakt de omgeving tot een programmeerbaar trainingsinstrument in plaats van een bevroren wereld. Voor organisaties die agentic AI serieus nemen, is dat de vraag die het onthouden waard is.