De omgeving wordt de leraar: EnvHarness en de volgende architectuurlaag voor zelflerende AI-agenten

De meeste agentarchitecturen proberen intelligentie aan één kant van de interactie te vergroten. Het model krijgt betere prompts, meer geheugen, extra tools, een planner, reflectielussen of nieuwe gewichten. De omgeving waarin de agent leert en handelt blijft meestal hetzelfde. Zij presenteert dezelfde beginsituaties, dezelfde observaties, dezelfde acties en dezelfde succescriteria, ongeacht wat de agent inmiddels beheerst.

De paper EnvHarness: Awakening Static Worlds for Agent Learning draait dit perspectief om. Niet alleen de agent, ook diens leerwereld krijgt een programmeerbare harness. Een statische benchmark wordt via externe componenten aangepast aan de geobserveerde zwaktes van een specifieke agent, zonder de broncode en verifier van de onderliggende omgeving te wijzigen. De omgeving wordt daarmee geen passieve verzameling taken meer, maar een adaptieve tegenpartij die de actuele capability boundary van de agent probeert te vinden.

Dat is een belangrijke verschuiving. De paper maakt aannemelijk dat gerichte omgevingsadaptatie meer leerwaarde kan produceren dan het simpelweg toevoegen van echte of synthetisch gegenereerde taken. Over vijf benchmarks in vier domeinen rapporteren de auteurs betere prestaties op niet tijdens het leren gebruikte instanties, minder uitvoeringsstappen, sterkere reinforcement-learningpolicies en verdere winst wanneer de omgeving opnieuw wordt aangepast aan een inmiddels verbeterde agent. De grootste gerapporteerde verbetering ten opzichte van leren uit de oorspronkelijke omgeving bedraagt 9,0 procentpunt. Op SWE-bench Verified daalt het gemiddelde aantal stappen van 55,01 naar 49,61, ongeveer 9,8 procent.¹

Maar de paper ondersteunt niet de sterkste interpretatie die de term zelfevolutie oproept. EnvHarness toont overtuigend aan dat een omgeving programmeerbaar en policy-conditioned kan worden gemaakt. Het bewijst nog niet dat zo'n gesloten leerlus semantisch correct, security-by-design, maatschappelijk verantwoord of robuust tegen Goodhart-effecten blijft. De kernvraag is daarom niet alleen of de omgeving kan evolueren, maar wie de evoluerende omgeving controleert, welke eigenschappen invariant moeten blijven en welk bewijs nodig is voordat haar lessen de agent duurzaam mogen veranderen.

Mijn hoofdstelling luidt:

EnvHarness is geen nieuw mechanisme voor taakgeneratie, maar een kandidaat-control plane voor adaptief curriculumontwerp. De wetenschappelijke bijdrage is sterk, zolang verifierbehoud niet wordt verward met volledige environment assurance.

1. Het probleem met statische werelden

Een agent leert uit een interactielus. Op tijdstip (t) ontvangt hij observatie (o_t), kiest actie (a_t), veroorzaakt een toestandsovergang en ontvangt feedback. In een traditionele benchmark blijft de verdeling van deze leerervaringen in essentie vast. Dat veroorzaakt twee structurele problemen. Ten eerste is de omgeving blind voor het verschil tussen agents. Een policy die faalt door gebrekkige ruimtelijke oriëntatie krijgt dezelfde taken als een policy die faalt door langetermijnplanning. Extra episodes verhogen dan vooral het volume van ervaring, niet noodzakelijk de informatiewaarde ervan.

Ten tweede raakt een statische omgeving uitgeput. Zodra de agent terugkerende patronen, shortcuts of taaktemplates beheerst, kan de benchmark verzadigen. Meer samples uit dezelfde verdeling leveren afnemende marginale leeropbrengst op. Generatieve omgevingen proberen dit op te lossen door nieuwe werelden en verifiers te produceren, maar introduceren een ander probleem: de simulator en het beoordelingsmechanisme kunnen hallucineren, onderling divergeren of een onbedoelde proxy optimaliseren.

EnvHarness kiest een derde route. De bestaande, menselijke gebouwde omgeving blijft bevroren. Een externe laag verandert alleen de manier waarop de agent haar betreedt en ervaart. De auteurs formuleren dit als een analogie:

[ \text{Agent} = \text{bevroren model} + \text{agent harness} ]

[ \text{Aangepaste omgeving} = \text{statische omgeving} + \text{environment harness} ]

De eerste vergelijking is inmiddels vertrouwd. Tools, geheugen en uitvoeringslussen maken van een taalmodel een handelende agent. De tweede vergelijking is de eigenlijke bijdrage van de paper: dezelfde modulariteit wordt toegepast op de andere helft van het systeem.¹ Deze symmetrie sluit direct aan op de agent-harness-architectuur die we eerder ontleedden: daar was code de operationele laag waarmee een bevroren model redeneert en handelt. EnvHarness doet hetzelfde voor de omgeving, waardoor beide zijden van de interactielus programmeerbaar worden.

2. De architectuur: Stage, Contract en Chain

De auteurs modelleren een omgeving als:

[ E = (S, A, O, T, R, s_0) ]

Hierin is (S) de toestandsruimte, (A) de actieruimte, (O) de observatieruimte, (T) de transitiefunctie, (R) de door de verifier bepaalde beloning en (s_0) de begintoestand. Een harnesscomponent (w) transformeert (E) in (E'), maar opereert uitsluitend via de standaardinterfaces reset en step.

EnvHarness kent drie componenttypen:

Component	Formele ingreep	Praktische functie	Voorbeeld
Stage	Verandert (s_0)	Een taak moeilijker maken, scaffolding toevoegen of vroege substappen vooraf uitvoeren	Een object vóór de start verbergen, zodat zoeken noodzakelijk wordt
Contract	Transformeert (A), (O) en delen van (T)	Acties blokkeren, observaties maskeren, precondities afdwingen of feedback structureren	Teleportatie uitschakelen of een lange observatie inkorten
Chain	Composeert (E) met een tweede omgeving	De taakduur verlengen en doelpersistentie trainen	Twee subtaken achtereen laten uitvoeren en beide verifiers laten slagen

De componenten zijn stapelbaar, maar niet commutatief. Eerst een observatie maskeren en daarna een starttoestand manipuleren hoeft niet hetzelfde gedrag op te leveren als de omgekeerde volgorde. De volgorde van wrappers is daardoor een semantisch onderdeel van de omgeving, niet slechts een implementatiedetail.

Dit ontwerp is elegant omdat het de kostbaarste assets hergebruikt: de echte dynamiek, de domeinspecifieke taaklogica en de menselijke verifier. De openbare implementatie laat de ontwerpagent bovendien echte Pythoncomponenten produceren. Die code wordt volgens de repository gecompileerd en in een afzonderlijk proces uitgevoerd. Het project is onder Apache 2.0 beschikbaar en bevat reproduceerbare drivers voor de onderzochte benchmarks.²

3. EnvRigger: van agentfout naar leerinterventie

EnvHarness is het mechanisme, EnvRigger is de geautomatiseerde ontwerplus. De target policy wordt als black box behandeld. De ontwerper inspecteert geen gewichten, maar observeert trajecten en voert vier stappen uit:

1. Observe: verzamel zowel geslaagde als mislukte rollouts.
2. Diagnose: identificeer een vermoedelijke structurele zwakte, bijvoorbeeld repetitieve actielussen, gebrekkige verwerking van lange observaties of verkeerd geïnterpreteerde toolvoorwaarden.
3. Write: genereer één of meer Stage- of Contractcomponenten die de veronderstelde zwakte isoleren.
4. Validate: voer nieuwe rollouts uit, accepteer een bruikbare omgeving, verwerp een triviale of onoplosbare variant, of pas de interventie iteratief aan.

De validatiestap gebruikt niet één aansprekend traject, maar een batch met succesratio, foutverdeling en time-outs. Voor moeilijkheidskalibratie probeert de ontwerper de agent in een zone te brengen waarin de taak niet triviaal is, maar wel oplosbaar blijft. In een aanvullende proef werd voor ALFWorld een succesratio tussen 0,4 en 0,6 als doelband gebruikt. EnvHarness bracht 80 procent van de taken in die band, tegenover 6 procent van de oorspronkelijke taken. Voor een band van 25 tot 35 succesvolle stappen steeg de dekking van 18 naar 53 procent.¹

Deze procedure lijkt op automatisch curriculum learning, maar gaat verder dan het selecteren van bestaande voorbeelden. De curriculumdesigner verandert de ervaringsfunctie zelf. Tegelijk is dat precies waar het assuranceprobleem ontstaat: de component die een zwakte diagnosticeert, schrijft ook de interventie en beoordeelt vervolgens of die interventie geschikt is. Zonder onafhankelijke controle liggen diagnose, behandeling en acceptatie in één epistemische foutkring.

4. Wat de experimenten daadwerkelijk aantonen

De paper evalueert EnvHarness op ALFWorld, WebArena, SWE-bench Verified, OfficeQA en SpreadsheetBench. De trainings- en evaluatie-instanties zijn volgens de auteurs strikt gescheiden. De policy en EnvRigger gebruiken per benchmark dezelfde modelbackbone, zodat de winst niet eenvoudig kan worden verklaard als distillatie uit een sterker ontwerpmodel. De voornaamste skill-based learningresultaten zijn gemiddelden over drie onafhankelijke runs. De evaluatie-instanties worden eenmaal geprobeerd.¹

4.1 Skill-based learning

Skills worden uit omgevingstrajecten afgeleid via een ReasoningBank-achtige pipeline en daarna op niet tijdens het leren gebruikte instanties geëvalueerd.

Benchmark	Oorspronkelijke omgeving	EnvHarness	Absoluut verschil
ALFWorld, gemiddeld	62,4	68,3	+5,9
ALFWorld, OOD	61,4	70,4	+9,0
WebArena, gemiddeld	38,5	41,6	+3,1
SWE-bench Verified, succesratio	49,88	52,58	+2,70
OfficeQA, exact match	54,40	56,20	+1,80
SpreadsheetBench, Pass@1	45,88	49,15	+3,27

De relevante vergelijking is niet alleen met agents zonder skills. Skills uit ongewijzigde omgevingen kunnen ook neutraal of schadelijk zijn. Op SpreadsheetBench presteren zij bijvoorbeeld slechter dan de no-skillbaseline. Dat ondersteunt de centrale hypothese dat leerervaring niet alleen volume, maar vooral gerichtheid nodig heeft.

4.2 Reinforcement learning

De auteurs trainen Qwen3-8B-base met GRPO op ALFWorld en WebShop. Op ALFWorld stijgt de in-distribution succesratio van 81,4 naar 87,9. De OOD-score daalt licht van 89,6 naar 88,8. Op WebShop stijgt de score van 75,6 naar 79,2 en de succesratio van 66,0 naar 67,4.¹

Dit is belangrijk omdat het laat zien dat EnvHarness niet uitsluitend een artefact van skill-extractie en retrieval is. De gewijzigde omgeving levert ook een bruikbaar gradient-georiënteerd optimalisatiesignaal. Tegelijk blijft de RL-evidentie beperkt tot twee omgevingen, drie van vier metrics verbeteren en één OOD-metric regresseert licht.

4.3 Lange horizons en compositie

Chain wordt niet volledig door de autonome EnvRigger-pipeline ontworpen, omdat de interne toestand van gekoppelde omgevingen moeilijk observeerbaar is. De auteurs onderzoeken Chain daarom apart met willekeurig gekoppelde subtaken. Op SWE-bench Verified verlaagt Chain-only het gemiddelde aantal stappen van 55,01 naar 41,96, maar de succesratio blijft met 49,63 ongeveer gelijk aan de oorspronkelijke 49,88. De combinatie van Stage en Contract met Chain bereikt 54,30 succes bij 43,12 stappen. Dat wijst op complementariteit tussen capability targeting en doelpersistentie, maar het is nog geen bewijs voor semantisch zinvolle workflowcompositie.

4.4 Schaling en co-adaptatie

Bij 300 SWE-benchomgevingen stijgt de resolved rate met EnvHarness van 47,67 naar 54,79. Oorspronkelijke omgevingen eindigen op 52,13, SWE-smith-omgevingen op 50,37. Iedere nieuwe batch wordt ontworpen tegen de policy inclusief eerder opgebouwde skills. Daarmee reageert de omgeving op de verschuivende grens van wat de agent al kan.¹

De term co-evolution moet hier zorgvuldig worden gelezen. In deze scalingproef evolueert vooral het curriculum samen met een groeiende skillbank. De paper toont daarnaast afzonderlijk policy-learning via RL, maar geen onbeperkte gezamenlijke evolutie van modelgewichten, harness, verifier en omgeving. Wetenschappelijk preciezer is daarom: herhaalde policy-conditioned curriculumco-adaptatie.

4.5 Generalisatie en compute

De methode levert op SWE-bench Verified voor vier verschillende backbones, Gemini 3.1 Flash-Lite, Qwen3.6 27B, Gemini 3.5 Flash en Claude Sonnet 4.6, 2,7 tot 3,7 procentpunt meer succes op dan skills uit de oorspronkelijke omgeving. Dat is nuttig bewijs dat de pipeline niet aan één modelfamilie vastzit.

De generalisatie is echter niet uniform. In een leave-one-task-type-out-proef op ALFWorld bedraagt de gemiddelde verbetering 3,1 punt, maar het type heat regresseert met 8,7 punt. Een gemiddelde winst maskeert dus capabilityspecifieke schade.

Ook de computeclaim verdient nuance. Op ALFWorld verbruikt EnvHarness naar schatting 228,0 miljoen tokens tegenover 64,2 miljoen voor GenEnv, ongeveer 3,5 keer zoveel. Op WebArena is het totaal vergelijkbaar met VeriEnv, 137,3 tegenover 137,8 miljoen. De extra uitgaven kopen grounding in echte omgevingen en echte verifiers, maar maken de methode niet goedkoop.¹

5. Zes toetsbare hypotheses

Een PhD-niveau beoordeling vraagt om een onderscheid tussen observatie, interpretatie en nog niet bewezen systeemclaim.

Hypothese	Evidentie in de paper	Beoordeling	Falsificatiecriterium
H1: Policy-conditioned omgevingen leveren meer transfer dan statische oefening	Winst op vijf benchmarks en vier domeinen	Voorlopig ondersteund	Geen winst op preregistreerde, strikt externe benchmarks bij gelijk compute- en databudget
H2: Interfacewrapping behoudt de betrouwbaarheid van de oorspronkelijke verifier	De verifier en basistaak blijven ongewijzigd	Technisch deels ondersteund, semantisch niet bewezen	Een wrapper laat de verifier slagen terwijl de bedoelde taaksemantiek, realiteitswaarde of veiligheidsconstraint is geschonden
H3: De Observe-Diagnose-Write-Validate-lus identificeert causale zwaktes	Gerichte componenten verbeteren held-out gedrag	Alleen indirect ondersteund	Een alternatieve interventie met tegengestelde diagnose levert dezelfde winst, of de winst verdwijnt bij causale counterfactuals
H4: Herhaalde aanpassing veroorzaakt duurzame co-evolutie	De curve blijft stijgen tot 300 omgevingen	Ondersteund voor skillbankco-adaptatie, niet voor open-ended evolutie	Prestatie stagneert, cycliseert of regresseert bij langere horizons, nieuwe domeinen of een bevroren externe evaluator
H5: De methode verbetert kwaliteit zonder disproportionele kosten	Minder stappen en vergelijkbare WebArena-kosten	Gemengd	Totale compute, latency of energie per robuuste capabilitywinst is slechter dan een passend curriculum- of generatoralternatief
H6: Een zelfontworpen harness kan veilig autonoom worden gepromoveerd	Afzonderlijk proces en verse rollouts beperken implementatiefouten	Niet bewezen	Promptinjectie, generated-code escape, skill poisoning, verifier gaming of niet-reproduceerbare promotie slaagt in een red-teamproef

Deze tabel maakt zichtbaar waar de paper sterk is. H1 heeft brede empirische steun. H2 wordt slechts gedeeltelijk bewezen. H3 is een causaliteitsclaim op basis van gedragsobservatie en blijft ondergeïdentificeerd. H4 is veelbelovend, maar de horizon is kort. H5 hangt af van de gekozen comparator. H6 valt grotendeels buiten de experimentele scope.

6. De verifierparadox

Het krachtigste ontwerpprincipe van EnvHarness is tegelijk zijn meest waarschijnlijke bron van overschatting: de oorspronkelijke verifier blijft behouden.

Dat voorkomt een belangrijk probleem van volledig gegenereerde omgevingen. Als een LLM zowel de taak, simulator als beoordelaar schrijft, kunnen alle drie coherent lijken en toch gezamenlijk fout zijn. EnvHarness houdt het oorspronkelijke succescriterium vast. Daarmee blijft de terminale uitspraak reproduceerbaar binnen de benchmark.

Maar verifierbehoud is geen bewijs van semantisch behoud. Contract mag de actieruimte, observatieruimte en transitiedynamiek wijzigen. Daardoor kan een episode formeel door dezelfde verifier worden beoordeeld, terwijl de betekenis van het geleerde gedrag verandert. Formeel blijft (R) staan, maar (A'), (O') en (T') zijn anders. Een vaste rewardfunctie op een veranderde ervaringsruimte is niet automatisch constructvalide.

Er zijn minstens vier mogelijke discrepanties:

1. Doelgeldigheid: de verifier meet een terminale toestand, niet noodzakelijk de bedoelde vaardigheid.
2. Procesgeldigheid: een agent kan slagen via een door de wrapper geïntroduceerde shortcut.
3. Ecologische geldigheid: een kunstmatige restrictie kan prestaties verbeteren zonder realistische situaties te representeren.
4. Veiligheidsgeldigheid: succes kan worden bereikt terwijl privacy-, security- of beleidsconstraints worden geschonden.

De auteurs erkennen een verwant probleem bij Chain. De conjunctie van twee geldige verifiers zegt niets over de semantische samenhang van de gekoppelde subtaken. Twee correcte zinnen vormen niet automatisch een correct argument. Evenzo vormen twee correct verifieerbare taken niet automatisch een geldige workflow.

De juiste assuranceclaim is daarom smaller:

EnvHarness behoudt de uitvoerbaarheid van de oorspronkelijke verifier, niet vanzelfsprekend de volledige betekenis van wat die verifier geacht wordt te bewijzen.

Deze verifierparadox is dezelfde klasse van risico als de green-test-illusie in agent-harness-systemen: uitvoeringsfeedback geeft een valse zekerheid, omdat tests sensors zijn en geen waarheid. Een vaste rewardfunctie op een gewijzigde ervaringsruimte is een sensor waarvan je moet weten wat hij meet, wat hij niet meet en welke foutmarges hij heeft.

7. Methodologische beperkingen

7.1 Preprint en statistische sterkte

De geanalyseerde versie is arXiv v1 van 20 augustus 2026 en dus een recente preprint.¹ De auteurs rapporteren standaarddeviaties en drie onafhankelijke runs voor de primaire skillproeven, maar geen brede hypothesetoetsing, betrouwbaarheidsintervallen of correctie voor het grote aantal benchmarksubmetrics. Vooral bij WebArena zijn sommige varianties groot. Eén poging per evaluatie-instantie maakt de meting praktisch, maar beperkt de mogelijkheid om stochastische variatie per taak te karakteriseren.

7.2 Gecorreleerde fouten door hetzelfde model

Hetzelfde modeltype vervult de rol van target policy en EnvRigger. Dit sluit de simpele verklaring uit dat een sterker model kennis overdraagt aan een zwakker model. Het creëert echter een ander risico: gedeelde inductieve biases. De ontwerper kan fouten van de policy verkeerd interpreteren omdat beide systemen dezelfde representatieblinde vlekken hebben. Een onafhankelijke designer, critic of evaluator is daarom geen luxe, maar een noodzakelijke controlegroep.

7.3 Diagnose is nog geen causaliteit

Een mislukt traject kan meerdere oorzaken hebben. Herhaalde acties kunnen wijzen op gebrekkig geheugen, onduidelijke observaties, verkeerde toolsemantiek, exploration failure of een fout in de omgeving. EnvRigger kiest een plausibele verklaring en test een interventie. Als prestaties stijgen, bewijst dat dat de interventie hielp, niet noodzakelijk dat de diagnose causaal juist was.

Sterker bewijs vereist mechanistische counterfactuals. Verwijder alleen de veronderstelde oorzaak, houd alle andere factoren gelijk en test of de fout verdwijnt. Voer vervolgens een negatieve controle uit met een semantisch irrelevante, maar qua moeilijkheid vergelijkbare interventie.

7.4 Optimalisatie van de meetzone

De succesband van 0,4 tot 0,6 is een verstandige operationele heuristic voor leerbare moeilijkheid. De paper laat indrukwekkend zien dat de omgeving naar zo'n band kan worden gestuurd. Zij bewijst niet dat precies deze band de hoogste downstream leeropbrengst veroorzaakt. Het risico bestaat dat EnvRigger leert om een meetwaarde te kalibreren, terwijl capability transfer stagneert. Moeilijkheidskalibratie en leerwaarde moeten daarom als twee afzonderlijke hypotheses worden getest.

7.5 Beperkte real-world toepasbaarheid

EnvHarness veronderstelt een resetbare, gym-achtige interface met tekstuele acties en observaties. De auteurs noemen zelf dat dit live diensten, echte gebruikersaccounts en fysieke omgevingen uitsluit wanneer acties niet betrouwbaar ongedaan kunnen worden gemaakt. Een verzonden e-mail, geplaatste bestelling of fysieke robotactie kan niet veilig als willekeurige rollout worden behandeld. Ook visuele GUI-omgevingen vallen nog buiten de huidige bewijsbasis.¹

8. Threat model: de omgeving als nieuwe aanvalsvector

Zodra een LLM uitvoerbare wrappers schrijft, wordt environment design onderdeel van de software supply chain. De openbare implementatie voert gegenereerde Python in een afzonderlijk proces uit.² Dat is een goede foutisolatiestap, maar een afzonderlijk proces is op zichzelf geen bewezen security boundary. Zonder aanvullende OS- of VM-containment kan gegenereerde code mogelijk bestanden, netwerk, secrets, CPU of geheugen misbruiken.

Dreiging	Aanvals- of faalpad	Mogelijke impact	Minimale beheersing
Promptinjectie via trajecten	Observaties, tooloutput of repositorytekst beïnvloeden EnvRigger	Kwaadaardige of misleidende Contractcode	Scheiding van data en instructies, provenance labels, contentfilters, onafhankelijke policycheck
Generated-code escape	Een gegenereerde wrapper misbruikt runtimecapaciteiten	Exfiltratie, laterale beweging, sabotage	Ephemere microVM of gelijkwaardige isolatie, geen secrets, read-only filesystem, egress deny, seccomp, quota
Verifier gaming	Wrapper verandert observaties of transities zodat succes eenvoudiger lijkt	False green en ongeldige skills	Invarianttests, onafhankelijke meta-verifier, adversarial canaries, vergelijking met untouched holdout
Skill- of memory poisoning	Een foutieve omgeving produceert een duurzaam opgeslagen skill	Herhaalde fouten over taken en agents	Gesigneerde skill lineage, quarantaine, TTL, rollback, challenger-evaluatie
Correlated self-approval	Dezelfde modelbias ontwerpt, diagnosticeert en accepteert	Systematische blinde vlek	Functiescheiding tussen designer, policy, verifier en safety critic
Resource exhaustion	De Write-Validate-lus blijft reviseren of genereert dure rollouts	DoS en onvoorspelbare kosten	Harde budgetten voor tokens, stappen, tijd, energie en revisies
Privacyverlies	Trajecten bevatten gebruikersdata, documenten of secrets	AVG-overtreding en vertrouwelijkheidsverlies	PII-vrije simulaties, data-minimalisatie, redactie vóór opslag, retentiebeleid
Niet-deterministische compositie	Wrappervolgorde, seeds of afhankelijkheden veranderen	Niet-reproduceerbaar bewijs	Versiepinnen, seed ledger, SBOM, gesigneerde artefacten, volledige replay

Deze dreigingen sluiten aan op de bredere agentic-AI-risico's die OWASP beschrijft, waaronder promptinjectie, toolmisbruik, memory poisoning, identiteitsproblemen en onverwachte autonome acties.³ NIST benadrukt daarnaast dat risico's over de gehele AI-lifecycle moeten worden bestuurd en dat AI-specifieke softwareontwikkeling aanvullende secure-developmentpraktijken vereist.⁴⁵

9. Van experiment naar assurance-architectuur

Een enterprise-implementatie moet EnvRigger behandelen als een onbevoorrechte ontwikkelaar die onbetrouwbare code en onbetrouwbare trainingssignalen produceert. De design plane mag nooit zelf de productiepromotie autoriseren.

9.1 Aanbevolen trust boundaries

1. Immutable Environment Registry: gesigneerde basisomgevingen, verifiers, datasets, seeds en afhankelijkheden.
2. Environment Adaptation Plane: EnvRigger mag componenten voorstellen, maar niet rechtstreeks activeren buiten een testscope.
3. Isolated Execution Plane: alle componenten draaien in ephemere, egress-loze sandboxes met minimale rechten en harde resourcequota.
4. Dual Verification Plane: de oorspronkelijke taakverifier controleert succes, een onafhankelijke meta-verifier controleert semantiek, veiligheid en invarianten.
5. Learning Plane: alleen goedgekeurde trajecten, skills of policy-updates mogen worden opgenomen.
6. Evidence Ledger: iedere promotie bevat herleidbare relaties tussen base environment, harnessversie, model, prompt, seed, rollouts, verifiers, metrics en besluit.
7. Runtime Monitoring Plane: detecteert distributieverschuiving, regressie, anomalieën, budgetoverschrijding en false-green canaries.

9.2 Fail-closed promotietoestanden

Toestand	Betekenis	Toegestane overgang
DRAFT	Door EnvRigger gegenereerd, nog niet vertrouwd	Alleen naar QUARANTINED
QUARANTINED	Statische analyse en containmenttests lopen	Naar REJECTED of VERIFIED
VERIFIED	Technische, semantische en veiligheidsinvarianten slagen	Naar ELIGIBLE
ELIGIBLE	Downstream holdoutwinst en kosten zijn aangetoond	Na onafhankelijke approval naar PROMOTED
PROMOTED	Beperkt gebruikt voor leren, met volledige observability	Naar MONITORED of REVOKED
MONITORED	Post-promotie-evidence blijft binnen thresholds	Blijft actief of gaat naar REVOKED
REVOKED	Regressie, poisoning of false green vastgesteld	Geen automatische herpromotie

De belangrijkste ontwerpregel is dat ontbrekend bewijs geen impliciete toestemming wordt. NOT_PROVEN moet operationeel hetzelfde effect hebben als HOLD, niet als PASS.

9.3 Negen minimale gates

Een harnesscomponent mag pas leerdata beïnvloeden nadat ten minste de volgende gates zijn geslaagd:

1. G1, provenance: exacte bron, prompt, model, dependencies, seed en hash zijn vastgelegd.
2. G2, code safety: AST-regels, dependencybeleid, secret scanning en malicious-behaviorcanaries slagen.
3. G3, containment: netwerk, filesystem, procesboom en resourcegrenzen zijn technisch afgedwongen.
4. G4, base invariance: de basisomgeving en oorspronkelijke verifier zijn byte-identiek en read-only.
5. G5, solvability: de taak is niet triviaal, onmogelijk of alleen via een kunstmatige shortcut oplosbaar.
6. G6, semantic validity: een onafhankelijke evaluator bevestigt dat de gewijzigde ervaring de bedoelde capability representeert.
7. G7, transfer: winst verschijnt op untouched, preregistreerde holdouts en niet alleen in de aangepaste omgeving.
8. G8, safety and fairness: security-, privacy-, non-discriminatie- en domeinconstraints blijven intact.
9. G9, rollback: skill, memory of policywijzigingen zijn herleidbaar, omkeerbaar en opnieuw afspeelbaar.

Dit sluit aan bij NIST AI RMF's functies Govern, Map, Measure en Manage. Voor de softwarekant hoort de componentpipeline onder een AI-specifieke SSDF te vallen, inclusief build-herkomst, afhankelijkheidsbeheer, testbare security requirements en gecontroleerde release.⁴⁵

10. Betekenis voor gereguleerde en publieke organisaties

Voor organisaties in justitie, overheid, zorg en financiële dienstverlening is EnvHarness vooral interessant als offline assurance- en leermechanisme. De directe inzet op echte dossiers, accounts of besluitprocessen is onverantwoord zolang acties niet volledig resetbaar zijn en semantische meta-verificatie ontbreekt.

Een verantwoorde eerste toepassing is een PII-vrije digitale tweeling:

• train agents op synthetische of zorgvuldig gedeïdentificeerde cases;
• laat Stage uitzonderingssituaties en incomplete beginsituaties introduceren;
• gebruik Contract om verboden shortcuts, te brede bevoegdheden of onrealistische observatietoegang af te sluiten;
• gebruik Chain voor langere workflows, maar alleen wanneer de samengestelde doelstelling een eigen domeinverifier heeft;
• publiceer geen skill of policy-update zonder onafhankelijke challenge set en menselijke accountability.

Onder de Europese AI Act moet governance bovendien naar het gehele AI-systeem kijken, niet alleen naar de modelgewichten. Een organisatie die een omgeving, toolset, geheugenlaag of beslisworkflow materieel wijzigt, verandert de operationele werking van het systeem. Een ongewijzigd foundation model betekent dus niet dat change control, technische documentatie, risicoanalyse en menselijke toezichtseisen ongewijzigd kunnen blijven. De Europese Commissie benadrukt voor GPAI en downstreamsystemen juist documentatie, evaluatie, cybersecurity en samenwerking door de waardeketen.⁶

Deze governance-vereiste raakt direct aan de accuraatheid- en robuustheidseisen van de EU AI Act (artikel 15) en de evaluatie-discipline die NIS2 en BIO2 van organisaties eisen. Wanneer een organisatie de leeromgeving van een agentsysteem materieel aanpast, moet zij kunnen aantonen dat de aangepaste omgeving nog steeds de bedoelde capaciteit representeert en dat de trainingsevaluatie niet is gemanipuleerd.

11. Onderzoeksagenda: wat nu bewezen moet worden

De volgende stap is niet simpelweg meer benchmarks draaien. De cruciale open vragen zijn epistemisch en systemisch:

RQ1: Leert EnvRigger oorzaken of alleen correlaties?

Voer causale interventiestudies uit met negatieve controles en onafhankelijke diagnoses. Meet overeenstemming tussen meerdere designers en laat vooraf vastgelegde mechanismen voorspellen welke interventie wel en niet werkt.

RQ2: Wanneer blijft verifierbetekenis invariant?

Definieer formele contracten voor toegestane transformaties van (A), (O) en (T). Bewijs per componentklasse welke semantische eigenschappen behouden blijven. Voor praktische systemen kan dit via property-based testing, metamorphic testing en domeinspecifieke invarianten.

RQ3: Is de curriculumwinst blijvend?

Test na langere tijd, op nieuwe taakfamilies, onder modelwissels en zonder toegang tot de skillbank. Een capability is pas robuust wanneer zij niet alleen door retrieval van een specifieke tekstuele skill wordt gedragen.

RQ4: Ontstaat een curriculum monoculture?

Vergelijk same-model EnvRigger met cross-model designers, menselijke experts en ensembles. Meet niet alleen gemiddelde winst, maar capability coverage, foutcorrelatie, epistemische diversiteit en regressies per subgroep.

RQ5: Wat is de optimale leerzone?

Varieer systematisch de doelsuccesband. Meet downstream sample efficiency, transfer, calibration en robustness. Een omgeving die precies 50 procent succes afdwingt is niet noodzakelijk de omgeving die de beste generaliseerbare skill produceert.

RQ6: Kan de harness veilig vijandige input verdragen?

Publiceer een adversarial benchmark met promptinjecties in observaties, kwaadaardige repository-inhoud, verifier exploits, resource bombs, secret canaries en skill-poisoningaanvallen. Zonder zo'n benchmark blijft autonome componentgeneratie een onbewezen trust boundary.

12. Strategisch oordeel

EnvHarness is inhoudelijk sterker dan veel werk dat onder het label self-evolving agents verschijnt. Het introduceert geen abstracte belofte van autonomie, maar een concreet programmeermodel, drie composeerbare interventietypen, een reproduceerbare ontwerpcyclus en brede empirische evaluatie. De resultaten ondersteunen de stelling dat het gericht veranderen van leercondities effectiever kan zijn dan ongerichte omgevingsexpansie.

De grootste bijdrage is daarom niet dat een agent zichzelf kan verbeteren. De bijdrage is dat de leeromgeving een eersteklas, versieerbaar en automatiseerbaar architectuurartefact wordt. Dat opent een nieuw control plane voor agentontwikkeling.

Tegelijk is de paper nog geen blauwdruk voor production-grade zelfevolutie. De experimentele evidence is beperkt tot recente benchmarkopstellingen, de designlus is kostbaar, Chain is semantisch zwak, resetbaarheid sluit echte onomkeerbare processen uit en de security- en governancegrenzen zijn onvoldoende bewezen. Vooral de formulering dat de oorspronkelijke verifier behouden blijft, moet niet worden gelezen als garantie dat de aangepaste omgeving waarheidsgetrouw, veilig of normatief geldig blijft.

Het juiste besluit is daarom geen GO voor autonome productie-inzet en ook geen REJECT van het concept. Het is:

GO voor een geïsoleerde research- en assurance-pilot, HOLD voor autonome promotie naar leer- of productieflows met reële impact.

Wie EnvHarness enterprise-ready wil maken, moet de methode uitbreiden met onafhankelijke meta-verificatie, causale falsificatie, zero-trust code-executie, immutable provenance, capabilitygerichte regressietests en fail-closed promotie. Dan kan de omgeving werkelijk een leraar worden, zonder dat dezelfde leraar ook ongecontroleerd zijn eigen lesstof, examen en diploma beheert.

Bronnen

Footnotes

1. Chengsong Huang et al., EnvHarness: Awakening Static Worlds for Agent Learning, arXiv:2608.19880v1, 20 augustus 2026. Zie ook de volledige PDF. ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶ ↩⁷ ↩⁸ ↩⁹

2. Google Research, EnvHarness repository, Apache 2.0, geraadpleegd 28 augustus 2026. ↩ ↩²

3. OWASP GenAI Security Project, OWASP Top 10 for Agentic Applications 2026 en Securing Agentic Applications Guide 1.0. ↩

4. NIST, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, NIST AI 600-1, juli 2024. ↩ ↩²

5. NIST, Secure Software Development Practices for Generative AI and Dual-Use Foundation Models, SP 800-218A, juli 2024. ↩ ↩²

6. Europese Commissie, AI Act en Guidelines for providers of general-purpose AI models, geraadpleegd 28 augustus 2026. ↩