Harness Continual Learning: waarom de agent-harness vergeet

Continual learning is decennialang model-centric geweest: het model-parameter is de state die verandert met sequentiële ervaring. Maar moderne agents adapteren ook via een harness van prompts, memories, tools, skills en routing-regels. Omdat deze inhoud gezamenlijk latere executie vormgeeft, kan een harness-update eerder betrouwbaar gedrag verstoren — zelfs wanneer het model bevroren is.

Het paper Harness Continual Learning: Continual Adaptation Beyond Model Parameters van Nanjing University (Borui Kang, Jinrui Gu, Junhan Lv, Wenbin Li, Lei Wang, Yang Gao) formaliseert dit als een nieuw continual learning paradigma. De kernvraag: hoe kan een agent zijn state buiten het model continu verbeteren, terwijl het eerder verworven gedrag behouden blijft?

De verschuiving: van model-state naar harness-state

In model-centric continual learning is het leerobject het model-parameter $\theta$. Methoden zoals replay, regularisatie, optimalisatie, representatie en architectuur passen parameters aan over sequentiële taken, en het centrale probleem is catastrophic forgetting: het leren van nieuwe kennis verstoort kennis die eerder in het model is gecodeerd.

In harness-centric continual learning is het leerobject de harness-state rond een bevroren foundation model. De auteurs noemen dit Harness Continual Learning (HCL). De foundation model parameters $\theta$ blijven onveranderd, terwijl de harness evolueert onder expliciete acquisitie- en retentie-constraints.

Dimensie	Model-centric CL	Harness Continual Learning
Leerobject	Model parameters $\theta$	Harness-state $H_n$
Foundation model	Wordt bijgewerkt	Bevroren
Forgetting	Catastrophic forgetting	Harness-level forgetting
Stabiliteit-plasticiteit	Parameter-update regulatie	Historische-retentie budget $B_n$
Mechanismen	Replay, regularisatie, architectuur	Task Interface, Memory, Capability Map, Router

De auteurs definiëren harness-level forgetting als het verlies van eerder gedrag dat wordt veroorzaakt door een harness-update, zonder dat het foundation model verandert. Harness-componenten zijn gekoppeld in executie: een memory-update kan het bewijs veranderen dat voor een eerdere query wordt opgehaald; een skill-revisie kan toolgebruik veranderen; en een routing-edit kan een eerder succesvolle workflow breken. Een update die recente cases helpt, kan daardoor een eerder correct antwoord, geldige tool-call of succesvolle actie-trajectorie in een failure veranderen.

De vier harness-componenten

HCL organiseert de mutable harness-state als $H_n = (I_n, M_n, C_n, R_n)$, vier gezamenlijk geversioneerde componenten:

Component	Functie tijdens executie	Inhoud die HCL bijwerkt
Task Interface $I_n$	Transformeert ruwe interacties naar gestructureerde representaties	Prompts, task templates, parsing- en normalisatie-regels
Experience Memory $M_n$	Biedt concrete interacties en abstracte guidance voor hergebruik	Raw interaction records en LLM-gegenereerde Abstract Memory entries
Capability Map $C_n$	Biedt externe operaties en herbruikbare inner skills	Inner skills geëxtraheerd uit Abstract Memory
Adaptive Router $R_n$	Selecteert en organiseert memory en capabilities	Routing prompts, selectie-criteria en workflow templates

De Task Interface transformeert een ruwe interactie $u_n$ naar een gestructureerde representatie $i_n = (x_n, g_n, k_n)$, waar $x_n$ de beschikbare input bevat, $g_n$ het taakdoel specificeert, en $k_n$ constraints vastlegt zoals output-format, legaal toolgebruik en omgevingsrestricties.

De Experience Memory organiseert ervaring in twee complementaire vormen: Raw Memory $M^{raw}_n$ bewaart concrete interacties (ruwe input, response/actie-trajectorie, feedback) voor replay en gedragsherstel; Abstract Memory $M^{abs}_n$ wordt door een LLM geproduceerd die Raw Memory samenvat tot herbruikbare guidance (output-conventies, betrouwbare redeneerpatronen, veelvoorkomende fouten).

De Capability Map organiseert capaciteiten naar oorsprong: outer capabilities $C^{outer}_n$ (API's, retrieval-services, perceptie-modellen, calculators, omgevingsacties) en inner capabilities $C^{inner}_n$ (skills die door continue interactie zijn verworven, verder geabstraheerd uit Abstract Memory). Dit maakt de Capability Map dynamisch: de executable skill-set kan uitbreiden door ervaring.

De Adaptive Router verbindt de Task Interface, Experience Memory en Capability Map met taak-executie. Gegeven de gestructureerde interactie $i_n$, haalt het relevante ervaring op uit $M_n$, selecteert capaciteiten uit $C_n$, en organiseert ze in een executie-context $z_n = R_n(i_n, M_n, C_n)$.

Guarded harness evolution

De kern van HCL is guarded harness evolution: het scheiden van update-generatie van state-commitment via een proposal–evaluation–commitment proces. Een harness-update kan huidig gedrag verbeteren terwijl het eerder betrouwbaar gedrag degradeert. Daarom wordt een kandidaat-harness alleen gecommit als hij voldoet aan drie eisen.

Continual Optimizer: kandidaat-generatie

De Continual Optimizer implementeert de update-operator $O$ met een prompt-template voor het foundation model $F_\theta$. Het biedt de gedeployde harness $H_n$ en de interactie-evidentie $e_n$ aan het model en vraagt het om een kandidaat-harness $\tilde{H}_{n+1}$ voor te stellen. Het model analyseert de executie-uitkomst in het licht van de feedback en identificeert welke harness-componenten revisie vereisen.

Wanneer meerdere componenten revisie vereisen, gebruikt de Optimizer een sequentiële strategie: de geselecteerde componenten worden in een vooraf gedefinieerde volgorde beschouwd, en voor elke component genereert het tot $K$ alternatieven. Elk alternatief wordt geëvalueerd door alleen de geselecteerde component in de huidige kandidaat te vervangen, terwijl alle andere componenten vast blijven. De hoogst-scorende toelaatbare alternatief wordt behouden als basis voor de revisie van de volgende component.

Continual Evaluator: historische evaluatie en commitment

De Continual Evaluator onderzoekt drie complementaire aspecten:

1. Current Improvement: $\Delta_n = P(\tilde{H}_{n+1}, V_n) - P(H_n, V_n)$, waar $V_n$ de validatie-cases van de huidige taak zijn. De kandidaat voldoet wanneer $\Delta_n \geq \delta_n$.

2. Historical Retention: de Evaluator onderhoudt een compacte anchor set $A_n$ voor historische evaluatie. Elke anchor bevat de ruwe input en het succes-criterium van een eerder geobserveerde case. De historische loss is $D_n = \sum_{a \in A_n} \mathbb{1}[q(H_n, a) = 1 \wedge q(\tilde{H}_{n+1}, a) = 0]$, die telt hoeveel eerder opgeloste anchors falen onder de kandidaat. De kandidaat voldoet wanneer $D_n \leq B_n$, waar $B_n$ de vooraf gedefinieerde tolerantie voor historische loss is. $B_n = 0$ vereist dat de kandidaat elke anchor bewaart die $H_n$ momenteel oplost.

3. Validity: de kandidaat moet uitvoerbaar zijn en voldoen aan taak- en runtime-vereisten, zoals artifact-syntax, output-schema-compliance, legaal toolgebruik en omgevingsconsistentie.

De drie criteria worden gecombineerd in een commitment-beslissing: $$G^{(k)}_n = \mathbb{1}[(\Delta^{(k)}n \geq \delta_n) \wedge (D^{(k)}n \leq B_n) \wedge (\forall \ell, v{n,\ell}(\tilde{H}^{(k)}{n+1}) = 1)]$$

Deze beslissingsregel dient als een harde admissibility gate. Wanneer meerdere kandidaten de gate passeren, rangschikt de Evaluator ze met een composiet-score. Als geen kandidaat de gate passeert, blijft $H_n$ gedeployed.

De experimenten

De auteurs evalueren HCL in twee regimes: open-wereld interactie (ALFWorld, Minecraft) en gecontroleerde taakstromen (tekstuele redenering, multimodale perceptie). Ze gebruiken verschillende bevroren foundation modellen om te testen of HCL generaliseert over model-families.

ALFWorld: open-wereld capability accumulation

Met Qwen3.5-9B als bevroren model, over zes taakcategorieën (Pick-and-Place, Look-in-Light, Clean, Heat, Cool, Two-object):

Methode	Final Avg. ↑	Avg. Fgt. ↓
Static Harness	47,12%	–
RAG Baseline	55,56%	1,74
MemP	53,15%	5,18
MemRL	51,51%	5,64
Stability-HCL	61,74%	2,64
Plasticity-HCL	62,98%	10,94

Plasticity-HCL behaalt de hoogste final average (62,98%) en lost alle Two-object episodes op, maar met grotere forgetting. Stability-HCL bereikt een vergelijkbare 61,74% en presteert het best op vier van de zes categorieën, terwijl het de gemiddelde forgetting substantieel reduceert. Omdat het foundation model bevroren is en de twee profielen alleen verschillen in $B_n$, toont dit dat de Continual Evaluator de stabiliteit-plasticiteit trade-off expliciet kan controleren.

Minecraft: lange curriculum

Met Qwen3.6-27B op een 50-taak curriculum: de Static Harness volgt HCL voor 15 taken en plateaut dan; HCL voltooit alle 50. HCL gebruikt 83 omgevingsacties, vergeleken met 88 voor MemRL en 91 voor MemP — minder redundante executie.

Tekstuele redenering

Met DeepSeek-V4-Flash als bevroren model, over MuSiQue → ProofWriter → GSM8K → HotpotQA:

Methode	Final Avg. ↑	Avg. Fgt. ↓
Zero-shot	45,50%	–
Stability-HCL	52,20%	0,00
Plasticity-HCL	64,70%	0,07

Stability-HCL vereist dat geaccepteerde updates de prestaties op de historische anchor set behouden, waardoor de gemiddelde forgetting tot nul wordt gereduceerd. Deze strikte constraint beperkt de adaptatie (52,20% vs 64,70%), maar Stability-HCL overtreft nog steeds de 45,50% zero-shot baseline. Plasticity-HCL ontspant de historische-retentie-eis en verhoogt de final average naar 64,70% met slechts 0,07 gemiddelde forgetting.

Multimodale perceptie

Met Qwen3.6-27B als bevroren model, over COCO detection → captioning → RefCOCO grounding → VQAv2:

Methode	Final Avg. ↑	Avg. Fgt. ↓
Zero-shot	39,40%	–
DGG	42,73%	0,26
Plasticity-HCL	67,96%	0,81
Stability-HCL	68,92%	0,22

Beide HCL-profielen overtreffen Zero-shot en DGG substantieel. De grootste winsten zitten in detection en grounding, waar de harness ruimtelijke informatie in taakspecifieke outputs moet organiseren. VQAv2 is de enige taak waarop Zero-shot sterker blijft, omdat het bevroren model al goed presteert op directe image-question answering.

De stabiliteit-plasticiteit trade-off

De auteurs variëren alleen de historische-loss tolerantie $B_n \equiv b$ voor $b \in {0, 1, 3, \infty}$:

$b$	Final Avg. ↑	Avg. Fgt. ↓
$b = 0$	61,25%	0,39
$b = 1$	63,46%	1,22
$b = 3$	62,04%	2,00
$b = \infty$	60,13%	3,45

De hoogste final average (63,46%) treedt op bij $b = 1$, niet bij de onbeperkte setting. De auteurs verklaren dit: zonder historische constraints kunnen lokaal voordelige updates herbruikbare harness-inhoud overschrijven, waardoor zowel retentie als de ervaring/capaciteiten voor latere taken verzwakken. Een gematigde waarde van $b$ biedt extra flexibiliteit voor adaptatie zonder overmatige historische loss toe te staan.

De ablatie-studie

Op de gecontroleerde multimodale stream met Qwen3.5-4B, waarbij één component tegelijk wordt uitgeschakeld:

Variant	Final Avg. ↑	Avg. Fgt. ↓
Zero-shot	34,84%	–
w/o Interface update	62,37%	0,11
w/o Memory update	62,28%	0,83
w/o Capability update	63,12%	0,06
w/o Router update	62,77%	0,14
Full HCL	63,41%	0,45

Het uitschakelen van Experience Memory of de Task Interface produceert de grootste daling in final performance. Het verwijderen van Memory-updates verhoogt ook de forgetting naar 0,83, wat aangeeft dat evoluerende memory zowel de acquisitie als de retentie van gedrag ondersteunt. Het kleine effect van Capability-updates weerspiegelt dat deze multimodale stream minder leunt op herbruikbare executable procedures dan het Minecraft-curriculum.

Wat dit betekent voor AI-governance

Deze paper is geen cosmetische verbetering van een agent-framework. Het is een fundamentele karakterisering van een paradigma dat de komende jaren dominant zal worden: agents die continu adapteren via hun harness, rond een bevroren foundation model.

Voor Nederlandse overheidsorganisaties en semi-publieke instellingen die agentic AI overwegen, zijn er drie governance-implicaties:

1. Harness-level forgetting is een compliance-risico

Wanneer een harness-update eerder betrouwbaar gedrag breekt zonder het model te wijzigen, is dat een materieel risico voor een overheidsorganisatie die een agent inzet voor besluitvorming. Onder de EU AI Act is de harness onderdeel van het systeem dat moet worden gedocumenteerd, geëvalueerd en gemonitord. Een agent die gisteren correct antwoordde en vandaag niet meer — zonder dat iemand het model aanraakte — is precies het soort onverklaarbare gedragsverandering dat post-market monitoring moet vangen.

2. Retentie moet een expliciete voorwaarde zijn

De guarded evolution van HCL — met een Continual Evaluator die current improvement, historical retention en validity checkt vóór commitment — is een governance-patroon dat direct vertaalbaar is naar de praktijk. Elke wijziging aan een agent-systeem (prompt, memory, tool, skill, routing) zou moeten worden geëvalueerd tegen een historische anchor set, niet alleen tegen de huidige taak. Dit is de operationele invulling van "geen regressie zonder acceptatie".

3. Soevereine AI-infrastructuur

De keuze om het foundation model bevroren te houden en alleen de harness te evolueren is direct relevant voor de soevereine AI-discussie. Het bewijst dat capability-accumulatie mogelijk is zonder model-fine-tuning — wat betekent dat organisaties kunnen blijven draaien op een gevalideerd, bevroren model terwijl de harness zich aanpast aan hun specifieke domein. Dit is een bouwsteen voor de "soevereine AI-stack op NL bodem" die overheidsorganisaties nodig hebben onder de CLOUD Act- en NIS2-afwegingen.

Beperkingen

De paper heeft ook beperkingen die een kritische lezer moet erkennen:

• Kleine modellen, beperkte schaal. De experimenten gebruiken modellen van 4B tot 27B parameters. De auteurs claimen niet dat de design-keuzes schalen naar frontier-modellen van honderden miljarden parameters.
• Anchor set is een benadering. De historische-retentie constraint dekt een eindige anchor set, terwijl forgetting wordt geëvalueerd op aparte historische test-cases. Het behouden van alle anchors die $H_n$ oplost kan geen onveranderd gedrag garanderen op historische cases die niet door $A_n$ worden gerepresenteerd.
• Geen longitudinale stabiliteitsanalyse. De auteurs tonen dat de stabiliteit-plasticiteit trade-off controleerbaar is, maar er is geen analyse van hoe deze keuzes zich over langere trainingshorizons of meerdere seeds gedragen.
• De ablatie-commit-counts zijn niet vergelijkbaar. Omdat elke commitment de gedeployde harness verandert en daarmee latere feedback en proposals beïnvloedt, zijn de commit-counts tussen varianten niet direct vergelijkbaar als maten van update-efficiëntie.

Conclusie

Harness Continual Learning is geen variant van model-centric continual learning — het is een ander paradigma. Wanneer de harness de state is die evolueert rond een bevroren foundation model, wordt harness-level forgetting een eerste-orde probleem dat de betrouwbaarheid van het hele agentsysteem bepaalt. De guarded evolution van HCL — met een Continual Evaluator die historische retentie als expliciete voorwaarde voor commitment stelt — is een governance-patroon dat organisaties direct kunnen toepassen.

De kernles voor organisaties die agentic AI serieus nemen: het model is niet het systeem. De harness is het systeem. En wanneer de harness evolueert, moet retentie een expliciete voorwaarde zijn — anders vergeet het systeem wat het eerder kon, zonder dat iemand het model aanraakte.