De harness wordt zelf lerend code: AutoSaddler en de volgende grens van agentische betrouwbaarheid

Lang-horizon LLM-agents blijven onbetrouwbaar, niet omdat het model dom is, maar omdat kleine lokale fouten over langdurige interacties samenklonteren tot een totale taakmislukking. De industrie heeft daar één antwoord op gevonden: de harness - de externe laag rond het model die prompts, tools en control-logica orkestreert. Het probleem is dat die harness tot nu toe met de hand ontworpen wordt: een trage, dure zoektocht door een gigantische ruimte van prompts, toolconfiguraties en runtime-logica.

AutoSaddler zet daar een systeem tegenover dat de harness zelf optimaliseert, als een offline leerprobleem dat uitvoeringstraces als leerdata gebruikt. Dit is geen cosmetische prompt-tuning. Het is de verschuiving van de harness als statische configuratie naar de harness als zelf-herstellende code - met alle governance-vragen die daarbij horen.

Wat AutoSaddler precies doet

De kernformulering is elegant. Laat een taak x ∈ X uit een taakdistributie T komen, en een harness Hθ geparametriseerd door θ de execution-distributie Pθ(τ, ŷ | x) definiëren. Het optimalisatie-objectief is de verwachte taakprestatie over de doelverdeling:

J(θ) = E_{(x,y*)∼T} E_{(τ,ŷ)∼Pθ(·|x)} [ μ(ŷ, y*) ]

waarbij μ een taakniveau-metriek is zoals Pass@1. Onder een rollout-budget K zoekt AutoSaddler naar het beste kandidaat-harness θ̂_AS dat op de development-set de hoogste empirische score haalt. De zoekruimte is gestructureerd in drie lagen: θ = (θ_prompt, θ_tool, θ_middleware).

Het algoritme doorloopt iteratief vier sessies:

1. Diagnosis-Patch sessie. Het huidige harness H_n draait op een mini-batch B_n. Fouttraces gaan naar een diagnose-agent die, gewapend met de harness-codebase en structurele richtlijnen, de worteloorzaak identificeert en een gestructureerde patch Δθ_n genereert. Cruciaal: diagnose en patch-generatie zijn niet gescheiden, zodat de agent de context uit de diagnose kan benutten.

2. Verificatie. De gepatchte harness H'_n draait opnieuw op dezelfde mini-batch. Alleen als de mini-batch score van de gepatchte harness die van de oorspronkelijke overschrijdt, wordt de update als mini-batch-verbetering beschouwd en getest op D_dev voor generalisatie.

3. Reflectie. Vóór en na de patch worden traces vergeleken en geclassificeerd in vier categorieën: fixed, regressed, still-failing en still-passing. De geleerde lessen worden opgeslagen in de EvoDAG, een gerichte acyclische graaf die de evolutiegeschiedenis van updates bijhoudt.

4. Evolutie. De EvoDAG functioneert als het cumulatieve geheugen van het optimalisatieproces. Een evolutie-agent raadpleegt de volledige graaf om een nieuw harness H_{n+1} te synthetiseren, elementen uit eerdere harnesses te combineren en lokale optima te ontsnappen.

De analogie met backpropagation is treffend: omdat tekstuele foutsignalen niet automatisch gecheckt worden zoals numerieke gradients, vereist elke update expliciete hypothese-generatie, interventie en empirische verificatie. De EvoDAG speelt de rol van de optimizer.

De drie ontwerpprincipes achter de winst

AutoSaddler is niet zomaar een evolutionaire zoektocht. De auteurs isoleren drie ingrediënten die de winst verklaren, elk bevestigd door een ablatiestudie op GAIA2:

1. Diepe diagnose over ondiepe reflectie. Wanneer de diagnose wordt vervangen door een enkele shallow LLM-call die de trace leest en de faalreden afleidt, zakt de Pass@1 op GAIA2 van 62.0% naar 57.8%. De diepe diagnose roept gemiddeld 6.2 extra toolcalls en 5.8 extra file-accesses per optimalisatiestap op - en levert aan het eind van Epoch 1 dertien geaccepteerde patches op tegenover vijf voor de shallow variant.

2. Gestructureerde interventie over onbeperkt redigeren. Zonder patch-taxonomie en gefaseerde patch-scheduling stort het systeem ineen tot 91.5% Steering patches (tekstuele edits), terwijl de hogere-waarde Capability patches (nieuwe tools, loop-logica, infrastructuur) maar 4% uitmaken. Met structuur stijgt dat aandeel naar 25% - en die patches blijken de hoogste acceptatiegraad te halen (New Tool 83%, Loop Change 71%, Infra Change 67%). Zonder structuur zakt de score van 62.0% naar 56.9%.

3. Generalisatiebewuste selectie over traject-specifieke reparatie. Dit is de grootste afzonderlijke ablatie: zonder reflectie en dev-set-evaluatie zakt de Pass@1 van 62.0% naar 50.6%. Het mechanisme is verhelderend. Beide varianten halen vergelijkbare fix-rates, maar AutoSaddler houdt de regressierate laag (-0.24 pp/iter) terwijl de ablatie die juist ziet stijgen (+0.16 pp/iter). De auteurs tonen een concreet geval: een over-breedte hook op een veelgebruikte tool send_message_to_user die agentgedrag over talloze ongerelateerde scenario's verstoort - en die door de reflectie geblokkeerd wordt, terwijl de ablatie hem behoudt.

De resultaten op drie benchmarks bevestigen de opzet. AutoSaddler verbetert de basis-harness met +9.0 procentpunt op GAIA2 (53.0% naar 62.0%), +8.4 op SWE-Bench Pro (37.3% naar 46.9%) en +10.0 op Terminal-Bench 2.0 (40.0% naar 50.0%). Tegen de sterkste geautomatiseerde baseline levert het +7.4, +6.2 en +4.4 procentpunt. Op efficiency is het verschil nog scherper: AutoSaddler bereikt 72.3% dev-accuracy met ~1.000 rollouts, waar GEPA en Meta-Harness verzadigen op 64.6% en 61.5% ondanks ~2.800 taakuitvoeringen. Gemeten naar geleerde traces haalt AutoSaddler zijn beste resultaat na slechts 147 traces - ongeveer 10× minder dan Meta-Harness (1.400).

De formele kernel: een budget-constrained offline leerprobleem

Wat AutoSaddler methodologisch onderscheidt is dat het geen ad-hoc heuristiek is, maar een formeel geformuleerd leerprobleem met een hard budget. Dit verdient nadruk omdat het de fundamentele verandering markeert ten opzichte van prompt-optimalisatie. Een prompt-optimalisatie-systeem zoekt in de ruimte van promptstrings. AutoSaddler zoekt in de ruimte van volledige harness-code - en behandelt die code als het leerobject, met patches die de executable logica veranderen, niet alleen de instructies.

De formalisering heeft drie aannames die de scope bepalen, en die zijn eerlijk gemarkeerd:

1. Stateless en onafhankelijke taken. De auteurs nemen expliciet aan dat taakinstanties onafhankelijk zijn en zonder geheugen. Dit sluit stateful settings, memory en skill-curation uit - precies de domeinen waar de agentische markt zich nu naartoe beweegt.

2. Supervised leerprobleem. Er is een training-set van taken met gouden antwoorden en een duidelijke taakniveau-metriek. In real-world deployment ontbreken die ground-truth outcomes vaak, of zijn ze prohibitief duur om te verkrijgen.

3. Basis-harness is gegeven. AutoSaddler optimaliseert een bestaande harness (de ReAct-agent in GAIA2, SWE-agent in SBP, Terminus 2 in TB2); het bouwt geen harness vanaf nul.

Deze aannames maken de resultaten schoon en reproduceerbaar, maar ze betekenen ook dat de geclaimde winst geldt binnen een specifiek, gecontroleerd regime.

Waarom dit geen prompt-optimalisatie is

De auteurs maken een scherp onderscheid met de bestaande literatuur over automatische prompt-optimalisatie, en dat onderscheid is de kern van de bijdrage. Prompt-optimalisatie (GEPA, textual gradient methoden) zoekt in de ruimte van promptstrings en gebruikt meestal shallow reflection op faaltraces. AutoSaddler verschuift het object van optimalisatie van de prompt naar de volledige harness: prompts, tools én middleware.

Dit heeft drie consequenties die relevant zijn voor wie agentische systemen bouwt:

• De zoekruimte is groter en heterogener. Naast tekstuele edits omvat het Capability patches: nieuwe tools toevoegen, tool-argumenten verbeteren, implementaties fiksen, agent-loop-logica en infrastructuur veranderen. Dit verklaart waarom het systeem de lokale optima van pure prompt-tuning overstijgt.
• De patches zijn duurzamer. De auteurs tonen dat Capability patches een vergelijkbare fix-rate halen als Steering patches (55% vs 58%) maar substantieel minder regressies introduceren (8% vs 17%). Executable fixes zijn beter afgebakend dan brede tekstuele regels.
• De validatie is budgetbewust. Omdat elke taakuitvoering een rollout kost, selecteert AutoSaddler updates op basis van mini-batch-verbetering én dev-set-generalisatie. Dit is de anti-overfitting-mechanica die de regressierate laag houdt.

Governance-implicatie: wie bewaakt de optimaliserende agent?

Hier raakt het paper aan een vraag die het zelf nauwelijks beantwoordt, maar die voor iedere publieke-sector-omgeving cruciaal is. De beperkingen-sectie stelt het in één zin: "automated harness modifications should undergo human review or additional security validation before deployment to production systems." Die zin verdient uitvergroting, want de implicatie is dieper dan het klinkt.

AutoSaddler introduceert een meta-agent-laag: een systeem dat de harness van een taakagent automatisch wijzigt. Die meta-agent heeft toegang tot de harness-codebase, kan tools toevoegen en loop-logica veranderen, en doet dit iteratief zonder menselijke tussenkomst tijdens de optimalisatie. In een productie-omgeving is dat een nieuw aanvalsoppervlak en een nieuw governance-object:

• Wie beoordeelt een automatisch gegenereerde harness-update? In AutoSaddler is de selectie empirisch (dev-set prestatie), maar de aard van de wijziging - een nieuwe tool, een gewijzigde hook op een veelgebruikte functie - heeft veiligheidsimplicaties die een dev-set-metriek niet vangt. De auteurs tonen zelf hoe een ogenschijnlijk redelijke patch (een hook die een nieuwe tool forceert) gedrag over ongerelateerde scenario's kan verstoren.
• Wat betekent "duurzame update" voor audit-trails? Als de harness zelf-evoluerende code is, dan verandert ook de configuratie van het agentische systeem continu. De EvoDAG is een uitstekend audit-mechanisme - het houdt de volledige evolutiegeschiedenis bij met patches en lessen - maar het is een optimalisatie-instrument, geen compliance-register.
• Hoe verhoudt automatische optimalisatie zich tot de verplichting dat AI-gedrag traceerbaar en verklaarbaar blijft? Een harness die zichzelf aanpast op basis van faaltraces produceert gedrag dat niemand expliciet heeft ontworpen. Voor sectoren onder NIS2 en BIO2, waar wijzigingsbeheer en audit-verplichtingen gelden, is dat een fundamentele spanning.

De drie benchmarks (GAIA2 met een gesimuleerde smartphone-omgeving, SWE-Bench Pro met enterprise software-engineering, Terminal-Bench 2.0 met systeembeheer, ML en cybersecurity) zijn representatief voor reële domeinen. Maar ze zijn gesimuleerd en stateless. De overgang van een geoptimaliseerde harness naar een productie-deployment met geheugen, skills en echte omgevingen is niet triviaal - en daar zit het governance-vacuüm.

Beperkingen en restrisico's

Naast de drie eerlijk gemarkeerde scope-aannames zijn er methodologische kanttekeningen:

• Model-lock-in. Alle optimalisatie gebruikt Claude Opus 4.6 als onderliggend LLM. Hoewel cross-model transfer (Opus 4.6 → Haiku 4.5) nog +5.6 procentpunt oplevert, is de winst deels afhankelijk van de diagnose-, reflectie- en evolutie-agents die met dat specifieke model werken.
• Eén evolutie-run. Voor de optimalisatie wordt één evolutie-run op train- en dev-set uitgevoerd; alleen de test-evaluatie gebruikt drie runs. De gerapporteerde standaarddeviaties weerspiegelen dus test-stochasticiteit, niet optimalisatie-stochasticiteit. De auteurs erkennen dit en tonen een aparte run (58.6% op GAIA2) die ruim boven de basis blijft.
• Metrische keuze. Pass@1 is een duidelijke metriek, maar in real-world domeinen met gedeeltelijke correctheid of onduidelijke ground truth is het selectiesignaal zwakker - exact het probleem dat de auteurs zelf als future work benoemen (zwak gesuperviseerde of unsupervised optimalisatie).

Wat dit betekent voor de praktijk

Voor architecten en CISO's die agentische systemen overwegen, is de kernboodschap dubbel. Enerzijds is AutoSaddler een empirisch bewijs dat de harness zelf het leeroppervlak is: de grootste winst in lang-horizon betrouwbaarheid komt niet van een beter model, maar van een beter geoptimaliseerde externe laag. Anderzijds maakt het de governance-verplichting acuter, niet kleiner.

Concreet betekent dit drie dingen voor wie AutoSaddler-achtige aanpakken wil toepassen in een gereguleerde omgeving:

1. Bewaar de EvoDAG als audit-register, niet als optimalisatie-bijproduct. De evolutiegeschiedenis van patches, met fix/regressie-classificatie, is precies het soort bewijs dat een NIS2-wijzigingsbeheer- of BIO2-audit eist. Maak het leesbaar voor een auditor, niet alleen voor een optimizer.

2. Voeg een menselijke beoordelingslaag toe op Capability patches. De auteurs tonen dat Capability patches het meest waardevol én het meest invasief zijn (ze wijzigen executable logica). Precies die categorie verdient een human gate vóór productie.

3. Behandel automatische optimalisatie als wijzigingsbeheer. Een zelf-optimaliserende harness is geen "automatische prompt-tuning"; het is een continu wijzigingsproces van productiecode. Dat moet door hetzelfde change-management kanaal lopen als elke andere code-wijziging, met versiebeheer, review en rollback.

De fundamentele verschuiving die AutoSaddler markeert, is deze: we zijn voorbij het punt waar de mens elke prompt en elke regel van een agent-handleiding handmatig ontwerpt. Het model is component geworden, de harness is code, en die code wordt nu zelf geleerd. De volgende grens van agentische betrouwbaarheid is niet de optimalisatie zelf - die werkt. De grens is de controle over wie, en hoe, die optimalisatie bewaakt.

Verwante leesstof

Deze analyse past in een doorlopende reeks over de harness als architectuurlaag:

• Code is de agent-runtime: waarom het "code as harness"-paper agentic AI herdefinieert behandelt de harness als betrouwbaarheidsbottleneck van agentische autonomie.
• Van modelspecificatie naar AI-harness: wat vijf DeepSeek-papers ons leren laat zien hoe frontier performance verschuift van parameterschaling naar system-level engineering.
• Grep agent stack: PwC en de retrieval-strategie bewijst empirisch dat de harness minstens zo bepalend is als de retriever.

Waar die posts de harness als statisch architectuurconcept behandelen, markeert AutoSaddler de volgende stap: de harness als object van automatische optimalisatie, en daarmee als nieuw governance-object.

Bronnen

1. Sungho Park, Wonjoong Kim, Rongyuan Tan, Jue Zhang, Wook-Shin Han, Pengfei Gao, et al. "AutoSaddler: Automatic Harness Optimization with Durable Updates from Agent Execution Traces." arXiv:2608.23041, 24 aug 2026. https://arxiv.org/abs/2608.23041
2. GEPA: Agrawal et al., "Reflective prompt evolution can outperform reinforcement learning," ICLR 2026.
3. Anthropic, "Effective harnesses for long-running agents," 2025.