SkillOpt: van paper naar praktijk — een implementatieplan voor agent skill engineering

Twee weken geleden verscheen Microsofts SkillOpt-paper. Ik schreef er twee posts over: een introductie en een governance-analyse. Maar de vraag die bleef hangen was niet wat het doet. Die vraag was na de eerste dag wel beantwoord. De vraag was: hoe implementeer je dit in je eigen stack?

Die vraag is relevanter dan de paper zelf. Want SkillOpt is geen tool die je even pip installeert en morgen in productie hebt. Het is een patroon. Een discipline. En die discipline vraagt om een implementatieplan, niet om een blogpost die zegt "kijk, +23,5 punten op GPT-5.5."

De verschuiving die ertoe doet

SkillOpt maakt een fundamentele verschuiving: van prompt engineering als handwerk naar skill engineering als trainbaar artefact. Dat klinkt academisch, maar het is praktisch.

Vandaag schrijf je een CLAUDE.md of AGENTS.md. Je test hem een paar keer. Als-ie werkt, commit je hem. Als-ie faalt, pas je een regel aan en hoop je dat de fix niet overfit op die ene fout. Er is geen mechanisme om te valideren of een aanpassing daadwerkelijk beter is. Geen audit trail. Geen rollback.

SkillOpt introduceert precies die ontbrekende laag. Een optimizer-model draait scored rollouts, analyseert successen en fouten, en stelt gecontroleerde add/delete/replace-edits voor. Alleen edits die de held-out validatiescore strikt verbeteren worden geaccepteerd. De deep-learning analogie is operationeel, niet decoratief: batches, learning rates, validation gates, epoch-wise slow/meta update, allemaal aanwezig, maar toegepast op tekst, niet op modelgewichten.

Wat de paper claimt (en wat je moet wantrouwen)

De cijfers zijn opvallend sterk. SkillOpt is best of tied-best op alle 52 geteste combinaties van model, benchmark en execution harness. GPT-5.5 gaat gemiddeld 23,5 punten omhoog in direct chat, 24,8 in een Codex-loop, en 19,1 in Claude Code. Geoptimaliseerde skills transfereren tussen modelgroottes, tussen Codex en Claude Code, en naar nabije benchmarks.

Maar dit is een arXiv-preprint van drie weken oud. De claim "best op alle cellen" vraagt om reproductie op eigen workloads. De meeste benchmark datasets zitten niet in de repo, alleen SearchQA heeft een split beschikbaar. Voor de andere vijf benchmarks worden manifests nog voorbereid.

En er is een cruciaal reproduceerbaarheidsrisico dat je moet weten: de huidige main-branch gebruikt force-accept voor slow updates, terwijl de paper-aligned skills gated semantics gebruiken. Voor paperreproductie moet je optimizer.slow_update_gate_with_selection: true zetten. Laat je dat staan op false, dan volg je niet het paperprotocol.

Dit is tegelijk een rode vlag en een kans. Rode vlag omdat experimenten zonder die setting een ander protocol volgen. Kans omdat je hiermee direct een goede reproducibility harness kunt bouwen.

Waar SkillOpt zit tussen bestaande benaderingen

SkillOpt bevindt zich tussen prompt optimization, DSPy-achtige declaratieve optimalisatie, TextGrad-achtige gradient-vrije tekstoptimalisatie, en agent-skill repositories. Drie dingen onderscheiden het:

Het artefact is simpel. Een markdown-bestand. Geen runtime-complexiteit, geen extra inference calls bij deployment. Operationeel aantrekkelijk omdat je het kunt diffen, reviewen, signen.

Validatie is hard onderdeel van de loop. Elke wijziging gaat langs een held-out selectie. Dit is sterker dan "laat een LLM zichzelf verbeteren." Dat laatste leidt vaak tot prompt-drift zonder dat iemand het merkt.

Focus op agent execution harnesses. SkillOpt kijkt naar Codex en Claude Code, niet alleen naar stateless prompt completion. Dat sluit aan op hoe moderne dev-agents werken.

Architectuurvoorstel voor een eigen skill-lab

Ik zou SkillOpt niet direct in productie zetten. Ik zou het opnemen als experimentele optimizer in een aparte agent-skill-lab laag:

tasks dataset → baseline skill → agent harness → scored rollout
→ SkillOpt optimizer → validation gate → best_skill.md
→ manual review → versioned skill registry
→ OpenCode / Claude Code / MCP agents

Belangrijke ontwerpkeuze: skills zijn configuratieartefacten, geen losse prompts. Behandel ze als code:

skills/<domain>/<task>/initial.md
skills/<domain>/<task>/best_skill.md
skills/<domain>/<task>/evals/train/items.json
skills/<domain>/<task>/evals/val/items.json
skills/<domain>/<task>/evals/test/items.json
skills/<domain>/<task>/history.json
skills/<domain>/<task>/risk-notes.md

De beste toepassing is niet "algemene prompts verbeteren" maar taak-specifieke skills optimaliseren tegen meetbare acceptatiecriteria.

Een concrete pilot

Start met één harde, lokaal meetbare use case. Bijvoorbeeld: "OpenCode maakt een OpenSpec plan op basis van onderzoeksoutput, met correcte scope, taken, risico's, acceptatiecriteria en geen overmatige security-focus voor lokale dev-stations."

Dataset: 30 training-voorbeelden van eerdere opdrachten en gewenste outputs, 10 validatie-voorbeelden met duidelijke scorecriteria, 20 nieuwe testscenario's.

Scoringmodel (0-2 per dimensie):

• Correcte scope
• Technische diepgang
• Geen overmatige security-focus
• Concreet uitvoerbaar plan
• Aansluiting op workstation-context
• Geen hallucinaties of niet-onderbouwde claims

Gate: alleen accepteren als validatiescore stijgt én geen regressie op scope-discipline of hallucinatiecontrole.

De 5 governance-risico's die je nu moet adresseren

De primaire risico's zitten niet in modelgewichten, maar in skill drift en benchmark gaming.

1. Overfitting op kleine validatiesets. Mitigatie: gescheiden train/val/test splits, plus adversarial testcases.

2. Instruction injection in trainingdata. Mitigatie: dataset sanitization, allowlist van taakvelden, geen ongescreende externe content in optimizer context.

3. Regressie op veiligheidsregels. Mitigatie: vaste non-regression suite voor secrets, PII, destructive commands, cloud credentials, unsafe tool use.

4. Onduidelijke provenance. Mitigatie: elke skillversie committen met score, dataset hash, optimizer model, target model, config hash en reviewer.

5. Het skillbestand wordt een onzichtbare beleidslaag. Mitigatie: skills moeten leesbaar, reviewbaar en traceerbaar blijven. Geen verborgen chain-of-thought, geen impliciete beslisregels zonder rationale.

Strategisch: Agent Skill Optimization als dienst

SkillOpt kan uitgroeien tot een belangrijk patroon voor agentic software engineering. Bijna elk agentisch project heeft betere, gevalideerde instructies nodig, en dat is precies de ruimte waar SkillOpt in valt.

Als dienst vertaalt zich dat naar:

• Assessment van bestaande agent-instructies
• Benchmark-set bouwen op basis van echte klanttaken
• Skill optimalisatie via SkillOpt of vergelijkbare loop
• Governance en regression testing
• Deployment naar Codex, Claude Code, OpenCode of MCP agents
• Periodieke heroptimalisatie bij modelwissels of toolchain-wijzigingen

Dit is verkoopbaarder dan "we schrijven betere prompts." Het is meetbaar: baseline, optimizer-run, validation gate, testscore, regressierapport en deploybaar artefact.

Eindoordeel

SkillOpt is voor wie serieus met agent engineering bezig is zeer relevant. Niet als plug-and-play tool, maar als patroon: skills behandelen als versioned, testbare en optimaliseerbare artefacten.

Voor lokale agent orchestration, OpenCode, Claude Code, MCP, is dit de ontbrekende discipline tussen prompt engineering en fine-tuning. De paper levert het bewijs. De implementatie moet je zelf bouwen. Maar de richting klopt.

---

Eerdere SkillOpt-analyses: SkillOpt: trainen als neurale netwerken en het governance-gat.