Agent skills: waarom ze werken — tot ze niet meer werken

Skills zijn een praktische en effectieve aanpak geworden om LLM-agents te verbeteren: gestructureerde pakketten van kennis die de agent op inference-tijd kan laden. Maar bestaande evaluaties meten vooral of skills de geaggregeerde taaksucces verbeteren. De fundamentele vraag blijft onderbelicht: wanneer helpen skills, waarom werken ze, en waar falen ze?

Het paper Demystifying Agent Skills: Why They Work—Until They Don't van Princeton University, Stanford, UC San Diego, USC en Johns Hopkins (Zhiyuan Jiang, Fangrui Huang, et al.) beantwoordt deze vraag met gecontroleerde experimenten en een contrastieve trajectorie-analyse. De kernbijdrage is een taxonomie van drie categorieën en twaalf skill-use modes, plus een methodologie die skill-effecten observeerbaar maakt in plaats van ze als een black box te behandelen.

De onderbelichte vraag

Een skill is niet simpelweg een record van eerdere executie. Het is een compacte beschrijving van wat te doen, wat te checken en welke valkuilen te vermijden. Vergeleken met het opslaan van ruwe executie-traces of directe workflow-memories beloven skills drie voordelen: ze kunnen ruisende ervaring comprimeren tot een kortere context, procedurele kennis standaardiseren in een stabiel format, en die kennis overdragen naar gerelateerde taken.

Maar bestaand werk bestudeert skills alleen via geaggregeerde taaksucces: als een skill-augmented agent meer taken oplost, wordt de skill als nuttig beschouwd. Zulke evaluaties tonen dat skills ertoe doen, maar niet waarom. Ze verklaren niet wat fundamenteel verandert in het gedrag van een agent vóór en nadat een skill is geladen, welke delen van de executie door skill-guidance worden gestabiliseerd, of waarom dezelfde skill de ene taak helpt en de andere schaadt.

De auteurs organiseren hun studie rond vier onderzoeksvragen:

• RQ1: Hoe vormt procedurele representatie ervaringshergebruik? (workflow memory vs. gedistilleerde skill)
• RQ2: Welke rol spelen outcome-signalen bij het leren van trajectorieën? (met/zonder succes/falen-annotaties)
• RQ3: Blijft gedistilleerde procedurele guidance bruikbaar over agent-frameworks heen?
• RQ4: Hoe beïnvloedt skill-pool-constructie retrieval en downstream gebruik?

De methodologie: contrastieve trajectorie-analyse

De auteurs bouwen een contrastieve trajectorie-analyse-pipeline over de gecontroleerde skill-vs-workflow experimenten. Ze normaliseren 8.135 trial records uit heterogene benchmark-outputs naar een gedeeld manifest, waarvan 7.837 agent-transcripts bevatten. Ze voeren een open-coding pass uit over 240 gesamplede trajectorieën, behouden 238 valide unieke labels, en consolideren die in een 12-mode canonieke taxonomie.

De taxonomie-constructie wordt gevalideerd met een onafhankelijke menselijke check. Voor elk van de 238 valide ruwe labels inspecteert een menselijke annotator drie ondersteunende trajectorieën (714 trajectorie-label checks in totaal) en bevestigt dat het ruwe label gegrond is in het geregistreerde agent-gedrag. De annotator mapt vervolgens onafhankelijk alle 238 ruwe labels naar de 12 canonieke modes. De menselijke en LLM-aggregatie-toewijzingen bereiken 95,8% exacte overeenkomst en Cohen's κ = 0,952 — direct bewijs dat de taxonomie stabiel is voorbij het oordeel van een enkele LLM.

De analyse-eenheid is een paired triple: dezelfde taak en setting onder drie armen (raw executie, workflow-memory injectie, skill injectie). De auteurs construeren 528 zulke triples, over SkillsBench (144), Terminal-Bench 2.0 (186) en Terminal-Bench-Pro (198), wat 1.584 arm-level mode-toewijzingen oplevert.

De taxonomie: drie categorieën, twaalf modes

Op grof niveau krijgt elke trajectorie een Skill-use Category (SC):

• SC1 — Procedurele anchoring: de agent slaagt autonoom, of eerdere ervaring biedt nuttige guidance.
• SC2 — Executie-laag en verificatie-falen: omgevingssetup, output-formatting, service-management, shell-executie, algoritmische implementatie, runtime-validatie.
• SC3 — Invocatie, toepasbaarheid en boundary-falen: guidance is aanwezig maar wordt misbruikt, over-toegepast, genegeerd, of beperkt door externe limieten.

Op groepsniveau verschuiven skill-arms meer trajectorieën naar SC1 dan workflow memory (326/528 skill-arm SC1-toewijzingen vs. 294/528 voor workflow memory), reduceren SC2 executie-laag-falen ten opzichte van raw en workflow memory (124/528 vs. 197/528 en 176/528), maar verhogen ook SC3 invocatie- of boundary-falen (78/528 vs. 19/528 voor raw).

De mechanisme-labels karakteriseren hoe geïnjecteerde eerdere ervaring de executie beïnvloedt:

Mechanism	Betekenis
procedural_anchor	Het artefact geeft een bruikbare procedure, volgorde, checklist, tool-sequentie of verificatie-plan
knowledge_injection	Het artefact levert concrete domeinkennis die de agent anders miste
failure_warning	Het artefact waarschuwt voor een valkuil die de agent vermijdt
none	Het artefact wordt niet op een betekenisvolle manier gebruikt
counterproductive	Het artefact misleidt de agent of maakt de run slechter

De bevindingen

1. Skills werken als procedurele ankers, niet als externe kennis

Skill-augmented runs bereiken de hoogste oracle-status succes-rate: 61,9% vergeleken met 59,1% voor raw executie en 55,9% voor workflow memory. Het sterkste geaggregeerde effect is niet skill over raw executie, maar skill over directe workflow memory: skill verbetert met +6,06 procentpunten (95% bootstrap CI [+0,76, +11,36]). Omdat workflow memory en skill uit dezelfde bron-trajectorieën zijn geconstrueerd, kan de verbetering niet worden toegeschreven aan het geven van meer eerdere ervaring, maar aan hoe die ervaring wordt gerepresenteerd.

De mechanisme-labels bevestigen dit: procedural_anchor is verantwoordelijk voor 65,7% van de skill-mechanismen, terwijl expliciete knowledge_injection slechts 4,5% uitmaakt. Skills werken dus meestal niet door ontbrekende feiten te leveren. Ze werken door actie te stabiliseren: welke setup-stappen te draaien, welke tool-sequentie te volgen, welke tussenchecks uit te voeren, en welke terugkerende valkuilen te vermijden.

2. Skills verbeteren executie-robustheid, maar falen op reformulatie en verificatie

Het duidelijkste praktische voordeel van skills zit in executie-laag en verificatie-falen. SC2-modes zijn verantwoordelijk voor 37,3% van de raw-arm labels en 33,3% van de workflow-arm labels, maar slechts 23,5% van de skill-arm labels.

Het sterkste voorbeeld is environment_infrastructure_failure, dat daalt van 5,3% in raw executie naar 1,7% met workflow memory en 0,2% met skills. Vergelijkbare reducties verschijnen in output_format_schema_mismatch (van 7,4% naar 3,2%) en background_service_lifecycle_failure (van 2,7% naar 0,8%). Deze falen worden meestal niet veroorzaakt door ontbrekend high-level redeneren; ze ontstaan wanneer de agent concrete executie-constraints niet actief houdt tijdens de run.

Maar de taxonomie toont ook de grens van procedurele guidance. algorithmic_logic_error blijft substantieel over alle armen (8,3% raw, 11,0% workflow, 7,4% skills). static_verification_without_runtime is vergelijkbaar persistent (12,5%, 12,5%, 11,7%). Skills verbeteren executie-robustheid, maar elimineren geen falen dat diepere probleem-reformulatie of sterkere runtime-verificatie vereist.

3. Skills introduceren invocatie- en toepasbaarheids-falen

Dezelfde abstractie die skills nuttig maakt, creëert ook een nieuw faaloppervlak. Een skill is niet zelf-uitvoerend: de agent moet beslissen of hij van toepassing is, welke delen te volgen, hoe te adapteren, en wanneer te verlaten. skill_guidance_misapplied_or_ignored verschijnt in 10,0% van de skill-arm cases, vergeleken met slechts 0,8% in raw executie en 0,4% in workflow memory.

Workflow memory faalt anders. Zijn belangrijkste straf is niet misapplicatie van een compacte abstractie, maar proces-overload. timeout_budget_exhaustion verschijnt in 10,6% van de workflow-memory cases, vergeleken met 1,7% in raw executie en 4,4% met skills. Directe traces kunnen de agent belasten met te veel procedureel residu: lange exploraties, falende pogingen en low-level debug-paden die afleiden van de beslissende procedure.

4. Outcome-annotaties sturen skill-constructie

Het onthouden van outcome-labels heeft weinig effect wanneer de bron-pool alleen succesvolle trajectorieën bevat, maar de impact groeit scherp zodra falende trajectorieën worden geïntroduceerd. Voor Gemini op Terminal-Bench-2 bij 3s2f bereikt normale skill-creatie 0,7462 versus 0,4000 zonder outcome-hints.

5. Retrieval exposeert de kloof tussen skill-beschikbaarheid en skill-gebruik

De auteurs evalueren retrieval op SkillsBench met drie onafhankelijke experimenten: Arm 1 (embedding-based ranking zonder taak-executie), Arm 2 (expliciete agent-selectie zonder Docker-executie), en Arm 3 (full-pool echte executie met skill-use parsing na taak-verificatie).

De resultaten zijn opvallend. Naarmate de pool groeit van 5 naar 100, zakt de actual-use precision van 29,6% naar 3,3%, terwijl downstream succes relatief stabiel blijft (36,4% → 39,3%). Exacte ground-truth skill-invocatie is dus noch voldoende noch noodzakelijk voor succes. Agents inspecteren of roepen vaak meerdere kandidaten aan, maar beperken het gebruik niet betrouwbaar tot de geannoteerde ground-truth skill.

De offline diagnostiek toont een ander patroon. Embedding top-1 precision daalt van 88,3% (pool 5) naar 76,9% (pool 100); expliciete agent-selectie daalt van 70,0% naar 63,7%. De compositie-analyse identificeert waar offline identificatie moeilijk wordt: semantische confusability is de belangrijkste stressor. Top-1 precision op similar pools daalt van 70,5% naar 53,4%, vergeleken met 97,7% → 84,1% voor random pools en 96,6% → 93,2% voor dissimilar pools.

Wat dit betekent voor AI-governance

Deze paper is geen cosmetische verbetering van een skill-framework. Het is een fundamentele karakterisering van wanneer skills werken, waarom ze werken, en waar ze falen — met directe implicaties voor organisaties die agentic AI serieus nemen.

1. Skills zijn procedurele activa, geen kennisbanken

De dominantie van procedural anchoring (65,7%) over knowledge injection (4,5%) herdefinieert wat een skill is. Een skill is geen document dat feiten levert; het is een procedureel anker dat actie stabiliseert. Voor een overheidsorganisatie betekent dit: skills moeten worden beheerd als operationele procedures met versiebeheer, validatie en retentie — niet als een kennisbank die je vult en vergeet.

2. Retrieval is een aparte governance-laag

De kloof tussen skill-beschikbaarheid en skill-gebruik is een compliance-risico. Wanneer de actual-use precision zakt naar 3,3% bij grotere pools, betekent dit dat een agent in een grote skill-bibliotheek de verkeerde procedure kan laden — met onvoorspelbaar gedrag als gevolg. Onder de EU AI Act is dit onderdeel van het systeem dat moet worden gedocumenteerd en gemonitord. Retrieval-kwaliteit is geen technisch detail; het is een betrouwbaarheidsdimensie.

3. Skill-falen is niet altijd slechte skill-inhoud

De paper toont dat een falende skill-run niet altijd wordt veroorzaakt door slechte skill-inhoud, net zoals een succesvolle skill-run niet altijd door de skill wordt veroorzaakt. Skill-utility hangt af van een pipeline: eerdere ervaring moet worden gedistilleerd tot het juiste abstractieniveau, overgedragen of opgehaald voor een compatibele context, door de agent geïnvoceerd, en tijdens executie geadapteerd. Dit is de operationele invulling van "geen regressie zonder acceptatie" — elke skill-wijziging moet worden geëvalueerd tegen de volledige pipeline, niet alleen tegen de huidige taak.

Beperkingen

De paper heeft ook beperkingen die een kritische lezer moet erkennen:

• Terminal- en tool-gebruik focus. De evaluatie richt zich op terminal- en tool-gebruik benchmarks die multi-step executie, debugging en verificatie benadrukken. Het dekt niet de volledige range van agentisch gedrag, zoals long-horizon web-interactie of open-ended samenwerking.
• Beperkt aantal agent-model configuraties. De bevindingen generaliseren mogelijk niet naar andere scaffolds, model-families of model-versies.
• Gesteekproefde taxonomie. De mechanisme-taxonomie is afgeleid van een gestratificeerde open-coding sample die ongeveer 3% van de genormaliseerde records dekt, niet exhaustieve labeling. Zeldzame gedragsmode kan ondervertegenwoordigd zijn.
• RQ4-modelwissel. De Codex-pairing in RQ4 gebruikt GPT-5.4 (niet GPT-5.3-Codex) vanwege beschikbaarheid, dus RQ4-resultaten zijn strikt within-pairing vergelijkingen.

Conclusie

Skills werken als procedurele ankers die ruisende trajectorieën stabiliseren tot betrouwbare executie. Ze verbeteren executie-robustheid, maar falen wanneer ze verkeerd worden opgehaald, in de verkeerde context worden geïnvoceerd, te rigide worden gevolgd, of worden gebruikt op taken die diepere reformulatie en runtime-validatie vereisen.

De kernles voor organisaties die agentic AI serieus nemen: skill-gebruik is een lifecycle-probleem, geen memory-injectie-mechanisme. Betere self-evolving agents vereisen niet alleen het genereren van meer skills, maar ook het verbeteren van hoe agents procedurele kennis representeren, ophalen en benutten. En voor governance: een skill is een procedureel actief dat moet worden beheerd, gevalideerd en gemonitord — niet een kennisbank die je vult en vergeet.