Beoordeel skills, niet alleen agents: live-bewijs in plaats van document-scan

Een skill kan schoon scannen en toch op runtime falen. De agent ontdekt hem niet wanneer de gebruiker een relevante vraag stelt. Of hij leest de documentatie maar roept het verkeerde script aan. Of hij produceert correcte output maar interpreteert en rapporteert die verkeerd. Of de skill botst met een andere skill in dezelfde workspace. Of de skill wordt stilletjes geregresseerd door een model-update die verandert hoe de agent over de documentatie redeneert.

Geen van deze faalwijzen is waarneembaar vanuit de skill zelf.

Dit is de kern van arXiv:2608.20614 - ACES (Agentic Continuous Evaluation of Skills) door een NVIDIA-team (Christopher, Raghavan, Puget, Akkiraju en collega's). De paper levert een empirisch fundament voor een principieel argument: document-scans zijn noodzakelijk maar niet voldoende. Een skill is geen statisch document, maar een uitvoerbaar agent-artefact - en moet dus worden beoordeeld op wat hij doet, niet alleen op wat hij zegt.

Het empirische raam: scans spreken elkaar tegen

De paper evalueert 145 echte skills uit interne enterprise-repositories en publieke catalogi met zowel structurele als LLM-judge scans. De resultaten zijn scherp:

Scan-methode	Pass-rate (threshold 70)
Structurele checks	94,5%
LLM-judge rubric	86,2%
Correlatie (Spearman ρ)	0,14 (Pearson r = 0,08)

De twee scan-methoden, die beide een hoog percentage skills individueel laten passeren, correleren vrijwel nul met elkaar. De auteurs noemen dit het "empirische draaipunt" van de paper. Het onthult dat document-scans niet convergeren naar één coherent begrip van "skill-kwaliteit" - en dat geen van beide je vertelt wat de agent daadwerkelijk met de skill doet.

De meest geschonden regels zijn veelzeggend: 99,3% van de skills declareert geen tools in de frontmatter, 97,9% mist een Limitations-sectie, 97,2% mist een author-veld, 91,7% mist tags. Het frontmatter-contract is aspirationeel, niet afgedwongen: auteurs publiceren skills zonder de velden die de spec eist, en de standaard-gate laat ze nog steeds door. Dit is precies het patroon van een permissieve gate die authoring-problemen oppert maar te zwak is om live-gedrag te vervangen.

De drie ontwerpprincipes

ACES bouwt op drie principes die het onderscheiden van eerdere tooling:

Principe 1: Schrijf eenmaal, evalueer overal. Eén evaluatie-contract per skill drijft elke evaluatielaag en elke agent. In het algemene pad is dit een evals.json-dataset: prompts, verwachte resultaten en verwachte gedragingen die Claude Code, Codex en andere harnessen kunnen graderen onder een gedeeld taakformaat.

Principe 2: Differentiële meting. De runtime-kwaliteit van een skill is een vergelijkende eigenschap. ACES runt gepaarde condities met dezelfde vraag, agent, model, taak-assets en grader - alleen de beschikbaarheid van de target-skill verandert. Ondersteunende skills worden in beide condities gestaged; de target-skill wordt toegevoegd in de with-skill conditie en onthouden in de baseline.

Principe 3: Ontwikkelaar-geleide evaluatie. Geautomatiseerde dataset-generatie start de workflow, maar is geen oracle. Skill-auteurs kunnen een EVAL.md schrijven waarvan de vragen en verwachtingen zwaarder wegen dan alles wat een LLM heeft gegenereerd. Als auteurs intentie leveren, eert ACES die; als ze dat niet doen, bootst ACES een standaard dataset die de auteur kan verfijnen.

Skill Lift: de kernmeting

Het resultaat van een gepaarde run is Skill Lift:

Lift(s,a) = (1/|M|) · Σ_m [ S_with(s,a,m) - S_base(s,a,m) ]

de gemiddelde delta over de actieve evaluator-metrics tussen de with-skill en baseline conditie, waar S de gemiddelde score over cases en attempts is. In de standaardconfiguratie bevat M zes metrics - security, skill_execution, skill_efficiency, accuracy, goal_accuracy, behavior_check - elk met gewicht 1/6. Een positieve waarde betekent dat de skill de agent verbetert; een negatieve waarde betekent dat de skill de agent degradeert ten opzichte van niet hebben - het regressie-signaal dat de paper het liefst naar de oppervlakte brengt.

Waarom een gepaarde baseline. Lift is differentieel (Principe 2): door de vraag, agent, model, taak-assets, ondersteunende skills en onder-beleid constant te houden, isoleert de delta de bijdrage van de target-skill van de baseline-capaciteit van de agent. Absolute scores confounden "de skill is goed" met "deze agent is sterk op deze taak" en met "deze judge is toevallig mild". Lift doet dat niet.

Waarom reference decoys in de baseline. Een naïeve baseline zou de target-skill verwijderen en een lege workspace achterlaten. Dit confoundt twee verschillende bijdragen: de inhoud van de skill (wat hij de agent vertelt te doen) en de vindbaarheid (dat er überhaupt een skill bestaat om te vinden). Reference decoys - API-debug, log-triage, config-validator, release-planner - worden in beide condities vastgehouden, zodat de agent nog steeds skill-discovery en routing moet uitvoeren. De delta meet dan wat de target-skill toevoegt bovenop het feit dat er andere skills beschikbaar zijn.

De zes evaluator-metrics

De ACES evaluator suite combineert deterministische checks en LLM/RAGAS judges:

1. security (trace-level, deterministisch) - destructieve operaties, gelekt secrets, toegang buiten de workspace.
2. skill_execution (deterministic; vier sub-checks) - activation (agent leest de verwachte SKILL.md), script_execution, workflow_order (leest vóór het uitvoeren), error_recovery.
3. skill_efficiency (deterministic; routing + tool_efficiency).
4. accuracy (LLM-judge; vijf binaire vragen) - correcte skill geïdentificeerd, actie correct, feiten consistent, taak geadresseerd, response actiebaar.
5. goal_accuracy (RAGAS of LLM-fallback) - bereikte de volledige conversatie het gestelde doel.
6. behavior_check (LLM-judge; per-gedrag) - de fractie van de geschreven expected_behavior-strings die tevreden is.

Het kleinste maar meest expressieve mechanisme is expected_behavior: een vrije-vorm zinsnede als "lees git-skill/SKILL.md vóór het uitvoeren" of "bevestigde destructieve operatie met de gebruiker". Een LLM-judge krijgt de trajectory en antwoordt YES/NO per gedrag. Dit is robuust omdat gedrag** composteren (toegevoegd coverage zonder schema-wijziging), leesbaar (een auteur schrijft ze direct) en handhaafbaar (de judge checkt elk op pass/fail-granulariteit).

De experiment: waar het live-bewijs de scans overstijgt

Hoofdresultaat. Over 947 gepaarde taakcases uit 58 van 64 productieskills en vier primaire harnesses is de gemiddelde composiet Skill Lift 0,2134 (95% CI [0,1967, 0,2301]), van absolute conditie-gemiddelden van 0,7460 met skill en 0,5326 in de baseline. De outcome-only lift (gemiddelde van accuracy en goal-accuracy) is 0,1799. Composiet lift is positief in 72,8% van de gepaarde cases, nul in 171, negatief in 87 (mediaan 0,1717) - het gemiddelde wordt niet gedreven door een kleine positieve staart.

De grootste winsten zitten niet in finale-answer-correctheid:

Metric	Paired Skill Lift	% cases positief
Skill execution	+0,326	64%
Behavior check	+0,298	56%
Skill efficiency	+0,276	42%
Goal accuracy	+0,217	57%
Accuracy	+0,143	37%
Security	+0,020	6%

De trajectory-level signalen - leek de agent de verwachte skill, volgde hij de workflow, vermeed hij verspillende routing, beïste hij de geschreven gedrag - dragen het grootste deel van de winst. Een document-scan kan deze weergave niet produceren, omdat het de routing, uitvoering en taak-resultaten nooit observeert.

De model-skill interactie. De paper toont de cruciale samenhang die paasure-meting blootlegt: wanneer de Codex-harness het model varieert, stijgt de baseline scherp voor GPT-5.5, dus de gemeten Skill Lift krimpt zelfs terwijl de absolute taakprestatie hoog blijft. Absolute scores kunnen stijgen terwijl marginale skill-lift krimpt naarmate de baseline-model verbetert. Dit is precies wat een absolute meting confound en wat een document-scan niet kan onthullen.

Negatief lift als debug-signaal. Over de 947 cases hebben 87 negatieve lift; in de 201-cell productie-aggregatie hebben 11 cellen negatief en 11 nul. De paper deelt dit in twee klassen: execution-onstabiliteit (de met-skill run produceerde geen scores terwijl de baseline complecteerde) versus "gevonden maar misbruikt" (de agent las de skill maar produceerde een afgekapte of meta-niveau response, skipte verificatie, of verbruikte extra tool-calls zonder het antwoord te verbeteren). Live evaluatie onderscheidt daarom "nooit ontdekt" van "ontdekt maar verkeerd gebruikt" - beide onzichtbaar voor document-scans.

Static scores zijn geen runtime-bewijs. Van de 64 product-skills met scan-metadata: Tier 1 structurele score heeft Spearman ρ = -0,0181 tegenover live lift, Tier 2 LLM-judge score ρ = -0,0266. Beide statistisch ononderscheidbaar van nul. De statische scores blijven waardevol voor snelle review, maar zijn geen proxies voor runtime-waarde.

Governance-implicatie: het epistemische equivalent van het deploy-gat

Deze paper raakt hetzelfde defect-klasse als de failure-modus die we eerder dit werk bevestigden: false-green in de review-laag. Een gate die een artefact laat passeren op basis van eigenschappen die niet correleren met waar het artefact daadwerkelijk doet, is geen assurance - het is een zelf-geruststellende scan.

Voor Nederlandse overheids- en zorgorganisaties vertaalt dit naar:

• AI Act Artikel 15 (robuustheid) + conformiteitsprocedures. Als je een skill-investeren als herbruikbaar component van een AI-systeem, moet je aantonen dat hij zijn waarde waarmaakt. Een structurele scan die 94,5% laat-passeren zegt niets over de marginale waarde van de skill voor de taak. De AI Act eist bewijs van geschiktheid - ACES laat zien hoe dat bewijs te produceren: paired live trials met een artifact-variable.

• BIO2 / NIS2 (change management en wijzigingsbeheer). Skills zijn de toepassingslaag van agents. Een skill die regressief is, of een skill die een verwante skill overrulet, is een wijziging in de configuratie van een gedijte systeem. De evals/ directory die de paper voorstelt is het skill-analoog van de test/ directory in een codebase - precies wat BIO2-wijzigingsbeheer en NIS2-audit-verplichtingen verlangen.

• CI/CD als assurance-laag. De paper positioneert skills als artefacts die "change-aware, gating-optional, en report-native" door CI/CD gaan: automatisering detecteert gewijzigde skills, teams bepalen of drempels blokkeren of adviseren, en elke run publiceert artefaken met per-skill scores en Skill Lift-bewijs. Dit is de agentanalog van de fail-closed deploy-gates die we in de infrastructuur hebben gebouwd.

• De "negative lift" als audit-signaal. In een gereguleerde omgeving is de negatieve lift geen afwijking om te verbergen - het is de meest waardevolle uitkomst. Een skill die de agent verslechtert ten opzichte van hem er niet te hebben, is een verandering die moet worden teruggedraaid. Het overton window in de audits: niet "het systeem werkt", maar "we meten de marginale bijdrage van elke component en keren regressies terug."

Beperkingen en restrisico's

De auteurs zijn expliciet over de grenzen:

• Corpus-afhankelijkheid. De 145 skills zijn ongelijk verdeeld over categorieën (System Access, Deployment, Platform, Data Infra domineren). Troubleshooting, Dev-Tooling en creatieve skills zijn ondervertegenwoordigd.

• Onoverwogenheid. De resultaten komen uit vier primaire harnesses met oneven cell-coverage. Replicatie op skills die door andere organisaties zijn geschreven en op harnesses die ACES niet ondersteunt, zou de generaliseerbaarheid versterken.

• Causaliteit. De gepaarde design is sterker dan een single-condition live score, maar identificeert geen "intrinsieke" bijdrage die onafhankelijk is van de omgeving. Toevoegen/verwijderen van een skill kan de routing-druk, context-allocatie, of concurrentie met sibling-skills veranderen. Skill Lift is dus de marginale bijdrage onder de verklaarde workspace en baseline policy.

• Interne-identificeerbare logs. De raw trajectorien en logs zijn niet released omdat ze interne hostnamen, repository-paden en product-identifiers bevatten. Transparantie op aggregate-niveau, anonimiteit per-case.

Wat dit betekent voor de praktijk

De fundamentele les is een ontwerpprincipe: beoordeel skills als uitvoerbare artefacten, niet als statische documenten. Een gate die de structuur van een SKILL.md scante is het analog van gcc -Wall -Werror: de afwezigheid van waarschuwingen betekent niet dat het programma doet wat het moet.

Voor architecten en CISO's die agentic platforms uitrollen, drie concrete dingen:

1. Treat eval-assets as test suites, niet als optionele extra. Een skill zonder evals.json heeft geen declared runtime-behavior dat moet worden behouden - het is een aanbeveling dat gepaard behavior niet is gedefinieerd. Het is het skill-analoog van een code die niet is getest.

2. Meet marginale bijdrage, niet absolute prestatie. De kern-vraag is niet "werkt de agent met deze skill?" maar "wat voegt deze skill toe ten opzichte van het niet te hebben, onder een fixed agent, model, task en workspace?" Skill Lift beantwoordt die vraag door dezelfde conditie te isoleren.

3. Behandel negatieve lift als het primaire regressie-signaal. In een gereguleerde omgeving is de waardevolste uitkomst van een evaluatie de afname. De geschema maakt een gerichte regressie traceable: de with-skill en baseline runs worden op-dezelfde condities vergeleken.

ACES is geen de-procedure om skills te verbeteren. Het is een de-procedure om te weten wanneer een skill de agent helpt of versleert - met bewijs in plaats van proza. De vaardigheid van scans een rol blijft spelen voor snelle review, maar het empirisch fundament van de paper laat ons geen andere conclusie: een skill is pas gedeployed-waardig als hij de gepaarde live-trial heeft doorstaan. Voor elke organisatie die een skill-catalogus uitrolt in een gereguleerde context is dat de nieuwe standaard.

Verwante leesstof

Deze analyse past in de lopende serie over agentische assurance:

• De Compaction Cliff: wanneer AI-agents hun eigen veiligheidsregels verliezen behandelt hoe de context-compressie-laag safety-rules stilletjes vernietigt - dezelfde "je beoordeelt het verkeerde artefact"-boodschap als deze paper.
• Code is de agent-runtime behandelt de harness als betrouwbaarheidsbottleneck.
• Engram: agent memory als lokale sidecar behandelt hoe externe memory context-compressie-verliezen kan opvangen.
• DeepSeek: van modelspecificatie naar AI-harness laat zien hoe frontier performance verschuift naar system-level engineering.

Waar de Compaction Cliff-paper de context-compressie-laag als failure mode markeert, markeert deze paper de evaluatie-laag: je kunt een skill niet beoordelen door hem te scannen. Samen vormen ze de case dat agentische systemen live-gepaarde assurance vereisen op elke laag.

Bronnen

1. Christopher Kevin, Narendran Raghavan, Jean-Francois Puget, Roshni Malani, Meghana Puvvadi, Moshe Abramovitch, Mohit Gupta, Rama Akkiraju, Subodh Prabhu, Yogesh Dangi, Wei Luo, Seong Hee Lee. "Evaluating Skills, Not Just Agents: Agentic Continuous Evaluation of Skills." NVIDIA. arXiv:2608.20614, 20 aug 2026. https://arxiv.org/abs/2608.20614
2. NVIDIA SkillEvaluator - open-source implementatie van de ACES-methodologie. https://github.com/NVIDIA/SkillEvaluator
3. Wenbo Chen et al. "SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks." arXiv:2602.12670 (2026).
4. Confident AI. "G-Eval: The Definitive Guide." (2024). https://www.confident-ai.com/blog/g-eval-the-definitive-guide
5. Shahul Es et al. "RAGAS: Automated Evaluation of Retrieval Augmented Generation." EACL 2024. https://arxiv.org/abs/2309.15217