Context is schaars, vertrouwen is niet impliciet

Waarom een slimme contextoptimalisatie een supply-chain-, autorisatie- en verificatievraagstuk wordt

Het paper "@skills: Attention is all you have" (ingediend 12 augustus 2026) stelt een aantrekkelijke claim: agent-skills hoeven niet langer te worden geïnstalleerd, maar kunnen via een pad worden geadresseerd en pas tijdens een taak worden geladen. De auteurs baseren dit op een inventarisatie van 56.804 publieke skills en de contextkosten van permanent geladen metadata. De verleiding is groot om hierin een simpele oplossing te zien: installeer minder, vertrouw op paden. Maar die conclusie is onverdedigbaar. Zodra een externe instructie tijdens runtime uit een wijzigbare bron wordt opgehaald en dicht bij een actuele taak en beschikbare tools in de context wordt geplaatst, verandert een contextoptimalisatie in een software-supply-chain-, autorisatie- en verificatievraagstuk. Onze onafhankelijke these: behandel procedurele AI-kennis als een runtime dependency, met dezelfde integriteits-, autorisatie-, isolatie-, herroepings- en bewijsvereisten als uitvoerbare software.

De architecturale scheiding die het paper wel levert

De belangrijkste bijdrage van het paper is niet empirisch aangetoonde prestatieverbetering - die is niet gemeten. De bijdrage is een architecturale scheiding tussen drie zaken die in veel agentsystemen ten onrechte zijn samengevoegd: een skill kunnen vinden, een skill lokaal bewaren, en een skill automatisch of expliciet activeren. Die scheiding is waardevol en architecturaal relevant. Zij maakt zichtbaar dat een skill geen intrinsieke modelcapaciteit is, maar een extern, conditioneel en potentieel uitvoerbaar gedragsartefact dat tijdens een taak wordt gematerialiseerd.

Deze scheiding lost echter het vertrouwensprobleem niet op. Een pad is een adres, geen onveranderlijke identiteit. Laat resolve(P, t) het artefact zijn dat op tijdstip t door pad P wordt teruggegeven. Reproduceerbaarheid vereist dat hash(resolve(P, t1)) gelijk is aan hash(resolve(P, t2)), of voldoende vastgelegde informatie om het eerdere artefact exact te reconstrueren. Voor een pad naar een wijzigbare branch bestaat die garantie niet: een maintainer kan content wijzigen, een branch kan worden herschreven, een repository kan van eigenaar veranderen en een account kan worden gecompromitteerd. Path identity is daarom niet gelijk aan artifact identity.

Waarom een pad geen identiteit is

Een high-assurance identiteit moet minimaal bestaan uit publisher identity, repository identity, immutable revision, genormaliseerde content digest en een geverifieerde signature of attestation. SLSA behandelt provenance als bewijs dat een artefact aan een specifieke producent en buildomgeving kan worden verbonden; TUF voegt mechanismen toe tegen rollback-, freeze- en verkeerde-softwareaanvallen. Deze standaarden bewijzen niet dat exact dezelfde implementatie voor skills nodig is, maar zij tonen wel waarom wijzigbare locaties onvoldoende zijn voor betrouwbare supply chains.

Bovendien betekent "geen installatie" niet "geen state". Het protocol verwijdert zichtbare installatiestate, maar niet systeemstate: upstream Git-branches, lokale caches, .source-bestanden, auto-triggerregels, authenticatietokens, transcripts, toolresultaten, policybesluiten, runtimecontext en downstream output blijven bestaan. Het protocol elimineert state niet; het verplaatst state van een expliciete package- en lockfilelaag naar upstream-bronnen, caches en runtimebesluiten. Die verplaatsing kan de gebruikerservaring vereenvoudigen, maar maakt de trust state juist minder zichtbaar.

Wat het paper wel en niet aantoont

De evidence ondersteunt drie bescheiden proposities: contextpositie kan ertoe doen, additionele context is niet gratis, en meer beschikbare context betekent niet automatisch betere benutting. "Aandacht is schaars" is een bruikbaar ontwerpprincipe, geen gekalibreerde capaciteitsconstante. De specifieke claim van een universele grens van minder dan honderd betrouwbare skilltriggers heeft lage constructvaliditeit: een publieke replicatie uit 2026 rapporteert dat nieuwere frontiermodellen duizenden gelijktijdige keywordconstraints aanzienlijk beter aankunnen dan eerdere resultaten suggereerden.

Wat het paper niet aantoont is even belangrijk. Er is geen vergelijkende taakevaluatie die aantoont dat @skills taken beter laat uitvoeren dan progressive disclosure, retrieval of expliciete lokale bestanden. Er is geen gecontroleerd experiment naar triggerbetrouwbaarheid of positionering van volledige skillinstructies. De tokenmeting is gebaseerd op één configuratie. En de corpusclaim van 56.804 skills is geen volledige census: een vrijwel gelijktijdige inventarisatiestudie rapporteert ongeveer 3,8 miljoen SKILL.md-voorkomens in ruim 282.000 publieke repositories. De teleenheden verschillen, maar 56.804 kan niet als volledige census worden behandeld.

De sterkste alternatieve verklaring

De meest verzwakkende concurrerende verklaring is dat de vermeende protocolwinst niet door het protocol zelf wordt veroorzaakt, maar door expliciete selectie en just-in-time contextconstructie. Een bestaande Agent Skills-client kan model- of gebruikersactivatie ondersteunen en de daadwerkelijke activatie via een aparte tool afdwingen. Daarmee zijn expliciete selectie en progressive disclosure ook zonder een nieuw distributieprotocol mogelijk.

Een juiste vergelijking gebruikt exact dezelfde skillinhoud, modelversie, system prompt, taak, toolset, temperatuur, seed, tokenlimiet, inferentiestappen, evaluator en latencybudget, en vergelijkt vijf condities: geïnstalleerde skills met progressive disclosure, een expliciet lokaal bestand met just-in-time loading, retrieval gevolgd door een expliciet lokaal bestand, @skills met wijzigbare upstream, en een interne registry met immutable digest en just-in-time loading. Wanneer de tweede, derde of vijfde conditie dezelfde taakprestatie en contextbesparing levert als @skills, is niet het protocol de causale factor, maar expliciete selectie en just-in-time contextconstructie.

Wat zou de centrale claim weerleggen

De claim dat resident metadata triggerdegradatie veroorzaakt, zou worden verzwakt wanneer honderden skillbeschrijvingen geen relevante daling tonen bij 1, 10, 50, 100, 250 en 500 skills met semantisch overlappende namen. De claim van een grens van minder dan honderd slots zou worden weerlegd door meer dan 95% precision en recall bij 500 skills over modellen en taken. De claim dat point-of-use-positionering de uitvoering verbetert, zou worden weerlegd door geen effect na gelijk tokenbudget. En de claim dat @skills zelf betere prestaties veroorzaakt, zou worden weerlegd wanneer een expliciet lokaal bestand met exact hetzelfde artefact gelijk presteert - dan is het just-in-time loading, niet het protocol.

Een protocol dat deze tests niet doorstaat, kan nog steeds nuttig zijn als convenience layer. Het mag dan niet als assurance layer worden gepositioneerd.

Van paperwereld naar productiewereld

De paperwereld veronderstelt een stabiele repository, een niet-adversarial skill, eenvoudige Git-authenticatie, één lokale machine, beschikbaar netwerk, cache als convenience, een skill die wordt gelezen, een zichtbaar transcript, correcte modeluitvoering, een menselijke gebruiker die meekijkt en geen intrekking. De productiewereld kent branches die wijzigen en accounts die worden overgenomen, kwaadaardige of gecompromitteerde content, OIDC en token expiry, federated workers en gedeelde infrastructuur, timeouts en partitions, cache die werkelijk uitgevoerd gedrag bepaalt, skills die scripts en tools aansturen, logs die onvolledig of muteerbaar zijn, hallucinaties en drift, automation bias en approval fatigue, en incident response en juridische wijziging.

Het paper erkent meerdere van deze beperkingen, waaronder het ontbreken van directe triggerexperimenten, netwerkafhankelijkheid, wijzigende upstream-content en de beperkte betrouwbaarheid van modelgebaseerde prompt-injectionverdediging. Maar de erkenning verandert de conclusie niet: een wijzigbaar pad levert geen voldoende identiteit, integriteit en autoriteit.

Synthese: procedurele kennis als runtime dependency

De bevinding dat een skill een extern, conditioneel en potentieel uitvoerbaar gedragsartefact is, heeft een directe consequentie: context management wordt dependency management, dependency management wordt trust management, en trust management wordt capability governance. DJimIT moet daarom niet kiezen tussen "skills installeren" en "skills live van GitHub lezen", maar een derde model implementeren: discover dynamically, approve deliberately, materialize immutably, execute minimally, verify independently.

De protocolsemantiek kan worden overgenomen voor gebruiksgemak. De trustsemantiek moet worden vervangen. Concreet betekent dit vier regels: resolve by alias, execute by digest, authorize by capability, verify outside the generator. Een skill wordt pas een operationele capability wanneer een specifiek artefact, een bevoegde actor, een toegestane omgeving, een beperkte toolset en een verificatiebeleid gezamenlijk aan één taak zijn gebonden. Dit is het Capability Materialization Principle: Capability(task) = Artifact + Integrity + Authority + Execution boundary + Verification policy.

De architectuur die hieruit volgt is een gelaagde keten: publieke en private bronnen worden geïngestest en in quarantaine geplaatst, structureel gescand op prompt-injection, scripts en dependencies, en vervolgens in een interne skill registry opgenomen met alias, immutable digest, signer, source commit, risicoklasse, capability manifest, evaluatie-evidence, expiry en revocation. Een router selecteert een kandidaat, maar verleent geen capability - selection is niet gelijk aan authorization. Een policy-engine compileert de declaratieve skillmetadata naar een afdwingbaar besluit: allow_execute geldt alleen wanneer signature valid, digest allowlisted, workload attested, requested scopes binnen declared scopes, task risk binnen approved risk, data classification toegestaan, environment compliant, approval requirement voldaan en artifact niet revoked. Een federation adapter attesteert de opdracht met workload identity, worker identity, skill digest, policyversie, modelversie, toegestane tools, dataclassificatie, context hash, task ID, bewijs van approval, time-to-live en een nonce tegen replay. Workers ontvangen een verwijzing naar een reeds goedgekeurd immutable artefact in de interne mirror, en voeren uit met read-only skillmount, ephemeral workspace, deny-by-default netwerk, expliciete egressallowlist, CPU-, memory-, file- en tijdquota, geen toegang tot hostcredentials en een gescheiden toolbroker. De verifier ontvangt niet automatisch dezelfde volledige context en dezelfde persuaderende instructies als de generator, maar controleert onafhankelijk feitelijke juistheid, policy compliance, contradicties, ontbrekende evidence, ongeautoriseerde side effects, stopcriteria, onzekerheid en abstention. De generator mag zijn eigen successtatus niet autoriseren.

Deze architectuur is meetbaar. Voor een gecontroleerde pilot zijn de relevante indicatoren resident tokens bespaard per succesvolle taak, task success met skill minus baseline zonder skill, selectieprecision en recall, first-pass success en repair rate, policy denies en geblokkeerde escalaties, percentage executions met geldige digest en signature, percentage toolcalls met taakgebonden downscoped token, onafhankelijke verifier coverage, en kritieke fouten die ondanks groene status ontsnappen. Voor T2 en hoger gelden invarianten: nul unpinned external production fetches, nul executions zonder policy evidence, nul write actions zonder scoped authorization, nul self-authorized critical outputs, en nul execution van revoked digests.

Conclusie

Wat werkelijk is aangetoond, is dat procedurele kennis niet permanent resident hoeft te zijn en dat beschikbaarheid, persistentie en activatie onafhankelijk kunnen worden ontworpen. Wat niet is aangetoond, is een universele grens van minder dan honderd betrouwbare skilltriggers, betere taakprestaties dan progressive disclosure of retrieval, betere betrouwbaarheid bij gelijk token- en computebudget, en veiligheid van wijzigbare on-demand skills. Het sterker model dat uit deze analyse volgt, is dat een skill een runtime procedurele dependency is, niet een plugin: context management wordt dependency management, dependency management wordt trust management, en trust management wordt capability governance. Organisaties moeten daarom niet "installeer minder en vertrouw op paden" adopteren, maar "resolve by alias, execute by digest, authorize by capability, verify outside the generator" - met een interne registry, immutable digests, policy-enforcement vóór toolgebruik, sandboxing en onafhankelijke verificatie. De observatie die dit oordeel zou wijzigen, is een gecontroleerde vergelijkende taakevaluatie die aantoont dat @skills met wijzigbare upstream onder gelijkblijvende middelen betere taakprestaties, betrouwbaarheid of veiligheid levert dan een content-addressed interne registry met just-in-time loading. Tot die test is uitgevoerd, is de juiste status: scientific thesis PARTIALLY_SUPPORTED, architectural principle SUPPORTED, empirical superiority UNDETERMINED, security superiority UNDETERMINED, raw production readiness HOLD, en DJimIT controlled pilot CONDITIONAL_GO.

Appendix A. Gecondenseerd claim ledger

ID	Atomische claim	Type	Epistemische staat
C01	De onderzochte index bevatte 56.804 publieke skills	OBSERVATIE	SUPPORTED
C02	56.804 vertegenwoordigt het volledige publieke skill-ecosysteem	GENERALISATIE	CONTRADICTED
C03	Permanente skillmetadata veroorzaakt contextbelasting	AFGELEIDE INFERENTIE	SUPPORTED
C04	Minder dan honderd skills kunnen betrouwbaar automatisch worden geactiveerd	AUTEURSCLAIM	UNDETERMINED
C05	Meer context kan prestaties verlagen vóór de contextlimiet	OBSERVATIE UIT EXTERNE LITERATUUR	SUPPORTED
C06	Instructies dichter bij het gebruiksmoment kunnen sterker worden gevolgd	HYPOTHESE	PARTIALLY_SUPPORTED
C07	Een expliciet pad maakt artefactselectie deterministisch	CONSTRUCTIECLAIM	SUPPORTED
C08	Deterministische artefactselectie maakt taakuitvoering betrouwbaar	CAUSALE CLAIM	UNDETERMINED
C09	Scheiding van content, persistentie en activatie verwijdert permanente metadata	CONSTRUCTIECLAIM	SUPPORTED
C10	@skills is superieur aan progressive disclosure of retrieval	CAUSALE CLAIM	UNDETERMINED
C11	Een repositorypad is voldoende identiteit voor een skill	ARCHITECTUURCLAIM	CONTRADICTED voor high assurance
C12	Geen lockfile of pinning is een netto voordeel	NORMATIEF OORDEEL	UNDETERMINED bij laag risico, CONTRADICTED bij hoog risico
C13	Een grens van 128 skills beheerst het overloadrisico	CONSTRUCTIECLAIM	PARTIALLY_SUPPORTED
C14	On-demand laden is veiliger dan installeren	SECURITY CLAIM	UNDETERMINED
C15	.source levert voldoende provenance	ARCHITECTUURCLAIM	PARTIALLY_SUPPORTED
C16	De implementatie is functioneel beschikbaar	OBSERVATIE	SUPPORTED
C17	De implementatie is een gestabiliseerd productieprotocol	GENERALISATIE	UNDETERMINED
C18	Het protocol is onafhankelijk praktisch gereproduceerd	REPLICATIECLAIM	UNDETERMINED
C19	Het hubcomponent is optioneel voor directe GitHub-resolutie	CONSTRUCTIECLAIM	SUPPORTED
C20	De lifecycle zal het gebruik van long-tail skills vergroten	VOORSPELLING	UNDETERMINED

Appendix B. Causale decompositie en validiteitsanalyse

Hypothese	Verklaring	Fit met beschikbaar bewijs
H1	De nieuwe protocolarchitectuur veroorzaakt de verbetering	Niet direct getest
H2	Minder resident metadata veroorzaakt het grootste voordeel	Mechanisch plausibel, gedeeltelijk ondersteund
H3	Positionering dicht bij de taak veroorzaakt het voordeel	Ondersteund door aangrenzende contextstudies
H4	Expliciete selectie voorkomt routingfouten	Ondersteund wanneer het juiste pad bekend is
H5	Betere curatie of selectie van skills veroorzaakt het voordeel	Kan niet worden uitgesloten
H6	Dezelfde winst is haalbaar met een expliciet lokaal bestand of retrieval	Sterke nulverklaring, niet uitgesloten

De evidence past het beste bij een combinatie van H2 en H4. H6 is de belangrijkste concurrerende verklaring. De interne validiteit voor implementatiegedrag is redelijk; de interne validiteit voor de wetenschappelijke effectclaim is laag. De constructvaliditeit van de specifieke slotclaim is laag. De statistische onderbouwing van het bestaan van een omvangrijk distributieprobleem is bruikbaar; de statistische onderbouwing van protocolsuperioriteit ontbreekt.

Appendix C. Risicogestuurde skilltiers en adoptiegates

Tier	Gebruik	Minimale controls	@skills-achtig live gebruik
T0	Discoverymetadata en catalogusbeschrijvingen	Sanitization, geen uitvoering	Toegestaan
T1	Expliciete prompt-only skill, publieke data, read-only	Contextlimiet, logging, geen tools of secrets	Conditioneel toegestaan
T2	Gecureerde bedrijfskennis, interne bronnen	Digest, signature, interne mirror, evaluatie	Geen live mutable upstream
T3	Tool-capable skill met beperkte acties	Policy-engine, sandbox, downscoped token, onafhankelijke verificatie	Niet toegestaan
T4	Auto-trigger, write, security, privacy, juridisch of infrastructuurkritisch	Dual control, canary, fail-closed, rollback, continue monitoring	Niet toegestaan

De minimale adoptiegates zijn: artefact (immutable digest, source commit, signature, licentie, geen symlinks of path traversal, resourcequota), inhoud (prompt-injectionanalyse, instructieconflicten, scripts en dependencies gescand, toolclaims vergeleken met werkelijke bestanden, datagebruik geclassificeerd), capability (alleen gedeclareerde tools, minimale OAuth-scopes, expliciete write-actions, egress deny-by-default, secrets niet direct beschikbaar), evaluatie (baseline zonder skill, vergelijking met eenvoudiger alternatief, meerdere modellen en runs, negatieve en adversarial tests, evidence en onzekerheid opgeslagen), runtime (worker attestation geldig, policyversie gebonden, sandbox actief, token TTL binnen taakduur, stop- en herstelvoorwaarden actief), assurance (onafhankelijke verifier, deterministische checks, geen zelfautorisatie, One Critical Failure afgedwongen, bewijs naar evidence graph) en operatie (canary voltooid, SLO's gehaald, revocation en rollback getest, cache invalidation getest, incident owner toegewezen).

Bronnen

• Li Yin, Zhi Li, Zhan Shi, Haoran Zhang, Haebin Seong, Zhangyang Wang. "@skills: Attention Is All You Have". arXiv:2608.12610, augustus 2026. https://arxiv.org/abs/2608.12610
• SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks. arXiv:2602.12670. https://arxiv.org/abs/2602.12670
• Skill Retrieval Augmentation for Agentic AI (SRA-Bench). arXiv:2604.24594. https://arxiv.org/abs/2604.24594
• MalSkillBench: A Runtime-Verified Benchmark of Malicious Agent Skills. arXiv:2606.07131. https://arxiv.org/abs/2606.07131
• "Do Not Mention This to the User": Detecting and Understanding Malicious Agent Skills in the Wild. arXiv:2602.06547 (USENIX Security 2026). https://arxiv.org/abs/2602.06547
• Under the Hood of SKILL.md: Semantic Supply-chain Attacks on AI Agent Skill Registry. arXiv:2605.11418. https://arxiv.org/abs/2605.11418
• OWASP Agentic Skills Top 10. https://owasp.org
• NIST Zero Trust Architecture (SP 800-207). https://csrc.nist.gov
• RFC 8707 (Resource Indicators for OAuth 2.0), RFC 9449 (DPoP), RFC 9700 (OAuth 2.0 Security Best Current Practice). https://www.rfc-editor.org
• EU AI Act, Verordening (EU) 2024/1689. https://eur-lex.europa.eu
• Nederlandse Cyberbeveiligingswet en Wet weerbaarheid kritieke entiteiten (in werking 15 augustus 2026). https://www.rijksoverheid.nl
• BIO2 versie 1.3 (maart 2026). https://www.digitaleoverheid.nl