Skillware: deterministische uitvoering in plaats van prompt-gestuurde agentlogica

Analyse van een open architectuurvoorstel voor verifieerbare agentuitvoering, 7 november 2026.

De kern

De kernboodschap van dit stuk is dat de betrouwbaarheid van een AI-agent niet ontstaat uit een groter model of een langere prompt, maar uit de scheiding tussen wat de agent wil doen en hoe de taak wordt uitgevoerd. Het architectuurprincipe daarachter is overtuigend en sluit aan op verifieerbare audit-eisen. De benchmarkcijfers waarmee het wordt onderbouwd, zijn dat nog niet: die zijn afkomstig van één leverancier zonder onafhankelijke validatie.

Abstract

Het paper "Don't Prompt Your Agents. Equip Them" van Vladimiros Peilivanidis (ARPA Hellenic Logical Systems) stelt Skillware voor: een open capability-register dat de cognitieve planning van een taalmodel formeel scheidt van de deterministische uitvoering van die taak. In plaats van een model losse tekstinstructies of markdownbestanden als "skills" te geven, rust Skillware het model uit met modulaire, versiebeheerde softwarebundels. Elke bundel combineert een getypt contract, deterministische Python-code, een cognitieve handleiding, een offline test suite en metadata.

De auteur evalueert 23 modellen over 368 condities en claimt dat kleine lokale modellen (3B tot 8B parameters) met Skillware grote frontier-modellen zonder Skillware overtreffen op complexe workflows, met een tokenreductie tot 84,8 procent en een kostenreductie tot 97,3 procent. Die cijfers zijn zelf-gerapporteerd door de maker van het framework en ontberen zowel onafhankelijke replicatie als een beperkingensectie. De waarde van dit paper ligt niet in die getallen, maar in het onderliggende ontwerpprincipe, dat direct raakt aan de verifieerbaarheidseisen van de EU AI Act en de supply-chain-eisen van NIS2.

1. Het principe: scheid cognitie van uitvoering

De centrale stelling van Skillware is een formele scheidingsinvariant. Het paper verdeelt een autonoom systeem in een cognitieve planner en een verzameling uitvoerbare capabilities. De planner mag uitsluitend semantische routering en parameter-instantiatie doen; de capability is een op zichzelf staande, voorgecompileerde, deterministische softwarebundel met een onveranderlijk contract.

In de woorden van de auteur: "The model decides when to act; the capability bundle governs how the action is executed. The assistant is a guest; the function does the work."

De analogie is een videospel: een vaardigheid (skill) wordt niet bij elke activering opnieuw onderhandeld met het karakter. Het is een hotkey gebonden aan vaste engine-logica. Mits de randvoorwaarden gelden, voert de skill dezelfde toestandsovergang elke keer opnieuw uit. Het model mag bepalen wannéér het de capability aanroept; het heeft geen zeggenschap over hóe de capability wordt uitgevoerd, hoe de parameters worden gevalideerd of hoe de beleidsregels worden afgedwongen.

Die scheiding is om drie redenen relevant voor toezicht en compliance:

1. Determinisme is controleerbaar. Een identieke opdracht die via prompt-logica meerdere keren een andere parametercasing, een gehallucineerde parameter of een weggevallen structuur oplevert, is niet te auditen. Een vaste codebundel wel: dezelfde input geeft dezelfde output.

2. Beleidsregels worden op codeniveau afgedwongen. Een bevestigingsgate (confirmed: true) of een droge run (dry_run: true) die onafhankelijk van de tekstuele opstelling van het model wordt gecontroleerd, is een handhaafbare grens. Een prompt als "u bent een compliance-officer" is dat niet.

3. Audit-trails zijn niet-weerlegbaar. Het paper beschrijft SHA-256-hashketens van JSONL-auditontvangsten die vastleggen welke actie is uitgevoerd, wanneer en onder welke beleidsrandvoorwaarden.

2. De vijf rollen van een capability-bundel

Skillware formaliseert een capability als een vijf-tupel van bestanden met vaste namen:

Rol	Bestand	Functie
Contract	manifest.yaml	JSON-Schema-invoer, uitvoertype, onveranderlijke grenspredicaten, uitgever-identiteit
Effect	skill.py	Deterministische uitvoeringslogica, synchroon en asynchroon
Directive	instructions.md	Cognitieve handleiding: wanneer roep je de skill aan, hoe lees je de output
Assurance	test_skill.py	Offline test die verifieert dat het Effect het Contract naleeft
Presentation	card.json	Metadata voor registratie en dashboards

Optioneel voegt een bundel statische data toe (kb/, data/): bijvoorbeeld een offline sanctielijst of een geografische grensdatabase, zodat de uitvoering zonder netwerktoegang kan draaien. Dat laatste is het soevereiniteitsargument van het paper: een lokaal gehost klein model met Skillware-bundels draait volledig offline, zonder operationele telemetrie naar buitenlandse datacenters te sturen.

De assurance-verifier is de interessantste rol vanuit toezichtsperspectief. Die is in het paper gedefinieerd als een predicaat dat garandeert dat het Effect aan het Contract voldoet, onafhankelijk van elke modelaanroep. Dat is de stap die een promptgebaseerde tool nooit kan zetten: er bestaat geen unit-test voor een instructiestring, maar wel voor code.

3. Wat de benchmarkclaims wel en niet aantonen

Het paper rapporteert dat Skillware op 23 modellen over 368 condities is geëvalueerd, met de volgende zelf-gerapporteerde uitkomsten:

Claim	Status
Kleine modellen (3B tot 8B) met Skillware overtreffen frontier-modellen zonder	Zelf-gerapporteerd, geen onafhankelijke replicatie
Tokenreductie tot 84,8 procent	Zelf-gerapporteerd
Kostenreductie tot 97,3 procent	Zelf-gerapporteerd
Parameterfouten volledig geëlimineerd	Zelf-gerapporteerd
Runtime-scriptcrashes naar nul	Zelf-gerapporteerd
Context-bloat reductie van 84,0 procent	Zelf-gerapporteerd
Parameterconformiteit en gate-afdwinging in minder dan 100 ms	Zelf-gerapporteerd

De methodologische sectie die deze getallen zou moeten onderbouwen, ontbreekt in de publiek beschikbare tekst en er is geen peer review. Het paper is een architectuurvoorstel van één auteur die het beschreven framework zelf bouwt en uitgeeft. Dat maakt de cijfers niet per definitie onwaar, maar wel ongedragen: een lezer kan ze niet onafhankelijk verifiëren en er is geen beperkingensectie die de reikwijdte begrenst.

4. Wat de paper niet test

Dit stuk presenteert een architectuur, geen gecontroleerde effectmeting. Vier begrenzingen moeten expliciet worden gemaakt:

1. Geen onafhankelijke validatie. Er is geen peer review, geen externe benchmark en geen replicatie door een derde partij. De evaluatie is door de maker van het framework zelf uitgevoerd.

2. Geen beperkingensectie. Anders dan een degelijke empirische studie bevat het paper geen paragraaf die de grenzen van de eigen claims benoemt: welke modellen zijn getest, onder welke condities, met welke kanttekeningen. De opgehaalde tekst eindigt vóór de benchmarkdetails en bevat geen "limitations"-onderdeel.

3. Speculatieve horizon. Sectie 9 rekt het raamwerk op naar brain-machine-interfaces, waarin dezelfde capability-bundels "geverifieerde capaciteiten direct in organische informatieprocessors" zouden installeren. Dat is een conceptuele extrapolatie zonder empirische basis en moet als zodanig worden gelezen.

4. Geen bewijs van veiligheid onder tegenspel. Het paper beschrijft wel een dreigingsmodel (de "confused deputy" in autoregressieve context) en een adversarial evaluatie, maar levert geen onafhankelijke penetratietest of rode-teamoefening die de claim van afdwingbaarheid onderstreept.

5. Waarom het principe desondanks relevant blijft

Ondanks de zwakke onderbouwing van de cijfers blijft het ontwerpprincipe waardevol, omdat het een bestaand compliance-probleem adresseert. De EU AI Act verlangt van high-risk-systemen technische robuustheid en nauwkeurigheid (artikel 15) en een kwaliteitsmanagementsysteem (artikel 17). Een prompt-gestuurde agent waarin de uitvoeringslogica bij elke aanroep opnieuw door het model wordt gegenereerd, kan aan geen van beide eisen aantoonbaar voldoen: de uitvoering is niet reproduceerbaar en er is geen te versiebeheren logica om op te managen.

De scheiding van cognitie en capability biedt daarvoor een verdedigbaar antwoord. Wanneer de uitvoeringslogica in versiebeheerde, geteste software ligt en het model uitsluitend mag routeren en parameteriseren, wordt de vraag "wat deed de agent en onder welke beleidsregels" een deterministische vraag met een controleerbaar antwoord. Dat is precies de eigenschap die een auditor nodig heeft.

Voor organisaties die agents overwegen, is de praktische les dan ook niet om Skillware specifiek te adopteren, maar om het principe te toetsen: is de uitvoeringslogica van elke agentcapability gescheiden van de modelplanning, versiebeheerd en offline getest? Zo niet, dan is de audit-trail van die agent in de praktijk een transcript, geen bewijs van uitgevoerde handelingen.

Zie ook

• Runtime-governance voor AI-agents: de 5-plane-architectuur: een complementair perspectief op het scheiden van plannings- en uitvoeringslagen.
• NSA-rapport over MCP-security en de enterprise control plane: de supply-chain-dreiging in tool-standaarden die dit paper mede adresseert.
• OpenQodex: onafhankelijke reviewer voor coding-agents: deterministische controles als alternatief voor model-zelfbeoordeling.

Bronnen

1. Peilivanidis, V., Don't Prompt Your Agents. Equip Them: Skillware as a Modular Standard for Sovereign, Auditable, and Deterministic Capability Execution for Logical Systems, arXiv:2611.07652, 5 november 2026
2. Skillware-repository, ARPA Hellenic Logical Systems