Van RAG naar Institutional Epistemic Assurance

Generatieve AI wordt binnen de publieke sector vaak benaderd als een technologieprobleem dat kan worden beheerst met privacymaatregelen, informatiebeveiliging, modelselectie en menselijke controle. Die benadering is onvoldoende zodra Large Language Models niet alleen tekst genereren, maar fungeren als intermediair tussen institutionele kennis en professioneel handelen.

De Handreiking Adviesfunctie verantwoord datagebruik, Inzet van Large Language Models voor het ontsluiten van vakkennis, onderzoekt een toepassing waarin ambtenaren interne, gecontracteerde en niet-gecontracteerde bronnen via één kanaal kunnen doorzoeken, samenvatten en bevragen met behulp van een LLM en bronverwijzingen. De handreiking verlangt onder meer actuele en juiste broninformatie, transparantie, risicoanalyse, monitoring, cyberveiligheid, menselijke verantwoordelijkheid, privacybescherming en periodieke herbeoordeling.

Dit artikel betoogt dat dergelijke eisen niet primair moeten worden behandeld als documentatieverplichtingen, maar als empirisch toetsbare claims over een sociotechnisch systeem. Dat leidt tot een andere governancebenadering.

Hier introduceren wij het concept Institutional Epistemic Assurance, IEA: een architectuur- en governancepatroon waarin normatieve eisen worden vertaald naar toetsbare hypotheses, adversarieel geëvalueerd worden, als evidence worden vastgelegd en vervolgens runtime-autonomie begrenzen.

De centrale these is:

Publieke AI moet niet worden geautoriseerd op basis van modelkwaliteit of compliance-status, maar op basis van aantoonbare, contextgebonden en continu herbeoordeelde epistemische assurance.

1. Probleemstelling

Het dominante patroon voor kennisontsluiting met LLM's is:

vraag
  ↓
retrieval
  ↓
context
  ↓
LLM
  ↓
antwoord + bronnen

Dit patroon is technisch nuttig maar bestuurlijk onvoldoende. Een publieke professional gebruikt AI niet in een epistemisch vacuüm. Het antwoord kan beleidsvoorbereiding, toezicht, dienstverlening, interne besluitvorming, juridische interpretatie of operationele uitvoering beïnvloeden.

Daarmee ontstaat een langere keten:

bron
  ↓
bronselectie
  ↓
ingestie
  ↓
normalisatie
  ↓
indexering
  ↓
retrieval
  ↓
ranking
  ↓
contextconstructie
  ↓
LLM-inferentie
  ↓
claimgeneratie
  ↓
bronverwijzing
  ↓
menselijke interpretatie
  ↓
professionele handeling

Iedere stap kan een fout introduceren. Daaruit volgt dat een correct model geen correct systeem impliceert:

Correct(Model) ⇏ Correct(System)

en sterker: een correct systeem impliceert nog geen legitieme institutionele handeling:

Correct(System) ⇏ Legitimate(Institutional Action)

Een systeem kan technisch correct antwoorden en toch bestuurlijk tekortschieten door onvolledige retrieval, verkeerde bronhiërarchie, verouderde informatie, automation bias of onvoldoende mogelijkheid tot menselijke contestatie.

De relevante onderzoeksvraag wordt daarom:

Onder welke technische, epistemische, juridische en organisatorische voorwaarden kan een door generatieve AI gemedieerde kennisclaim voldoende betrouwbaar worden geacht om professioneel handelen binnen de publieke sector te ondersteunen?

2. Van compliance naar assurance

De handreiking formuleert verschillende eisen die in eerste instantie juridisch of organisatorisch lijken. Zo moeten gegevens actueel, juist, representatief en geschikt zijn voor het doel. Ook moet het systeem transparant genoeg zijn om output te interpreteren en moeten risicoanalyse en monitoring structureel plaatsvinden.

Deze eisen kunnen echter opnieuw worden geformuleerd als toetsbare claims. Bijvoorbeeld:

• Claim C1: De retrievalketen levert voor deze vraagklasse voldoende actuele en gezaghebbende bronnen.
• Claim C2: De gegenereerde conclusies zijn aantoonbaar ondersteund door de aangehaalde evidence.
• Claim C3: De gebruiker behoudt reële handelingsvrijheid om AI-output te verwerpen.

Een governanceclaim zonder evidence is geen assurance. Daarom:

Assurance = Claim + Evidence + Evaluation + Decision

Niet:

Assurance = Policy + Documentation

Dit onderscheid vormt de kern van Institutional Epistemic Assurance.

3. Institutional Epistemic Assurance

Wij definiëren Institutional Epistemic Assurance als:

Institutional Epistemic Assurance is:

het vermogen van een organisatie om aantoonbaar vast te stellen onder welke omstandigheden een AI-gemedieerde kennisclaim voldoende betrouwbaar, controleerbaar en institutioneel verantwoord is om een bepaalde handeling of mate van autonomie toe te staan.

Een conceptueel model kan worden geschreven als:

IEA = N × E × O × H

waarbij:

• N = normative validity;
• E = epistemic reliability;
• O = operational enforceability;
• H = human contestability.

Het model is bewust multiplicatief gedacht. Als één kritieke dimensie faalt:

IEA → 0

Een juridisch rechtmatige toepassing met slechte epistemische kwaliteit blijft problematisch. Een betrouwbaar model zonder runtime-enforcement blijft governance op papier. Een technisch gecontroleerd systeem zonder betekenisvolle menselijke tenders kan alsnog leiden tot automation bias en institutionele rigiditeit. Dit model is in dit artikel conceptueel, geen empirisch gevalideerde metriek.

4. De drie assurance-planes

De architectuur kan worden opgesplitst in drie orthogonale lagen.

4.1 Normative plane

Deze laag bepaalt wat er waar zou moeten zijn. Bronnen zijn onder andere: AVG, AI-verordening, Awb, informatiebeveiligingskaders, interne beleidsnormen, publieke waarden en beroepsmatige standaarden. De handreiking behandelt bijvoorbeeld zorgvuldigheid, proportionaliteit, transparantie, cybersecurity, privacy en menselijk toezicht.

4.2 Epistemic plane

Deze laag bepaalt wat er daadwerkelijk waar is. Hier ligt de rol van de epistemische evaluatielaag. De evaluatie bevat categorieën voor onder andere hallucination, contradiction, calibration, hierarchy, injection, tool-scope en temporal reasoning, met mechanismen voor repeatability, multi-judge reliability, deterministic oracle evidence, calibrated leaderboards en promotion firewalls.

4.3 Operational plane

Deze laag bepaalt wat er is toegestaan gegeven het bewijs. Hier past de operationele control plane, met onder andere task orchestration, multi-runtime agents, maker-checker-approver-scheiding, policy enforcement, audit trails en evidence services.

De koppeling:

Normative Requirement
  → Testable Hypothesis
  → Evidence
  → Policy
  → Runtime Constraint

5. Hypotheses H1-H6

De voorgestelde architectuur kan worden onderzocht via zes expliciete hypotheses.

H1. End-to-end assurance is voorspellender dan modelaccuracy

Hypothese. De betrouwbaarheid van publieke AI wordt beter voorspeld door de kwaliteit van de volledige kennisketen dan door de performance van het foundation model afzonderlijk:

P(Success_institutional | ChainQuality) overschrijdt P(Success_institutional | ModelAccuracy)

Operationalisatie. Vergelijk dezelfde modelversie onder meerdere retrieval- en provenance-configuraties. Meet authority-weighted Recall@k, temporal Recall@k, claim entailment, contradiction coverage, unsupported claim rate en human correction rate.

Falsificatiecriterium. H1 wordt verworpen wanneer modelkwaliteit consistent de institutionele correctheid beter voorspelt dan retrieval-, evidence- en provenancekwaliteit.

H2. Retrieval failure is een primaire epistemische failure mode

Risk(RetrievalFailure) ≥ Risk(Hallucination)

Operationalisatie. Injecteer verouderde regelgeving, ontbrekende jurisprudentie, conflicterende beleidsbronnen, minderheidsstandpunten en afwijkende uitzonderingen. Meet missende relevante evidence tegen gefabriceerde ongestaafde claims.

Falsificatiecriterium. H2 wordt verworpen wanneer zuivere modelhallucinatie substantieel vaker leidt tot materiële besluitvormingsfouten dan retrieval-omissie of ranking-fouten.

H3. Claim-level evidence vermindert ongefundeerde zekerheid

c_i = (E_i, P_i, A_i, T_i, C_i, U_i)

waarbij E = evidence, P = provenance, A = authority, T = temporal validity, C = contradiction state, U = uncertainty.

Operationalisatie. Vergelijk RAG met citaten tegen RAG met claim-extractie, entailment verificatie, contradictie-analyse, temporele validatie en gekalibreerde abstention.

Falsificatiecriterium. H3 wordt verworpen wanneer claim-level verificatie geen statistisch relevante verbetering oplevert in calibration of unsupported-claim reductie.

H4. Structured disagreement is robuuster dan multi-agent consensus

ConsensusAgents vs. Hypothesis + CounterEvidence + Falsification

Operationalisatie. Laat meerdere agenten onafhankelijk hypothesen genereren, ondersteunende evidence verzamelen, counter-evidence zoeken, contradiction analysis uitvoeren en elkaars conclusies proberen te falsificeren.

Falsificatiecriterium. H4 wordt verworpen wanneer consensus-gebaseerde agentgroepen structureel betere factuality, calibration en minority-view retention leveren.

H5. Evidence-conditioned autonomie reduceert risico zonder autonomie te elimineren

Traditioneel: Allow = f(Role, Resource, Action)
Voorgesteld: Allow = f(Identity, Capability, Risk, Evidence, Confidence, Provenance, Context, TemporalValidity)

Operationalisatie. Laat de control plane capabilities dynamisch promoveren of degraderen op basis van evaluatie-resultaten. Bijvoorbeeld: als temporal reasoning faalt, dan bij current-law analyse: autonomie verbieden, temporele specialist vereisen, menselijke review vereisen.

Falsificatiecriterium. H5 wordt verworpen wanneer evidence-conditioned autonomy geen aantoonbare reductie veroorzaakt in foutimpact of incorrecte autonome uitvoering.

H6. Betekenisvol menselijke controle vereist cognitieve onafhankelijkheid

AI → Human  vs.  HumanPrior ∥ AI  gevolgd door DisagreementReview

Operationalisatie. Meet opinion shift, override rate, error detection, anchoring en verification behaviour.

Falsificatiecriterium. H6 wordt verworpen wanneer voorafgaande menselijke beoordeling geen significante verbetering geeft in foutdetectie of weerstand tegen automation bias.

6. Threat model

Het voorgestelde threat model gaat verder dan klassieke cybersecurity. De primaire assets zijn: juistheid van kennisclaims, bronintegriteit, provenance, institutionele autonomie, menselijke professionele onafhankelijkheid, auditability, rechtsbescherming en publieke legitimiteit. De threat actors zijn niet alleen externe aanvallers, maar ook foutieve bronbeheerders, onbetrouwbare leveranciers, verkeerd geconfigureerde retrieval, autonome agenten, overbelaste professionals, foutieve modellen, veranderende wetgeving en organisatorische incentives.

• T1. Source poisoning: kwaadaardige content in de retrievalbasis. Gevaarlijker dan hallucinatie want het antwoord citeert bronnen.
• T2. Retrieval omission: een relevante bron wordt niet opgehaald.
• T3. Authority inversion: een zwakkere bron krijgt meer gewicht dan de gezaghebbende primaire bron.
• T4. Temporal invalidity: relevant maar niet meer geldig.
• T5. Contradiction collapse: bronnen spreken elkaar tegen maar het systeem synthetiseert één vloeiende conclusie.
• T6. Citation laundering: een bestaand document als legitimatie voor een claim die het niet ondersteunt.
• T7. Automation bias: de gebruiker accepteert goed geformuleerde output te snel.
• T8. Epistemic homogenisation: duizenden professionals met dezelfde retrieval en ranking; een fout schaalt organisatiebreed.
• T9. Model drift: leverancier wijzigt stilzwijgend modelgedrag.
• T10. Policy-evidence mismatch: governancebeleid zegt dat iets onder controle is terwijl de evaluatie dat niet meer ondersteunt.
• T11. Judge failure: een evaluator is zelf verkeerd gekalibreerd.
• T12. False certification: structurele tests zijn groen maar het bewijs is onvoldoende.

Het essentieel principe: de reikwijdte van assurance mag nooit groter zijn dan de reikwijdte van evidence.

7. Falsificatie als ontwerpprincipe

Veel AI-evaluatie probeert prestaties te bevestigen. Voor publieke assurance is de tegengestelde houding productiever. Een systeem mag een claim alleen behouden zolang georganiseerde pogingen tot falsificatie onvoldoende bewijs opleveren.

CLAIM
  ↓
ADVERSARIAL TEST
  ↓
COUNTER-EVIDENCE SEARCH
  ↓
REPEATABILITY
  ↓
HELD-OUT TEST
  ↓
INDEPENDENT CHECK
  ↓
PROMOTION OF HOLD

8. Assurance state machine

Deployment is niet binair. Een betere state machine:

DRAFT → STRUCTURALLY_VALID → EVALUATED → REPEATABLE → HELD_OUT_VALIDATED → AUTHORIZED → DEPLOYED → MONITORED → REVALIDATED

Met negatieve transities: MONITORED → REGRESSION_DETECTED → RESTRICTED → HOLD → REMEDIATED → RE-EVALUATED.

Formeler:

S = { DRAFT, VALIDATED, EVALUATED, AUTHORIZED, DEPLOYED, RESTRICTED, HOLD, RETIRED }

Een capability mag alleen promoveren wanneer alle vereiste gates slagen. Bijvoorbeeld: de capability legal_current_law_summary slaagt op corpus validation, hallucination, contradiction en repeatability, maar faalt op temporal reasoning. Resultaat: staat = RESTRICTED. Toegestaan: interne draft-synthese. Verboden: autonome juridische conclusie. Vereist: temporele specialist en menselijke review.

9. Concrete referentiearchitectuur

1. Normative Control Layer          Awb | AVG | AI Act | BIO | policies | domain rules
2. Source & Provenance Layer        authority | ownership | validity | version | rights
3. Retrieval & Knowledge Layer      search | vector | graph | reranking | temporal filtering
4. Evidence Intelligence Layer      claim extract, entailment, contradiction, authority, temporal, calibration
5. Agentic Reasoning Layer          planner | specialists | counter-evidence | synthesizer
6. Assurance & Enforcement Layer    evidence → policy → capability state
7. Human Decision Boundary          review | challenge | override | justification | appeal

Dwars door alle lagen lopen: identity, audit, security, privacy, observability, versioning, evaluation en governance.

10. De epistemische evaluatielaag

De epistemische evaluatielaag wordt in deze architectuur niet alleen gebruikt om modellen te rangschikken. Het wordt een epistemische qualification laag. Voor elke capability ontstaat een evidence-profiel:

model: M
capability: public_legal_analysis
  hierarchy          PASS
  hallucination      PASS
  calibration        PASS
  contradiction      PASS
  temporal_reasoning FAIL
  tool_scope         PASS
  injection          PASS
  repeatability      PASS
  held_out           PASS

Het profiel moet contextspecifiek zijn. Een model kan geschikt zijn voor document-summarisation maar niet voor current-legal-interpretation. Daaruit volgt: ModelCapability ≠ ModelIdentity. Governance moet capabilities certificeren, niet modellen als geheel.

11. De operationele control plane

De operationele control plane wordt de operationele control. De logische volgende stap is: Evidence → CapabilityPolicy. Bijvoorbeeld:

IF temporal_reasoning = FAIL
AND task.domain = legal
AND task.requires_current_law = true
THEN autonomous_execution = false
     temporal_specialist = required
     checker = required
     human_approval = required

Na succesvolle re-evaluatie kan promotie plaatsvinden. Dat levert Evidence → Promotion en Regression → Demotion. Dat is continuous assurance.

12. Van RBAC naar Epistemic ABAC

Traditioneel policymodel: Allow = f(User, Role, Resource, Action). Voor agentische AI is dat onvoldoende. Voorgesteld:

Allow = f(Identity, Capability, Risk, EvidenceQuality, Confidence, SourceAuthority, TemporalValidity, ContradictionState)

Niet alleen de identiteit bepaalt of een actie is toegestaan, ook de kennisstatus van het systeem. Bijvoorbeeld: risk = HIGH, authority_coverage = LOW, contradiction = PRESENT, confidence = MEDIUM → actie = HOLD in plaats van EXECUTE.

13. Claim-first architectuur

De meeste RAG-systemen behandelen output als document. Voor assurance moet output worden ontleed in claims:

Y = { c_1, c_2, ..., c_n }

Voor iedere claim c_i = (claim, evidence, authority, provenance, temporalStatus, contradictions, confidence). Het systeem kan dan zeggen SUPPORTED / CONTESTED / INSUFFICIENT / STALE / UNVERIFIED in plaats van alleen answer.

14. Waarom een citation onvoldoende is

Een geciteerd antwoord oogt verantwoord, maar: Citation ≠ Entailment, Citation ≠ Completeness, Citation ≠ Authority. Een blog is epistemisch niet equivalent aan formele wetgeving. Het systeem moet minimaal controleren: claim, supporting evidence, authority, temporal validity, contradictions, completeness estimate.

15. Structured disagreement

Een groot gevaar van multi-agent AI is premature convergence. MoreAgents ≠ MoreTruth. De architectuur moet tegenspraak afdwingen:

Planner → Hypothesis Agent → Evidence Agent → Counter-Evidence Agent → Contradiction Agent → Falsification Agent → Synthesis Agent → Independent Checker

De agenten vragen niet "Zijn we het eens?" maar "Welke observatie zou deze conclusie falsifiëren?"

16. Human control als cognitive architecture

De handreiking waarschuwt voor over-reliance, verlies van kritisch vermogen, kenniserosie en verlies van autonomie. Daarom is AI → human approval onvoldoende. Een sterkere vorm:

Human prior assessment  →  Human view + AI analysis  →  disagreement review

Daarmee wordt automation bias observeerbaar. Meet: pre-AI-oordeel, post-AI-oordeel, correcties, overrides, broninspectie en tijd-tot-besluit.

17. Metrieken voor publieke AI-assurance

• Retrieval: authority-weighted recall, temporal recall, contradiction coverage, minority-source retention, stale-source rate.
• Generation: claim faithfulness, entailment rate, unsupported-claim rate, contradiction-suppression rate, citation accuracy.
• Calibration: Brier score, expected calibration error, abstention precision, selective accuracy.
• Human factors: override rate, error detection rate, automation-bias index, independent-verification rate, opinion shift, skill retention.

De te vermeiden fout is optimalisatie op één aggregate score. Een publieke AI kan gemiddeld excellent presteren en toch onaanvaardbaar falen op een kleine maar kritieke klasse.

18. Sovereign AI opnieuw gedefinieerd

Digitale soevereiniteit wordt vaak gereduceerd tot Europese hosting, on-premises deployment, nationale modellen en lokale dataopslag. Dat is onvoldoende. DataSovereignty ≠ EpistemicSovereignty. Epistemische soevereiniteit vereist controle over bronselectie, bronhiërarchie, embeddings, retrieval, ranking, modelkeuze, evaluatie, policy, audit en menselijke override. De relevante vraag is: wie bepaalt welke werkelijkheid de professional te zien krijgt voordat hij handelt?

19. Continuous assurance

AI-systemen zijn niet statisch:

S_t = M_t + R_t + D_t + P_t + T_t + Policy_t

Daarom: Assurance(S_t) ≠ Assurance(S_{t+1}). Een wijziging in modelversie, embeddingmodel, corpus, prompt, retriever, tool of security-policy kan bestaande assurance ongeldig maken. Elke wezenlijke wijziging moet opnieuw door de relevante gates.

20. Praktische production gate

Voor publieke AI is productie-assurance nodig voor minimaal tien domeinen: legal provenance, source authority, retrieval completeness, temporal validity, claim grounding, contradiction handling, calibration and abstention, human contestability, runtime enforcement en continuous reevaluation. De assurance-beslissing luidt niet SYSTEM APPROVED maar:

Capability: internal_policy_synthesis
Authorized: YES
Conditions:
- internal use only
- mandatory citation
- mandatory contradiction check
- no autonomous external publication
- human approval required
Evidence validity: 30 days
Revalidation trigger: model change, retrieval change, corpus change, policy change

21. Kritiek op de handreiking

De handreiking is waardevol omdat zij juridische, ethische en organisatorische randvoorwaarden integreert. Maar vanuit AI-assurance ontbreken drie zaken: een formele koppeling van norm naar toetsbare hypothese, een runtime-enforcementmechanisme van fout naar constraint, en een expliciete epistemische architectuur voor contradiction, uncertainty, authority, source completeness en temporal validity. De handreiking noemt de risico's maar operationaliseert die niet tot falsifieerbare systeemclaims. Daar ligt de volgende stap.

22. Evaluatielaag + operationele control plane als experimentele assurance-laboratorium

De combinatie van de epistemische evaluatielaag en de operationele control plane is interessanter dan ieder onderdeel afzonderlijk. De evaluatielaag kan beantwoorden: waar faalt een model, agent of reasoning chain? De control plane: welke runtime-autonomie mag ondanks die beperkingen nog worden toegestaan?

Benchmark → Evidence → Capability profile → Policy → Runtime enforcement → Telemetry → Re-evaluation

Of meer formeel:

E_t → P_t → A_t → O_t → E_{t+1}

waar E = evidence, P = policy, A = authorized autonomy, O = observed operation. Dit creëert een gesloten assurance-loop.

23. De diepere implicatie voor de publieke sector

Historisch bouwt de overheid betrouwbaarheid niet op één mechanisme. Zij gebruikt functiescheiding, motiveringsplicht, hoor en wederhoor, audit, bezwaar, beroep, jurisprudentie, dossieropbouw en professionele normen. Generatieve AI introduceert een machine in deze institutionele kennisketen. De verkeerde reactie is om de machine alleen "accurater" te maken. De juiste vraag: hoe vertalen we institutionele waarborgen rond bewijs, tegenspraak, heroverweging en verantwoordelijkheid naar machine-assisted knowledge systems? Dat is institutional epistemic engineering.

24. Conclusie

De publieke sector heeft geen primair chatbotprobleem. Het heeft een assuranceprobleem. RAG, agentic AI en foundation models veranderen hoe professionals kennis vinden, wegen en toepassen. Governance verschuift van "Is dit model veilig?" naar "Onder welke bewijscondities mag dit systeem deze capability uitvoeren?" De handreiking levert de normatieve basis. De epistemische evaluatielaag kan fungeren als adversariële epistemische kwalificatie. De operationele control plane kan bewijs vertalen naar capability-level runtime governance. Dat creëert een nieuw patroon: Evidence-Conditioned Public AI waarin autonomie niet statisch wordt toegekend maar voortdurend wordt verdiend.

De centrale ontwerpregel wordt: geen capability zonder evidence, geen evidence zonder falsificatie, geen autonomie zonder actuele assurance.