De beste AI-agent weet niet alles: van context engineering naar epistemische architectuur

De dominante ontwerpfilosofie achter moderne AI-agents is opmerkelijk eenvoudig: geef het model meer mogelijkheden. Meer context. Meer retrieval. Meer memory. Meer tools. Meer agents. Grotere context windows.

Maar daarmee lossen we een fundamenteler probleem niet op. Een autonome AI-agent moet niet alleen kunnen redeneren over de informatie die beschikbaar is. Hij moet kunnen bepalen welke informatie ontbreekt, hoeveel die ontbrekende informatie ertoe doet, hoe die informatie het beste kan worden verkregen, en wanneer verdere informatievergaring geen rationele waarde meer heeft.

Dat is precies het probleem dat Sanchayan Dutta, Sai Niranjan Ramachandran en Suvrit Sra onderzoeken in Active Inference as Context Acquisition for AI Agents (arXiv:2608.19202). Zij modelleren context acquisition als een active-inference-probleem waarin een agent voortdurend kiest tussen informatie verzamelen en daadwerkelijk handelen.

Op het eerste gezicht is dit een paper over efficiënter vragen stellen. Op architectuurniveau gaat het over iets fundamentelers: een AI-agent heeft niet alleen een reasoning architecture nodig, maar ook een epistemische control loop. Daarmee verschuift het ontwerpvraagstuk van "wat kan de agent weten?" naar "wat moet de agent weten voordat handelen rationeel verantwoord is?". Dat verschil kan bepalend worden voor de volgende generatie enterprise AI.

Dit artikel verweeft de primaire bron met een architectuurlaag die het paper zelf open laat: hoe je information gain vertaalt naar een governance-gedreven control plane voor productie-agents. We beginnen met de wiskunde, meten er de benchmark mee, en eindigen met de architectuur, security en AVG-implicaties voor de Nederlandse publieke sector.

Van waarschijnlijkheid naar information gain

De kern van actieve inferentie zit in een geloofsupdate over een verborgen toestand. Definieer:

• x in X: de latente taakstaats. Dit kan een werkelijke gebruikersintentie, een ontbrekende constraint, een gewenste outputvorm, een correcte hypothese, een relevante documentversie, een toestand van een extern systeem, of een beste prompt zijn.
• q_t(x): de belief van de agent over x op tijdstip t.
• a: een context-actie (vraag stellen, document retrievalen, memory inspecteren, API aanroepen, experiment draaien) of een taak-actie (de eindproductie).
• o: de observatie die de actie produceert, via predictieve verdeling q_t(o|a) = integraal over p(o|x,a) q_t(x) dx.

De agent werkt na elke observatie zijn belief bij volgens Bayes: q_{t+1}(x|o,a). Dat is inference: het beantwoordt "wat geloof ik gegeven mijn evidence?". De werkelijke innovatie zit in de tweede laag: actieve inferentie beantwoordt bovendien "welke evidence moet ik vervolgens proberen te verkrijgen?". Het paper formuleert dat als een bilevel optimalisatie: een binnenloop bepaalt hoe een mogelijke observatie de belief zou veranderen, terwijl een buitenloop bepaalt welke context-actie, taak-actie of stop-actie de voorkeur verdient.

Wanneer observaties deterministisch zijn en de belief update exact kan worden uitgevoerd, wordt de epistemische component van expected free energy equivalent aan mutual information: I(X; O | a). Intuïtief is dat de hoeveelheid die de agent verwacht door actie a over de onbekende toestand X te leren. Bij constante voorkeuren kiest de agent dan de actie met de grootste verwachte informatiewinst.

Dat lijkt triviaal, maar heeft grote consequenties. Stel dat een agent 100 mogelijke hypotheses heeft. Een vraag die gemiddeld 5 hypotheses elimineert is minder waardevol dan een vraag die de hypotheseruimte ongeveer halveert. De optimale context-actie is dus niet noodzakelijk de meest natuurlijke vraag. Het is de actie die de relevante onzekerheid het sterkst reduceert. Daarmee krijgen we een andere definitie van intelligent information seeking.

Formeel: Expected Free Energy en informatie-gain

Gegeven een observatiemodel p(o | x, a) en een prior p(x), is de Expected Free Energy (EFE) van een context-actie a de som van een risico-term, een epistemische-waardeterm en een kostterm:

EFE(a) = E[ risk(o) ] - E[ H(p(x | o, a)) - H(p(x)) ] + cost(a)

De tweede term is de verwachte vermindering van de entropie van de posterior, in bits (de KL-divergentie tussen posterior en prior). In een deterministische, discrete setting is dit exact de conditional information gain. Voor een kandidatenset C en een attribuut a dat C splitst in subets C_v:

EIG(a; C) = log2 |C| - som over v in V_a, |C_v| positief van ( |C_v| / |C| ) * log2 |C_v|

Deze term is maximaal voor gebalanceerde splitsingen: een vraag die de kandidatenset bij benadering halveert is de informatiefste, het klassieke Twenty Questions-principe. Een paar halveert de ruimeruimte met een bit per goede vraag, een vraag die gemiddeld vijf van honderd elimineert levert veel minder op.

Een meetbare benchmark: Optimal Question Asking (OQA)

Om dit experimenteel te meten introduceren de auteurs Optimal Question Asking (OQA). Een agent moet een verborgen kandidaat identificeren uit een verzameling mogelijke kandidaten. Na elke vraag blijft een verzameling consistente kandidaten over, C_t. Omdat de setting deterministisch is en de prior uniform, kan de resterende onzekerheid exact worden bepaald:

H_t = log2 |C_t|

Dat is methodologisch interessant. Veel benchmarks meten alleen correct of incorrect. OQA kan daarnaast meten hoeveel onzekerheid er was, hoeveel elke vraag reduceerde, hoeveel vragen noodzakelijk waren, hoeveel vragen het model stelde, en hoe ver de strategie van optimaal zat.

De auteurs bouwen hiervoor een dynamic-programming oracle die de minimaal verwacht aantal resterende vragen berekent. Voor een kandidaatset C geldt:

V(C) = min_a ( 1 + som over o van (|C_o(a)| / |C|) V(C_o(a)) )

Deze recursion is in de paper bewezen optimaal (Theorem 5.1): met inductie op |C| is V(C) de minimale verwacht aantal queries over alle adaptieve beslissingsbomen. De oracle optimaliseert daarmee niet simpelweg de eerstvolgende vraag, maar de verwachte diepte van de volledige decision tree. Dat onderscheid is essentieel.

Information gain is niet hetzelfde als optimaal plannen

Een van de subtielste resultaten verdient extra aandacht. Een greedy strategie kan elke beurt de vraag met maximale information gain selecteren. Maar max I_t betekent niet noodzakelijk min E[T], waar T het totale aantal benodigde vragen is. Een lokale optimale splitsing kan leiden tot een minder efficiënte toekomstige decision tree. De dynamic-programming oracle kijkt daarom verder dan één stap. Greedy expected information gain optimaliseert alleen de onmiddellijke entropy reduction; de oracle minimaliseert de verwachte resterende vragen.

Dit heeft een directe parallel met AI-agents:

• Een retrieval-call kan lokaal zeer informatief lijken, maar de agent een slecht vervolgpad in brengen.
• Een tool-call kan een parameter oplossen terwijl een andere ontbrekende constraint veel fundamenteler is.
• Een subagent kan veel informatie produceren zonder de beslissingsrelevante onzekerheid te reduceren.

Daarmee ontstaat een onderscheid tussen context acquisition en context acquisition planning. De tweede is aanzienlijk lastiger. Dit is precies de scheiding die de oracle afdwingt en die in de praktijk van enterprise agents zo vaak ontbreekt.

Frontier-modellen zijn informatief, maar epistemisch nog inefficiënt

De onderzoekers testen zeven frontier-modellen op OQA: GPT-5, GPT-4.1, Gemini 2.5 Pro, Gemini 2.0 Flash, Claude Sonnet 4.5, Claude Haiku 4.5 en Grok 4. De experimenten draaien op binaire en multiway categoriale OQA-tiers van 25 tot 300 kandidaten, telkens met temperature=0, een verse sessie per target en tools uitgeschakeld.

Het interessante resultaat is niet dat de modellen falen. Integendeel. Ze verlagen de onzekerheid systematisch, beurt na beurt. Maar zelfs in een gecontroleerde omgeving waar de onzekerheid exact meetbaar is, stellen de modellen vermijdbare vragen ten opzichte van de optimale oracle. Dat suggereert een belangrijk onderscheid:

Taak Intelligence is niet hetzelfde als Epistemic Efficiency.

Een model kan uiteindelijk het juiste antwoord produceren en tegelijkertijd een slechte information-acquisition-policy hebben. Dat wordt belangrijk zodra agents duizenden of miljoenen taken uitvoeren. Een extra retrieval-call lijkt individueel goedkoop, maar op schaal is dat een gecollectieve inefficiëntie met meetbare gevolgen.

In de prompt-autocompletion-studie kocht een kleine hoeveelheid gerichte clarificatie compliance: de beste active_weighted-instelling (epsilon=0.01, Kmax=2) bereikte 0.375 compliance op 219 tokens per taak, tegen baseline 0.0417 op 112 tokens. Een verhelderingsvraag van gemiddeld ~100 extra tokens verdubbelde bijna de compliance en maalden deze. Maar alleen omdat de vraag beslissings-relevante stijl-informatie kocht.

Tokens zijn epistemisch kapitaal

Een directe gevolg van deze meetbaarheid is dat tokens anders kunnen worden geïnterpreteerd. Niet alleen als compute cost, maar als epistemisch budget. Elke token die wordt besteed aan een vervolgvraag, retrieval, prompt-experiment of tool-call moet idealiter uncertainty reduction kopen. Dat suggereert een metrische als:

EpistemicEfficiency = (verandering in beslissings-entropie) / TokenCost

of algemener:

EE = (DecisionRelevantInformationGain) / (Compute + Tokens + Latency + InteractionCost)

Dit is een wezenlijk betere optimalisatiemaat dan uitsluitend "tokens per task", want goedkope inference die geen relevante onzekerheid reduceren is nog steeds verkwisting.

De belangrijkste formule: de stopping rule

Een agent moet niet alleen weten wanneer informatie waardevol is, maar ook wanneer hij moet stoppen met zoeken. Dutta et al. formuleren dit als een kosten-baten conditie. Een context-actie is rationeel wanneer:

I(X; O | a) groter dan lambda maal c(a)

waar I(X; O | a) de verwachte information gain is, c(a) de kosten van de actie, en lambda bepaalt hoe zwaar kosten wegen. Wanneer voor alle beschikbare context-acties geldt dat I(X; O | a) niet groter is dan lambda maal c(a), is verder zoeken niet rationeel. De agent moet handelen of stoppen.

Dit is Proposition 3.3 in het paper en wordt bewezen voor exacte inner update met constante voorkeuren. Het lijkt eenvoudig, maar in agentic AI is het revolutionair. Veel agents hebben momenteel wel een mechanisme om acties te starten, maar geen formeel criterium om informatievergaring te beëindigen. Die halve de agent wordt de kern van de epistemische control loop.

Van RAG naar Active RAG

Dit heeft directe consequenties voor Retrieval Augmented Generation. Klassieke RAG is een lineair pad: query, retrieve, rerank, generate. Agentic RAG voegt plan en reason toe, maar de retrieval blijft automatisch. Een active-inference architectuur werkt anders:

query, construct belief state, estimate decision uncertainty, enumerate context actions, estimate value of information, retrieve or ask or tool or memory or stop, update belief, repeat until stopping condition, act.

Retrieval wordt daarmee niet meer automatisch uitgevoerd. De agent moet eerst kunnen rechtvaardigen waarom retrieval waarschijnlijk waarde toevoegt. De retrievalvraag verandert van "welke documenten zijn relevant voor deze query?" naar "welke ontbrekende informatie kan mijn beslissing materieel veranderen, en welke bron reduceert die onzekerheid het meest efficiënt?". Dat is een veel sterkere architectuur. Ik noem dat Active RAG.

Maar hier stopt het paper te vroeg

Voor gecontroleerde experimenten is information gain een elegante objective. Voor enterprise AI is zij onvoldoende. Stel dat een context-actie extreem veel informatie oplevert. Mag de agent die informatie dan automatisch verzamelen? Nee. De informatie kan persoonsgegevens bevatten, vertrouwelijk zijn, buiten de doelbinding vallen, uit een onbetrouwbare bron komen, door prompt injection worden gemanipuleerd, temporeel zijn, privilege escalation vereisen, of disproportioneel zijn voor de taak.

De auteurs herkennen dit expliciet. Zij waarschuwen dat efficiëntere context acquisition kan worden gebruikt voor gevoelige informatie-extractie, profiling en adversarial probing, en noemen consent, auditing, beperkingen op follow-up, rate limits en privacy-aware guards. Maar voor enterprise agents moeten we verder gaan. Information gain moet niet alleen worden geoptimaliseerd, maar worden bestuurd. Dat is de kern van de architectuurlijn die dit artikel toevoegt.

Assurance-Adjusted Information Gain (AAIG)

Ik stel een uitbreiding voor die niet uit het paper zelf komt. Waar het paper de utility van een actie formuleert als I(X | O | a) minus lambda c(a), moet een enterprise-agent meerdere garanties meenemen. Noem dit Assurance-Adjusted Information Gain:

AAIG(a) = I(X | O | a) * R(a) * A(a) * F(a) - C(a) - P(a) - S(a)

waar:

• R(a) = relevance
• A(a) = authority (betrouwbaarheid van de bron)
• F(a) = freshness (actualiteit)
• C(a) = economische kosten
• P(a) = privacy risk
• S(a) = security risk

De agent vraagt niet langer "waar kan ik de meeste informatie krijgen?" maar "welke actie reduceert mijn beslissings-relevante onzekerheid het sterkst, gegeven betrouwbaarheid, actualiteit, kosten, privacy en security?". Dat is een realistische objective function voor enterprise AI.

Zero Trust uitgebreid naar kennis

Traditioneel stelt Zero Trust: never trust, always verify, toegepast op identities, devices, workloads, netwerkverbindingen en privileges. Agentic AI vereist uitbreiding naar context zelf. Een retrievalresultaat is niet automatisch waarheid. Een memory-entry is niet automatisch geldig. Een tool-output is niet automatisch integer. Een gebruikersclaim is niet automatisch volledig. Een andere agent is niet automatisch authoritative.

Iedere context-unit zou daarom metadata moeten dragen: source_identity, provenance, authority, confidence, freshness, sensitivity, integrity, scope, contradictions en policy_status. Context wordt dan behandeld als evidence, niet als waarheid. Dat noem ik Zero Trust Context Acquisition.

De epistemische control plane

De logische architectuur die hieruit volgt is een aparte control plane. Een epistemische context controller zit tussen de belief state en de bronnen in, en stuurt elke informatievervraging door een evidence gate die provenance, authority, freshness, confidence, policy en privacy checkt. Na de gate wordt de belief geüpdatet, wordt de onzekerheid geëvalueerd, en kiest het systeem voor de actie of nog een context-stap. De control plane introduceert daarmee een expliciete stopbeslissing die in de meeste agentframeworks ontbreekt.

Dit verschuift de orchestratie van role-driven naar uncertainty-driven. Een planner selecteert geen tool meer omdat de tool semantisch past, maar eerst over waar de onzekerheid zit, welke context-actie die reduceert, en pas daarna welke agent, bron of tool daarvoor gebruikt.

Privacy-by-design wordt inference-time gedrag

Deze architectuur heeft ook gevolgen voor de AVG. Dataminimalisatie wordt traditioneel als governance-eis rond een systeem geplaatst: COLLECT, STORE, PROCESS, PROTECT. Een epistemische agent kan dataminimalisatie echter onderdeel maken van de runtime decision policy: UNCERTAINTY, NECESSITY, PURPOSE, MINIMUM REQUIRED INFORMATION, AUTHORIZED ACQUISITION, USE, EXPIRY.

Voor elke context-actie kan de agent dan zes vragen beantwoorden: welke onzekerheid probeer ik te reduceren, is die onzekerheid materieel voor de taak, welke minimale informatie is noodzakelijk, mag deze informatie voor dit doel worden verwerkt, kan hetzelfde resultaat met minder gevoelige informatie worden bereikt, en wanneer verliest de context zijn legitimiteit of geldigheid. Daarmee wordt dataminimalisatie uitvoerbaar op inference-time.

Security krijgt ook een epistemische dimensie

Hetzelfde mechanisme kan security verbeteren. Stel een webpagina is informatief maar bevat mogelijke prompt injection. Pure information gain zegt "retrieve". Een assurance-aware controller zegt: information gain hoog, authority laag, injection risk hoog, decision criticality hoog, en antwoordt QUARANTINE of VERIFY. Of bij een externe tool: information gain medium, required privilege admin, alternative available, antwoord REJECT. Daarmee wordt least privilege gekoppeld aan information acquisition, precies waar tool-gebruik en context acquisition een gemeenschap hebben met de trust boundary.

Van agent orchestration naar epistemic orchestration

De huidige multi-agentarchitectuur ziet vaak uit als: planner, researcher, coder, reviewer. Dat is organisatorisch denken toegepast op software agents. Een epistemisch ontworpen systeem ziet er anders uit: decision, unknowns, hypotheses, information requirements, candidate evidence actions, expected value of information, acquire evidence, update beliefs, contradiction detection, residual uncertainty, act of continue of hold.

De researcher bestaat dan niet omdat elk proces een researcher nodig heeft, maar wordt alleen geactiveerd wanneer onderzoek voldoende expected decision value heeft. Hetzelfde geldt voor een specialist-agent, web search, RAG-query of code-execution tool. Orchestration verschuift van role-driven naar uncertainty-driven. We noemen dat epistemic orchestration.

We hebben andere agentbenchmarks nodig

Task success alleen is onvoldoende. Een enterprise-agent kan een taak succesvol uitvoeren terwijl hij vijftig onnodige retrievals doet, gevoelige gegevens verzamelt, verkeerde bronnen gebruikt, conflicterende evidence negeert, veel te vroeg handelt of eindeloos blijft zoeken. Daarom zouden agentbenchmarks minimaal moeten meten: TaskSuccess, PlanningGap, InformationGainPerToken, InformationGainPerToolCall, UnnecessaryContextRate, SensitiveContextAcquisitionRate, ContradictionResolutionRate, PrematureActionRate, PrematureStoppingRate en EvidenceAuthorityScore. En uiteindelijk een AssuranceAdjustedEpistemicEfficiency, de ratio van beslissings-relevante informatie-gain maal evidence quality gedeeld door kosten plus privacy en security risk.

Dan meten we niet alleen "had de agent gelijk?" maar ook "had de agent rationele epistemische gronden om te handelen?". Dat is voor autonome systemen een veel belangrijkere vraag.

Een noodzakelijke kritiek op het paper

Het paper is conceptueel sterk, maar de experimentele claims moeten voorzichtig worden geïnterpreteerd. OQA werkt met gecontroleerde kandidaatsets en bekende attributen. Observaties zijn grotendeels deterministisch, de posterior exact, de oracle teekent de volledige zoekruimte.

De realiteit van enterprise agents is fundamenteler rommelig. Daar hebben we OpenWorld en geen ClosedWorld. Bronnen kunnen tegenspreken. Evidence kan ontbreken. Een bron kan liegen. Een tool kan falen. Een memory kan zijn verouderd. De state space kan zijn. Nieuwe hypotheses kunnen tijdens het onderzoek. En de uncertainty zelf kan verkeerd gekalibreerd zijn. De auteurs erkennen deze beperkingen en noemen noisy, open-ended en multimodale interactie, tool-enabled agents, memory en expliciete stopping decisions als vervolgrichtingen.

Daarom bewijst OQA nog niet dat active inference het context-probleem van production-grade agents oplost. Het paper levert iets anders: een formeel vocabulaire waarmee het probleem eindelijk scherper kan worden gedefinieerd. Dat is wetenschappelijk misschien meer waardevol.

Praktijkvoorbeeld in Python

Een minimalistische implementatie van de EIG-berekening en de stopping rule voor een discrete kandidatenset:

import math
from operator import gt  # operators ipv losse groter-dan symbolen

def entropy_count(count):
    """Entropie van een uniforme kandidatenset in bits."""
    if count klein-gelijk 1:
        return 0.0
    return math.log2(count)

def expected_information_gain(total, partition_sizes):
    """EIG van een attribuut, gegeven de sizes van de splitsings-subsets.

    EIG = log2(|C|) - sum_v (|C_v|/|C|) log2(|C_v|)
    """
    h_before = entropy_count(total)
    h_after = sum((size / total) * entropy_count(size) for size in partition_sizes)
    return h_before - h_after

def should_ask(total, partition_sizes, token_cost, min_gain_per_token=0.01,
               min_entropy=0.5):
    """Stopping rule: vraag alleen door wanneer EIG per token boven de
    actiedrempel ligt en er nog echte onzekerheid is."""
    eig = expected_information_gain(total, partition_sizes)
    gain_per_token = eig / max(token_cost, 1)
    enough_gain = gt(gain_per_token, min_gain_per_token)
    enough_uncertainty = gt(entropy_count(total), min_entropy)
    return enough_gain and enough_uncertainty

# Voorbeeld: 100 kandidaten, een attribuut dat de set 48/52 splitst,
# kost 24 tokens, minimaal 0.01 bit per token.
print(should_ask(100, [48, 52], token_cost=24, min_gain_per_token=0.01))

Dit is de kern van de epistemische control: de agent kent zijn EIG, deelt door de verwachte kost, en beslist alleen door te vragen wanneer de verhouding boven de drempel ligt. In een realistische agent wordt die EIG-bepaling uitgevoerd door een retrieval, een tool of een verdere look-ahead.

Van context engineering naar epistemic engineering

De volwassenheidstraject van AI-engineering verloopt ongeveer: prompt engineering optimaliseert wat we het model vertellen, context engineering wat informatie, agent engineering welke acties, en ten slotte epistemic engineering wat het systeem weet, wat niet, hoe zeker het is, welke evidence ontbreekt, welke betrouwbaar is, welke onzekerheid ertoe doet, welke informatie mag worden verkregen, wanneer voldoende bewijs is, en wanneer het moet stoppen. Als we daar nog het bestuur, governance en verantwoording aan toevoegen, spreken we over een volgende laag: assurance engineering.

Het engineeringvraagstuk wordt daarmee niet het maximaliseren van kennis, maar het gecontroleerd verminderen van beslissings-relevante onzekerheid.

Conclusie

Active Inference as Context Acquisition for AI Agents lijkt op het eerste gezicht een paper over betere vragen. De implicaties zijn groter. Het introduceert een formele methode om retrieval, clarification, tool use, prompt experimentation en stopping als onderdelen van hetzelfde beslisprobleem te behandelen. De centrale keuze wordt daarmee niet alleen welke taak de agent moet doen, maar of hij überhaupt al voldoende evidence bezit om te handelen.

Daarmee ontstaat een ontwerpregel: context acquisition is geen voorbereidende stap van de reasoning. Context acquisition is zelf een vorm van reasoning. En voor production-grade agentic AI moet daar een tweede regel: niet alle informatiewinst is legitieme informatiewinst. Information gain moet daarom gekoppeld aan provenance, authority, temporal validity, privacy, security, purpose limitation en decision criticality.

De meest geavanceerde AI-agent zal daarom niet de agent met het grootste context window of de meeste tools. Het zal de agent zijn die aantoonbaar kan zeggen: dit weet ik, dit weet ik niet, deze onzekerheid is relevant voor mijn beslissing, deze evidence kan haar reduceren, deze bron is voldoende betrouwbaar en toegestaan, de resterende onzekerheid ligt binnen de risicogrens, en nu kan ik handelen. Dat is meer dan een betere agent. Dat is het begin van een epistemisch bestuurbaar AI-systeem.