De onzichtbare redactielaag: inference-time steering en het attributieprobleem

Moderne inference-pipelines kunnen systematisch de probability distribution van een Large Language Model modificeren ná model-inference maar vóór token-sampling. Dit is een onzichtbare redactielaag die politieke, commerciële of ideologische framing induceert zonder dat dit aan model weights toe te schrijven is (arXiv:2608.24662). Het paper formaliseert het Inference Attribution Problem: gedragsbias kan niet causaal worden toegeschreven aan model weights onder beperkte observability.

Voor Nederlandse overheidsorganisaties die LLMs deployen via third-party inference providers (Azure OpenAI, AWS Bedrock) is dit een onontdekt compliance-risico. De EU AI Act Artikel 5 is in werking getreden, en overheden moeten aantonen dat hun LLM-deployments geen verboden beïnvloedingspraktijken bevatten. Dit paper levert de theoretische basis voor de audit-methode die daarvoor nodig is.

Wat is inference-time steering?

Inference-time steering is de modificatie van de output-distributie van een LLM tussen het moment van model-inference en het moment van token-sampling. Dit kan op meerdere niveaus gebeuren:

• Logit-biasing op de inference-provider, die de kans op bepaalde tokens verhoogt of verlaagt
• Prompt-injectie in de deployment-laag, die de context van het model beïnvloedt zonder dat dit in de model weights zichtbaar is
• Response-filtering die bepaalde outputs blokkeert of herschrijft vóór levering aan de gebruiker

Het cruciale kenmerk is dat deze interventies niet traceerbaar zijn naar de model weights. Een organisatie die een LLM via een hyperscaler deployt, ziet de output maar kan niet vaststellen of die output het product is van het model zelf of van een interventie in de inference-pipeline.

Het attributieprobleem

Het Inference Attribution Problem is de kern van de compliance-uitdaging. Wanneer een LLM-output een bepaalde bias of framing vertoont, kan de organisatie niet causaal vaststellen waar die bias vandaan komt:

1. Is het een eigenschap van de model weights (trainingsdata, alignment)?
2. Is het een interventie in de inference-pipeline (logit-biasing, prompt-injectie)?
3. Is het een combinatie van beide?

Onder beperkte observability is dit onbeslisbaar. Dit is precies het probleem dat de EU AI Act Artikel 5 raakt: verboden beïnvloedingspraktijken kunnen in de deployment-laag plaatsvinden zonder dat de organisatie die het model inzet dit kan detecteren of aantonen.

Waarom bestaande assessments dit missen

De bestaande AI Act impact assessments en DPIAs evalueren model weights en training data. Ze beantwoorden vragen als: welke data is gebruikt voor training, welke bias zit er in de trainingsdata, hoe is het model gealigneerd?

Wat ze niet evalueren is de deployment-laag: welke partijen modificeren de output tussen model en gebruiker? Een cloud-provider kan probability placement commercieel inzetten, een advertentie-primitief die de EU AI Act mogelijk classificeert als verboden beïnvloeding. Bestaande DPIAs dekken dit niet.

Dit is een blinde vlek die bij de eerste AI Act-handhavingsactie boetes kan opleveren. De organisatie heeft een assessment dat zegt "geen verboden beïnvloeding", maar dat assessment heeft de inference-laag nooit onderzocht.

De audit-methode die nodig is

Een inference pipeline transparency assessment moet de volgende vragen beantwoorden:

1. Welke partijen zitten er tussen model en gebruiker? Map de volledige keten: model-provider, inference-provider, gateway, applicatielaag.

2. Welke interventies zijn technisch mogelijk op elke laag? Kan de inference-provider logits biassen? Kan de gateway prompts injecteren? Kan de applicatielaag responses filteren?

3. Welke interventies zijn contractueel toegestaan? Wat staat er in de servicevoorwaarden en het verwerkersoverzicht? Is logit-biasing commercieel toegestaan?

4. Welke observability heeft de organisatie? Kan de organisatie detecteren of er interventies plaatsvinden? Of is de pipeline een black box?

5. Welke mitigaties zijn mogelijk? Sovereign AI deployments, on-premise inference, of contractuele beperkingen op interventies.

Implicaties voor de Nederlandse publieke sector

Voor Nederlandse overheidsorganisaties die LLMs deployen via hyperscalers, is dit een directe compliance-gap. De AI Act Artikel 5 is in werking, en de verantwoordelijkheid voor het aantonen van afwezigheid van verboden beïnvloeding ligt bij de organisatie die het systeem inzet, niet bij de provider.

Dit raakt ook de bredere soevereiniteitsdiscussie. Organisaties die cloud-vendor-lock-in willen vermijden (CLOUD Act, data-sovereignty) hebben nu een extra argument: de inference-laag van een hyperscaler is een oncontroleerbare black box waarin commerciële interventies mogelijk zijn zonder traceerbaarheid.

Falsificeerbaarheid en de grens van deze analyse

Deze analyse is falsificeerbaar. Indien een organisatie aantoonbaar volledige observability heeft over de inference-pipeline, inclusief contractuele beperkingen op interventies en technische detectie van logit-biasing, vervalt de compliance-gap voor die specifieke deployment.

Er blijft echter een fundamentele onzekerheid: de mate waarin hyperscalers daadwerkelijk inference-time steering toepassen is niet publiekelijk gedocumenteerd. Het paper formaliseert de mogelijkheid en de attributie-uitdaging, maar bewijst niet dat specifieke providers dit commercieel inzetten. Wat wel vaststaat, is dat de deployment-laag een onontdekte compliance-vector is die bestaande assessments niet dekken.

Lees verder

• EU AI Act 2 augustus 2026: wat nu geldt
• AI Act measurement gap: juridische AI
• AI soevereiniteit is geen cloudbeleid
• Hoe check je of jouw AI-systeem voldoet aan de EU AI Act