Geen coherent beleid: waarom model-alignment uw EU AI Act-conformiteit niet kan redden

Wie een LLM-agent inzet voor besluitondersteuning neemt impliciet één aanname mee: dat het model een stabiel beleid uitdrukt, een mapping van situatie naar beslissing die invariant blijft zolang de moreel relevante kenmerken van de situatie gelijk blijven. Die aanname is de basis van elke conformiteitsbeoordeling. Als ze onwaar is, is elke test die u uitvoert een momentopname die bij de volgende prompt-variant instort.

Het paper Moral Competence Before Moral Content (arXiv:2609.05036) stelt daar een harde vraag over: is alignment überhaupt toepasbaar op zulke objecten? Het antwoord is ontluisterend.

De vier structurele condities

De auteurs (Aithos Research Foundation, Amsterdam) definiëren vier voorwaarden voor een coherent beleid die zuiver structureel zijn, evalueerbaar vanaf gedrag, zonder een morele standaard of expert-baseline als referentie. Samen vormen ze een "structural floor" voor alignment, geen normatief doel.

• Verdict stabiliteit. De uitkomstverdeling moet invariant zijn onder variatie die elk moreel relevant kenmerk behoudt: hoofdlettergebruik, woordkeus of toolnamen mogen de uitspraak niet wijzigen. Een model dat faalt op deze eigenschap wordt gedreven door oppervlaktekenmerken.
• Monotoniciteit. Als kenmerken veranderen langs een objectief transitieve, commensurabele dimensie (escalerende schade, toenemende misleiding) met alle andere morele kenmerken constant, moet het verdict monotoon meeverschuiven. Het model mag bij een drempel omslaan; het mag niet oscilleren.
• Besluitvaardigheid (decisiveness). De verdictverdeling moet principtieel en voorspelbaar zijn. Een verdict-rate rond 0,5 wordt gedreven door stochastische ruis. Consistent onthouden of interveniëren telt wél als besluitvaardig; tegenstrijdige behandeling van identieke runs niet.
• Pareto-viabiliteit. Het model mag geen optie kiezen die strikt gedomineerd wordt door een andere beschikbare, toegestane optie. Dit is de enige normatieve verplichting van het raamwerk, en bewust de kleinste brok preferentie-aggregatie die de onmogelijkheidsresultaten overleeft.

De meting: negentien modellen, nul coherent beleid

De methodologie is een factorieel design over drie gesimuleerde deployments (chemisch incident, smart-home upsell, fintech-transparantie) met vijf parafrases × vijf escalatieniveaus × drie dominantiecondities. Negen frontier-modellen draaien mee: Claude Sonnet 4.6, GPT-5.4, Gemini 2.5 Pro, Mistral Large 2512, GLM 5.1, DeepSeek V4 Pro, Kimi K2.6, Qwen 3.6 Plus en Llama 3.3.

Het scherpste resultaat staat in de abstract en is door ons geverifieerd tegen de volledige PDF:

Één parafrase-verschuiving binnen dezelfde moreel relevante feiten produceert verdict-rate-verschuivingen tot 99 procentpunten op één escalatieniveau, de parafrases van hetzelfde scenario vullen het volledige [0,1]-interval. Acht van negen modellen overschrijden 50 procentpunten op ten minste één scenario.

Met n=100 per configuratie zijn de binomiale standaardfouten per individuele configuratie klein, maar de standaarddeviatie tussen parafrases is voor meerdere modellen een orde groter. Dat is het cruciale punt: een enkel-configuratie-rapport (exactly wat een conformiteitsbeoordeling doet) maskeert de variantie die perturbatie blootlegt. En competentie transfert niet van het ene scenario naar het andere: succes op één scenario voorspelt niets over een ander.

De conclusie van de auteurs is radicaal: LLM-agenten zijn "niet het soort object waarop alignment betekenisvol toepasbaar is."

Epistemische positie

Bewijsklasse: de 99-procentpunten-claim en de 8/9-modellen-overschrijding zijn OBSERVED in de primaire PDF (abstract + sectie 3.5).

Competing hypothesis: een alternatieve verklaring is dat de modellen wél een coherent beleid hebben, maar dat de parafrases onbedoeld een moreel relevant kenmerk verschilden dat de auteurs niet als zodanig codeerden. De auteurs adresseren dit door numerieke waarden constant te houden over parafrases op een gegeven escalatieniveau, maar de verificatie dat álle parafrases semantisch equivalent zijn, is niet onafhankelijk geverifieerd.

Falsificatie-criterium: de centrale claim "geen van de negen modellen expresseert een coherent beleid" wordt weerlegd als een onafhankelijke replicatie (zelfde script, zelfde scenario's) een model vindt dat onder parafrase-variatie een structuurconditie handhaaft, of als de auteurs een parafrase-set verstrekken waarin twee teksten op grond van een niet-gecodeerde morele factor legitiem onderscheiden moeten worden. Wat zou dit expliciet weerleggen: een onafhankelijke uitvoering van het meetprotocol dat bij geen enkel model een verdict-stabiliteit-variantie van meer dan 50 procentpunten observeert. Dit is een direct tegen-argument tegen de generaliseerbaarheid van de gemeten incoherentie.

Counterfactual: als modellen wél een coherente beleidsmapping hadden (de assumptie van vrijwel elke DPIA voor LLM-besluitondersteuning), dan zou een conformiteitsbeoordeling op één configuratie een betrouwbaar beeld geven. De gemeten variantie toont dat deze counterfactual faalt: statische testsets overschatten coherentie structureel.

Onzekerheidsklasse: het bestaan van structurele incoherentie bij frontier-modellen is HIGH-confident. De incidentie in specifieke Nederlandse productiesystemen (krediet scoring, werving, triage) is UNKNOWN, de paper evalueert geen deployment-gedrag, alleen gecontroleerde dilemma's.

Formalizing verdict stability: een meetbare definitie

Om verdict-stabiliteit toetsbaar te maken zonder een morele standaard, is de kern een invariant-voorwaarde over de model-uitvoerfunctie. Laat f de functie zijn die een scenario-beschrijving s afbeeldt op een verdict-verdeling over acties, en laat ~ het equivalentierelatie zijn dat oppervlaktevariaties (hoofdletters, woordkeus, toolnamen) verbindt die alle moreel relevante kenmerken behouden. Verdict-stabiliteit vereist dan:

∀ s₁ ~ s₂ : D(f(s₁)) = D(f(s₂))

waarbij D de verdeling over verdicts is. De breuk hiermee is meetbaar als de variatie over parafrases: max_{s₂: s₁~s₂} |P(f(s₁)=a) − P(f(s₂)=a)|. Dit is precies wat de auteurs meten als de worst-level paraphrase spread, die op één escalatieniveau tot 99 procentpunten reikt.

Monotoniciteit is een tweede constraint: langs een commensurabele escalatiedimensie e, met alle andere morele kenmerken gefixeerd, mag het verdict slechts één keer omslaan, niet oscilleren. Computationeel gezien is dit een eenvoudige structuureigenschap: het testen van monotoniciteit over K escalatielevels kost O(K) verdict-evaluaties per parafrase, in totaal O(K × P) voor P parafrases. De auteurs houden numerieke waarden constant over parafrases op een gegeven level, waardoor de toets niet door verborgen kwantitatieve verandering wordt verstoord.

Een uitvoerbaar voorbeeld: een parafrase-robustheidstoets

De kernmeting is eenvoudig reproduceerbaar. Een verkorte uitvoering van het verdict-stabiliteit-protocol zou er zo uitzien:

# Verdict-stabiliteit: meet spreiding over parafrases die moreel relevante
# kenmerken behouden (vereenvoudigde weergave van de paper-methodologie)
import statistics

def paraphrase_spread(model, canonical, paraphrases, label="refuse"):
    """Worst-level spread van verdict-rates over 5 parafrases van hetzelfde kanon."""
    rates = []
    for p in paraphrases:
        n_act = sum(1 for _ in range(100) if model.verdict(p) == label)
        rates.append(n_act / 100)      # n=100 per configuratie
    return max(rates) - min(rates)      # worst-level spread in procentpunten

for scenario in scenarios:
    spread = paraphrase_spread(model, scenario.canonical, scenario.paraphrases)
    if spread > 0.50:                    # > 50 pp
        print(f"MOGELIJKE INCOHERENTIE: {model} {scenario.name} = {spread:.0%}")

Dit herhaalt de kern van de paper-meting: per model en scenario de spreiding tussen parafrases van één scenario berekenen. De auteurs stellen n=100 per configuratie; acht van negen modellen overschrijden 50 procentpunten op minstens één scenario.

De compliance-gap in Nederland

De consequentie voor de NL-markt is niet abstract. Neem een fictief zorginstituut dat een LLM-triage-instrument inzet in een NEN 7510-omgeving. De DPIA veronderstelt dat het model een coherente risico-classificatie geeft; de conformiteitsbeoordeling gebruikt één canoniche prompt-set op één configuratie. Als het model onder parafrase-variatie van dezelfde casus van "urgent" naar "niet urgent" kan omslaan (een verdict-stabiliteitsbreuk met meer dan 50 procentpunten spreiding), dan is de klinische beslissing, en de aansprakelijkheid, niet geborgd door de test. Menselijk toezicht (Artikel 14) is dan niet een vangnet maar de enige control die de incoherentie vangt. Dit raakt exact de thematiek van bestaande DjimIT-analyse over menselijk toezicht in de AI Act: de structurele incoherentie is de fundamentele zwakte die artikel 14 moet opvangen omdat artikel 15 meting het niet kan.

Wat betekent dit voor uw EU AI Act-conformiteit?

De uitdaging is existentieel voor de Artikel 9-15-benadering. De verordening gaat ervan uit dat risicobeheer, kwaliteitsmeting en menselijk toezicht op een coherent systeem worden toegepast. Als het model geen stabiele beleidsmapping heeft, dan:

1. Artikel 15 metrologisch ondeugdelijk. Nauwkeurigheid, robuustheid en cybersecurity-evaluatie op statische testsets meten een momentopname die niet naar de volgende prompt-variant generaliseert.
2. Artikel 14 is geen reserve maar de primaire control. Het paper bewijst dat menselijk toezicht niet het vangnet onder een primair werkend alignment-systeem is, het is de enige control die coherentie kan afdwingen. Wie Artikel 14 als secondary fail-safe behandelt, bouwt op een fundering die de evaluatie zelf niet kan aantonen.
3. Uw DPIA overschat coherentie. Bestaande DPIA's voor LLM-besluitondersteuning (krediet, werving, triage) baseren op statische testsets. Deze gap zit niet in de DPIA-methodiek van de uitvoeringswet, het is een blinde vlek.

Een nieuw inzicht dat verder gaat dan de paper

De auteurs presenteren dit als een epistemische observatie over alignment. De afgeleide normatieve claim voor de NL-markt is een stap verder: de structurele condities zijn bruikbaar als een praktische, vendor-agnostische toets voor menselijk toezicht-ontwerp, niet om modellen te rangschikken, maar om per inzet te bepalen waar menselijke interventie echt de enige control is. Dit is een nieuw inzicht dat niet rechtstreeks uit de paper volgt: de paper levert de metriek, de vertaling naar toezicht-ontwerp (welke deployment-prompt-sets moeten standaard een parafrase-robustheidstoets ondergaan) is onze synthese met de NL-conformiteitspraktijk. Geen enkele Nederlandse DPIA-template of BIO2-baseline-controle bevat vandaag een test op verdict-stabiliteit of monotoniciteit onder parafrase-variatie. De afgeleide claim is dus: de vier structurele condities zijn de eerste operationele, meetbare operationalisering van "menselijk toezicht als primaire control" die in een DPIA past.

Limitations en aandachtspunten

• Niet model-ranking. De auteurs benadrukken dat de drie-aggregaten illustratief zijn, geen verdict over modelkwaliteit. Gebruik de cijfers niet om modellen tegen elkaar af te wegen.
• Geen deployment-meting. De evaluatie betreft gecontroleerde dilemma's, niet het gedrag in een specifieke productiecontext met haar eigen prompts en tooling.
• Gevoelig voor scenario-keuze. De drie gekozen deployments bepalen de gemeten incompetentie; andere scenario-domeinen zouden andere spreiding tonen.
• De verordening zelf schakelt trager dan het onderzoek. De structurele condities zijn research; de uitvoeringswet erkent alignment-incoherentie nog niet als structureel conformiteitsrisico.

Wat nu?

Voor organisaties die LLM-besluitondersteuning in compliance-brede inzet hebben, is de directe actie een parafrase-robustheidstoets op de eigen deployment-prompts: neem het canonieke scenario, varieer oppervlaktekenmerken zonder moreel relevante feiten te wijzigen, en meet de verdict-spreiding. Als die spreiding groot is op uw eigen prompts, dan is menselijk toezicht (Artikel 14) formeel uw primaire control, en moet uw conformiteitsdossier dat ook weerspiegelen, niet een statische testset die coherentie doet lijken alsof hij er is.

Primaire bron: Moral Competence Before Moral Content: Why LLM Agents Lack the Prerequisites for Coherent Alignment · volledige PDF