De Compaction Cliff: wanneer AI-agents hun eigen veiligheidsregels verliezen

Een medische AI-agent beoordeelt de geschiedenis van een patiënt en vindt een kritieke regel: "Deze patiënt is allergisch voor penicilline." Gedurende een lange sessie vult de context zich, de runtime triggert compactie, en de allergieregel - begraven tussen tientallen feiten - wordt geparafraseerd of weggelaten. Drie beurten later beveelt de agent amoxicilline aan, een antibioticum uit de penicillineklasse.

Dit is geen hypothetisch scenario. Het is de kern van een structureel falen dat de auteurs van arXiv:2608.22752 de Compaction Cliff noemen: type-blinde contextcompressie vernietigt de veiligheidsregels die een agent juist moest beschermen. En het is niet zeldzaam - het is de standaardmodus van productie-agents.

De kernmeting: een cliff, geen geleidelijke achteruitgang

De auteurs testten 20 productie-agentconfiguraties met Claude Code's /compact prompt op Sonnet 4.6. Het resultaat is verontrustend:

Compactieronde	Safety-rule recall
1	53%
2	~38%
3	~27%
4	~17%
5	10%

Na vijf compactierondes is 90% van de veiligheidsregels verloren. En dit is geen artefact van één model of één prompt: het verval verscheen voor elke LLM-familie (gpt-5.4-nano/mini, Sonnet 4.6, Opus 4.7) en elke structurele baseline (hiërarchische truncatie, temporele windowing, agressieve pruning). Een type-blinde compactor heeft geen signaal voor welke zinnen veiligheidsregels zijn, en vat ze samen in hetzelfde tempo als de omringende tekst.

De kern van het probleem is een asymmetrie die de auteurs formeel bewijzen: een veiligheidsregel en een episodisch logboek verdragen kwalitatief verschillende soorten verlies. Een episodisch item ("refactored auth module gisteren") kan zonder schade tot één zin worden samengevat. Een veiligheidsregel ("nooit gecontra-indiceerde medicijnen voorschrijven") kan niet worden geparafraseerd zonder het kwalificerende element te riskeren dat hem afdwingbaar maakt. Eén compressiebeleid kan niet allebei dienen.

De formele kernel: een getypeerd kennis-model

De auteurs formaliseren dit als een getypeerd kennis-model. Een getypeerde kennisbasis is een tuple:

K = (I, τ, T, π, σ)

waarin:

• I een eindige verzameling items is
• τ: I → {C, P, B, F, E} de type-toewijzing (Constraint, Procedural, Belief, Preference, Episodic)
• T een onderwerpboom is
• π: I → leaves(T) de leaf-mapping
• σ: I_C → 2^leaves(T) de scope-functie die aangeeft op welke leaf-onderwerpen elke constraint van toepassing is

Elk type draagt zijn eigen vervormingsmaat d_t, volgens de composiet-bron rate-distortion theorie van Liu et al.:

• Constraint (C): binair - d_C = 0 als i' |= i, anders ∞. De regel is intact of verloren.
• Procedural (P): gedrag-behoudende herschrijvingen alleen.
• Belief (B): begrensd door semantische afstand 1 - cos(e(i), e(i')).
• Preference (F): hoog - mag worden samengevat of samengevoegd.
• Episodic (E): vrij - mag worden weggegooid.

De vijf types dekken 97% van de echte agent-kennis (gevalideerd op 2.000 geannoteerde items uit de AgentArtifactCorpus van 396.934 configuraties uit 54.628 GitHub-repositories).

De drie operators: elk met een eigen veiligheidseis

De kernbijdrage is dat de drie context-management-operaties - compactie, decompositie en retrieval - elk een formele veiligheidseis dragen die type-blinde strategieën bewijzen te schenden.

1. TypeCompact (compactie). De veiligheidseis is constraint-preservatie: ∀i ∈ I_C, ∃i' ∈ C(K) : d_C(i, i') = 0. Elke constraint moet met nul vervorming overleven. TypeCompact routeert items in drie fidelity-lanes: constraints en procedures op volle sterkte, beliefs en preferences gecomprimeerd, episodische items als placeholder. Een deterministische verifier extraheert vervolgens een canonieke vorm (negatie plus object-frase) uit elke constraint in de harde lane, checkt of die in de output voorkomt, en herstelt de originele of escaleert naar Unsafe.

2. TypeDecompose (decompositie). De veiligheidseis is constraint-lokaliteit: elke partitie die een item bevat dat onder de scope van een constraint valt, moet ook die constraint bevatten. TypeDecompose repliceert elke constraint naar elke partitie die zijn scope snijdt - met nul overhead voor lokale constraints, en overhead evenredig aan het aantal partities dat de scope overspant.

3. TypeRetrieve (retrieval). De veiligheidseis is prioriteit: ∀c ∈ I_C: inscope(q, c) ⇒ c ∈ R_q, ongeacht de relevantiescore. Elke in-scope constraint moet in de resultaatverzameling verschijnen, zelfs als zijn gelijkenisscore hem onder de cutoff zou plaatsen. TypeRetrieve pint in-scope constraints vóór het toewijzen van het resterende budget op relevantie.

De drie operators componeren tot één cyclus: probeer eerst compactie; onder het minimum veilige budget B_min, waar compactie een constraint zou laten vallen, val door naar decompositie en duw een deel van de basis naar externe opslag voor TypeRetrieve om op aanvraag terug te halen.

De experimenten: waar type-blinde methoden falen

De empirische validatie is uitgebreid en overtuigend:

Compactie. Over acht type-blinde strategieën was de beste single-round recall 0.53 bij 50% compressie, 0.39 bij 25%, en 0.24 bij 10%. TypeCompact haalde 1.00 / 0.95 / 0.80 op dezelfde configuraties, stabiliserend op 0.96 vanaf de tweede ronde. De ablatiestudies zijn cruciaal: het verwijderen van één component (indexing-time labels, verifier, of budget-boundary gedrag) zet een gedeployde agent onder de 0.50-markering. Zonder de verifier rapporteerden dezelfde configuraties schijnbare 1.00 recall maar lieten stilletjes gemiddeld 57% van de constraints vallen die behouden hadden moeten worden.

Decompositie. De sterkste baseline (topic-aligned) bereikt 13% gemiddelde schending maar produceert nog steeds ten minste één schending in 40% van de configuraties. TypeDecompose bereikt nul schendingen bij 14,5% gemiddelde token-overhead - en de mediaan is 0% (74% van de configuraties heeft geen global-scope constraints).

Retrieval. TypeRetrieve bereikt 96% recall@20 en 100% recall@50 over elke retriever, tegenover 61% en 73% voor de sterkste single-shot LLM-retriever (Sonnet 4.6). En het gebruikt nul LLM-tokens per query tegenover 5.776-6.741 voor de single-shot LLMs, omdat pinning een database-lookup is.

Downstream gedrag. De auteurs valideren dat artefact-niveau-preservatie zich vertaalt naar veiliger agentgedrag. Op SafetyMed (200 medische scenario's) overtreft TypeCompact de productie-Sonnet-compactor op pass-rate (p = 0.022) en constraint-preservatie (14,5-punt voorsprong, p kleiner dan 10⁻⁸). Op τ-bench retail overtreft het de full-policy baseline en hiërarchische truncatie (p = 0.003, p = 0.005). Op de held-out airline-split overtreft het hiërarchische truncatie (p = 0.024) en evenaart statistisch de full-policy ceiling.

De declaratieve-frase valkuil: waar grammatica-classificatie faalt

Een van de meest waardevolle inzichten is de declaratieve-frase valkuil. De auteurs testten hoe wijdverbreid declaratieve formulering is in veiligheidstekst: 49,8% van openFDA-veiligheidstekst en 61,1% van LegalBench-veiligheidsclausules is declaratief, tegenover 22,5% / 22,2% imperatief.

Dit is cruciaal omdat grammaticale classifiers falen op declaratieve formulering. "Deze patiënt is allergisch voor penicilline" wordt door gpt-5.4-mini slechts 62% van de tijd als constraint herkend, door de selectieve cascade 52%, en door regex 0%. De auteurs introduceren SafetyMargin, een classifier die constraint-status schat via counterfactuele veiligheid in plaats van grammaticale vorm: margin(i) = max_a [P(unsafe | a, K\{i}) - P(unsafe | a, K)]. Een item is een constraint wanneer het verwijderen ervan een actie onveilig zou maken. SafetyMargin tilt declaratieve recall van 0.62 naar 0.90 (+28 punten).

Dit is de epistemische kern: de vorm van een regel zegt niets over zijn veiligheidsfunctie. Een regel die declaratief is geformuleerd ("deze patiënt is allergisch") is net zo bindend als een imperatieve ("nooit X voorschrijven"), maar grammaticale classifiers missen hem systematisch.

Governance-implicatie: context-compressie als compliance-risico

Hier raakt de paper aan een vraag die hij zelf nauwelijks beantwoordt, maar die voor elke gereguleerde omgeving cruciaal is. De conclusie stelt het in één zin: "bounded-context management heeft zich verplaatst van research-prototypes naar productiesystemen die medische notities opstellen, juridische argumenten schrijven en klantaccounts wijzigen; veiligheidspreservatie op de opslaglaag is daarom een deployment-vereiste die elke productie-agent-runtime moet halen."

Die zin verdient uitvergroting, want de implicatie is dieper dan het klinkt. Voor Nederlandse overheids- en zorgorganisaties betekent dit:

• AI Act Artikel 15 (robuustheid). High-risk AI-systemen moeten robuust zijn tegen fouten. Een agent die zijn eigen veiligheidsregels verliest tijdens contextcompressie is een robuustheidsfalen - de regels die de organisatie in het systeem heeft geprogrammeerd worden stilletjes vernietigd door de runtime zelf, niet door een externe aanvaller.

• BIO2 / NIS2 (integriteit van configuratie). De veiligheidsregels in AGENTS.md, CLAUDE.md en system prompts zijn de configuratie van een agentisch systeem. Als die configuratie degradeert tijdens normaal gebruik, is dat een integriteitsfalen van de configuratie - precies wat BIO2-wijzigingsbeheer en NIS2-audit-verplichtingen beogen te voorkomen.

• AVG / DPIA (geautomatiseerde besluitvorming). Een medische agent die een allergieregel verliest en een gecontra-indiceerd medicijn aanbeveelt is een geautomatiseerde beslissing met materiële gevolgen. De DPIA moet de context-compressie-laag als risicobron opnemen, niet alleen het model.

• Audit-trails. De paper toont dat de verifier 27 herstelgebeurtenissen registreerde (gemiddeld 0,46 per call) en nooit escaleerde naar Unsafe bij 50% - maar zonder de verifier zouden dezelfde runs stilletjes de harde lane afkappen. Dit is precies het soort bewijs dat een auditor wil zien: niet "de agent werkt", maar "de agent bewaakt zijn eigen veiligheidsregels en escaleert wanneer het budget ze niet kan bevatten."

Beperkingen en restrisico's

De auteurs zijn eerlijk over de grenzen:

• De garantie rust volledig op classifier-recall. Onder een haalbaar budget bewaren de operators elke constraint die de classifier vlaggen. Een constraint gaat alleen verloren wanneer de classifier hem mist. Bij SafetyMargin's 0.93 recall is het resterende miss-percentage 0.07 - de negen SafetyMed-items achter de 4,5-punt kloof.

• Corpus-bias. AgentArtifactCorpus komt uit publieke GitHub; type-distributies in gesloten enterprise-corpora kunnen verschillen. De released classifier moet vóór deployment opnieuw worden gefit.

• Annotator-onenigheid. Op vijf-klasse-niveau is Cohen's κ = 0.45 (tegenover 0.79 op de safety-critical split). Per-type resultaten weg van de constraint-grens zijn minder betrouwbaar.

• Replicatie-overhead. TypeDecompose's overhead varieert sterk (mediaan 0%, worst case 219%) - de kosten van het kopiëren van elke constraint naar elke partitie die zijn scope dekt.

• Token-matched controle. Op retail is de vergelijking gelijk-beleid maar niet gelijk-tokens: TypeCompact behoudt 1.136 tokens tegenover 669 voor hiërarchische truncatie. De auteurs erkennen dat een deel van de retail-winst behouden context kan reflecteren, niet alleen typing. Op airline keert de footprint om (647 tegenover 718 tokens) terwijl TypeCompact nog steeds met 11,1 punten leidt - wat het effect begrenst.

Wat dit betekent voor de praktijk

De fundamentele les is een ontwerpprincipe dat de auteurs als volgt samenvatten: "voordat je compactie delegeert aan een frontier LLM, classificeer items op veiligheidsrol en behoud de safety-critical klasse zonder wijziging."

Voor architecten en CISO's die langlopende agents overwegen, betekent dit drie concrete dingen:

1. Behandel context-compressie als een veiligheidscontrole, niet als een optimalisatie. De runtime die je agent samenvat is een actieve transformatie van zijn veiligheidsconfiguratie. Die moet door dezelfde assurance-laag gaan als elke andere configuratiewijziging.

2. Voeg een verifier toe die constraint-preservatie bewijst. De paper toont dat een deterministische post-compactie verifier het verschil maakt tussen stille degradatie en expliciete escalatie. Zonder verifier rapporteert het systeem schijnbare 1.00 recall terwijl het 57% van de constraints stilletjes laat vallen.

3. Classificeer op veiligheidsfunctie, niet op grammaticale vorm. De declaratieve-frase valkuil is de meest verraderlijke: de regels die er het meest toe doen in klinische, juridische en financiële context zijn precies de regels die grammaticale classifiers missen. Counterfactuele veiligheidsschatting (SafetyMargin) is de robuuste aanpak.

De Compaction Cliff is geen cosmetisch defect. Het is een structureel falen van type-blinde contextcompressie dat zich reproduceert over elke LLM-familie en elke structurele baseline. De oplossing is niet een beter model - het is een getypeerde opslaglaag die veiligheidsregels als een aparte klasse behandelt, met formele preservatie-garanties per operator. Voor elke organisatie die een langlopende agent in productie zet, is dit geen optionele verfijning. Het is een deployment-vereiste.

Verwante leesstof

Deze analyse past in een doorlopende reeks over de betrouwbaarheid van agentische systemen:

• De harness wordt zelf lerend code: AutoSaddler behandelt hoe de harness zelf het object van optimalisatie wordt - en daarmee een nieuw governance-object.
• Code is de agent-runtime behandelt de harness als betrouwbaarheidsbottleneck van agentische autonomie.
• Engram: agent memory als lokale sidecar behandelt hoe externe memory de context-compressie-verliezen van agents kan opvangen.
• Van modelspecificatie naar AI-harness laat zien hoe frontier performance verschuift naar system-level engineering.

Waar die posts de harness en memory als architectuurconcept behandelen, markeert deze paper de specifieke failure mode: de context-compressie-laag die veiligheidsregels stilletjes vernietigt.

Bronnen

1. Saber Zerhoudi, Jelena Mitrović, Michael Granitzer. "The Compaction Cliff in Long-Running AI Agent Memory." Proceedings of the 35th ACM International Conference on Information and Knowledge Management (CIKM '26), Rome, 7-11 nov 2026. DOI: 10.1145/3799682.3840567. arXiv:2608.22752, 24 aug 2026. https://arxiv.org/abs/2608.22752
2. Jiakun Liu, H. Vincent Poor, Iickho Song, Wenyi Zhang. "A Rate-Distortion Analysis for Composite Sources Under Subsource-Dependent Fidelity Criteria." IEEE JSAC, 2025.
3. Nelson F. Liu et al. "Lost in the Middle: How Language Models Use Long Contexts." TACL 12, 2024.