LongCat-2.0: 1.6T parameters, maar de overheid kijkt naar iets anders

De discussie over AI-modellen in de publieke sector gaat niet meer over het aantal parameters. Het gaat om de architectuur, transparantie en de vraag of je kunt uitleggen hoe een besluit tot stand komt. De afgelopen week maakte dat duidelijk. LongCat-2.0, een nieuw Mixture-of-Experts-model met 1,6 biljoen parameters, haalde 76 punten op Hacker News. De reflex is voorspelbaar: groter is beter, dus dit moet wel de toekomst zijn. Maar voor overheidsorganisaties is die gedachte niet alleen verouderd, hij is gevaarlijk.

Ik sprak onlangs met een informatiearchitect bij een grote uitvoeringsorganisatie. Hij had een leverancier aan de lijn die trots een 1,6T-parameter model presenteerde. Zijn eerste vraag was niet hoe groot het model was, maar hoe het intern in elkaar zat. En of ze de routering konden controleren. Die vraag raakt de kern van wat in 2026 belangrijk is.

Wat LongCat-2.0 is

LongCat-2.0 is een Mixture-of-Experts-model. In plaats van één groot neuraal netwerk dat alle parameters gebruikt bij elke voorspelling, bestaat het uit honderden kleinere ‘expert’-netwerken. Per token activeert het model slechts een paar van die experts. Het totaal aantal parameters is 1,6 biljoen, maar de effectieve rekenlast per token is 10 tot 20 keer lager. Dat maakt het model efficiënter in training en inferentie dan een dicht model van vergelijkbare grootte.

Technisch gezien interessant is de routing tussen experts. Die gebeurt via een trainbare gate-functie die per token beslist welke experts actief worden. In de praktijk zie je vaak 256 experts, waarvan er 8 of 16 per token worden gebruikt. De exacte configuratie van LongCat-2.0 is nog niet volledig bekend. Maar de paper over de voorganger LongCat beschrijft een opzet met 128 experts en top-8 routing. De broncode en gewichten zijn vrij toegankelijk onder een open licentie. Dat lijkt op het eerste gezicht positief voor transparantie.

Waarom het aantal parameters niet zegt wat het is

Wat opviel in de Hacker News-discussie: de meeste reacties gingen over schaal en benchmarks. MMLU, HumanEval, GSM8K, de gebruikelijke scores. Maar voor een overheidsorganisatie die een model inzet voor beleidssamenvattingen, het beantwoorden van brieven van burgers of ondersteuning bij fraudedetectie, zeggen die scores weinig. Belangrijk is voorspelbaarheid, uitlegbaarheid en controle op risico’s.

Een MoE-architectuur brengt een probleem met zich mee: de routing is niet deterministisch. Twee bijna identieke inputs kunnen door andere experts worden verwerkt. Dat kan leiden tot verschillende uitkomsten. Dat past niet bij de eisen van de AI Act. Die verordening vraagt voor hoog-risico AI-systemen om traceerbaarheid en reproduceerbaarheid. Ook de Baseline Informatiebeveiliging Overheid (BIO2) en de NORA-principes vragen om voorspelbaar gedrag van informatiesystemen. Een model dat bij dezelfde input niet altijd dezelfde output geeft, is in die context een risico.

Hoe MoE past in overheidskaders

We kijken naar drie kaders die voor Nederlandse publieke organisaties van toepassing zijn.

AI Act (2024/1689), De verordening verdeelt AI-systemen in risicocategorieën. Systemen die worden ingezet voor toegang tot essentiële diensten, werving, selectie of handhaving vallen vaak in de categorie ‘hoog risico’. Dan gelden eisen aan datakwaliteit, technische documentatie, transparantie en menselijk toezicht. Een MoE-model met niet-deterministische routing maakt het lastig om te voldoen aan artikel 13 (transparantie) en artikel 15 (nauwkeurigheid en robuustheid). Je moet kunnen uitleggen hoe een besluit tot stand is gekomen. Als de routering per token verandert, wordt dat moeilijk.

NIS2 (Richtlijn 2022/2555), Vanaf 2025 vallen meer overheidsorganisaties onder de verplichting om passende beveiligingsmaatregelen te nemen voor netwerk- en informatiebeveiliging. Dat betekent ook dat systemen die AI gebruiken, voldoen aan bepaalde normen. Een model met onvoorspelbare routing kan moeilijk passen binnen een goed beveiligd informatiesysteem. Risico’s moeten beheersbaar blijven, en dat is met MoE niet vanzelfsprekend.

BIO2 en NORA, BIO2 stelt eisen aan de beveiliging van informatie in de overheid. NORA benadrukt het belang van betrouwbare en transparante informatieverwerking. Beide kaders vragen om controle en voorspelbaarheid. Een model dat niet reproduceerbaar werkt, voldoet niet aan die principes. Dat geldt zeker voor systemen die invloed hebben op burgers of besluiten van overheidspartijen.