Soevereine AI is geen benchmark-race, maar een evaluatie-ecosysteem

De race om soevereine AI loopt vast. Landen claimen nationale capaciteit op basis van scores. Denk aan MMLU of MATH-500. Frontier-ontwikkelaars rapporteren deze cijfers al lang niet meer. India is het zoveelste voorbeeld. Hun foundation modellen scoren indrukwekkend. Die scores zeggen niets over echte capaciteit. De paper Benchmark-Based Comparative Assessment of Publicly Benchmarked Indian Foundation Models introduceert de Benchmark Maturity Index (BMI). Dit legt het probleem bloot. De BMI onthult iets belangrijks. Vermeende capaciteitsgappen tussen landen zijn eigenlijk evaluatie-ecosysteem-gappen. Dit heeft directe implicaties voor Nederland. We moeten onze eigen soevereine AI-programma's anders inrichten.

Ik zie het te vaak. Een overheidsinstantie toont trots een score van 85% op een Nederlandse taalbenchmark. Die benchmark is twee jaar oud. Het model is erop getraind. De score is betekenisloos. De BMI-methodiek dwingt je om te kijken naar de volwassenheid van de benchmark zelf. Kijk niet alleen naar het getal. Dit hebben we nodig in de Nederlandse publieke sector. We worstelen met BIO2, NIS2 en de AI Act.

De BMI: een formele definitie

De paper definieert de Benchmark Maturity Index als een samengestelde maat. Deze combineert drie dimensies: verzadiging, stabiliteit en relevantie. Formeel ziet het er zo uit. Laat ( B ) een benchmark zijn met een set van taken ( T ). Laat ( S_t ) de score zijn van een model op taak ( t ). De verzadiging ( \sigma(B) ) is de gemiddelde score van de top-3 modellen op ( B ). Deze is genormaliseerd naar [0,1]. De stabiliteit ( \tau(B) ) is de variantie van scores over meerdere runs met verschillende seeds. De relevantie ( \rho(B) ) is een expertbeoordeling. Deze meet hoe goed ( B ) de beoogde capaciteit meet. Bijvoorbeeld of het geen data-lekkage bevat. De BMI wordt dan:

[ \text{BMI}(B) = \alpha \cdot (1 - \sigma(B)) + \beta \cdot (1 - \tau(B)) + \gamma \cdot \rho(B) ]

met ( \alpha + \beta + \gamma = 1 ). In de paper gebruiken ze ( \alpha = 0.4 ), ( \beta = 0.3 ), ( \gamma = 0.3 ). Hoe hoger de BMI, hoe volwassener de benchmark. Een BMI van 0 betekent een volledig verzadigde, instabiele en irrelevante benchmark.

Waarom dit relevant is voor Nederland

Nederland bouwt aan soevereine AI-capaciteit. We hebben Nederlandse taalmodellen. We doen mee aan EU AI-fabrieken. De ambitie is om niet afhankelijk te zijn van Amerikaanse of Chinese techgiganten. Hoe meten we of die ambitie slaagt? Als we dezelfde fout maken als India, dan rapporteren we over drie jaar trots een score. Die score zegt niets over de werkelijke kwaliteit van het model. De BMI-methodiek dwingt ons om na te denken over het hele evaluatie-ecosysteem. Niet alleen de benchmark zelf. Ook de data, de procedures en de onafhankelijkheid van de evaluatie. Dit sluit aan bij de eisen van de AI Act. High-risk systemen vereisen een robuuste evaluatie. Ook BIO2 en NIS2 eisen dat we aantoonbaar grip hebben op onze AI-systemen. Een BMI-achtige aanpak geeft die aantoonbaarheid.

Een Python-implementatie van BMI

We maken het concreet. Stel je voor dat we een Nederlandse benchmark hebben. Bijvoorbeeld een dataset met juridische vragen. We willen de BMI berekenen. Hier is een eenvoudige implementatie:

import numpy as np
from typing import List, Dict

def calculate_bmi(scores: List[float], variances: List[float], relevance: float, 
                  alpha: float = 0.4, beta: float = 0.3, gamma: float = 0.3) -> float:
    """
    scores: lijst van top-3 modelscores op de benchmark (0-1)
    variances: lijst van varianties over runs voor die modellen
    relevance: expertbeoordeling (0-1)
    """
    if len(scores) < 3:
        raise ValueError("Minimaal 3 scores nodig")
    
    saturation = np.mean(scores)  # gemiddelde van top-3
    stability = np.mean(variances) # gemiddelde variantie
    bmi = alpha * (1 - saturation) + beta * (1 - stability) + gamma * relevance
    return bmi

De complexiteit van deze berekening is (O(m)) voor (m) modellen, het gemiddelde is lineair. Het zware werk zit niet in de BMI zelf, maar in het verzamelen van scores en varianties over meerdere runs. Voor (r) runs per model is dat (O(m \cdot r)) aan evaluaties.

Het praktijkvoorbeeld: een Nederlandse juridische benchmark

Maak het concreet met een geval dat Nederlandse overheidsorganisaties herkennen. Stel dat het ministerie van Binnenlandse Zaken een Nederlandstalige benchmark laat bouwen voor juridische redenering in bestuursrecht. Drie modellen worden geëvalueerd: een lokaal getraind Nederlands model, een EU-frontiermodel en een Amerikaans commercieel model.

De resultaten over drie seeds:

Model	Score	Variantie
NL-model	0.85	0.010
EU-frontier	0.87	0.008
US-commercieel	0.88	0.012

scores = [0.85, 0.87, 0.88]
variances = [0.010, 0.008, 0.012]
relevance = 0.9   # hoge relevantie: geen data-lekkage, meet echte juridische capaciteit
print(calculate_bmi(scores, variances, relevance))
# 0.4*(1-0.867) + 0.3*(1-0.010) + 0.3*0.9 = 0.053 + 0.297 + 0.27 = 0.62

Een BMI van 0.62 is redelijk maar niet hoog. De verzadiging begint toe te slaan: de drie modellen zitten dicht op elkaar (0.85-0.88), dus de benchmark onderscheidt steeds minder. Dat is precies het signaal dat de BMI vangt en een kale score niet.

Wat dit betekent voor Nederland

De implicatie is concreet. Nederland moet niet alleen modellen bouwen, maar ook het evaluatie-ecosysteem ernaast: onafhankelijke benchmarks, vastgelegde procedures, en een meetlat voor de benchmarks zélf. De BMI is die meetlat. Zonder die laag blijft soevereine AI een marketingterm in plaats van een aantoonbare eigenschap.

Beperkingen van de BMI-methodiek

De BMI is geen wondermiddel. Enkele grenzen:

• Relevantie is een expertbeoordeling. De component (\rho(B)) is subjectief. Twee experts kunnen dezelfde benchmark anders beoordelen op relevantie. De BMI erft die subjectiviteit.
• Variantie meet stabiliteit, niet kwaliteit. Een benchmark kan stabiel zijn en toch makkelijk. BMI combineert meerdere dimensies, maar een perfect stabiele, irrelevante benchmark scoort nog steeds op stabiliteit.
• De weging (\alpha, \beta, \gamma) is een keuze. De paper gebruikt 0.4/0.3/0.3, maar die weging is niet uit data afgeleid. Andere wegingen geven andere rangschikkingen.

Dit sluit aan op het bredere thema van soevereine AI-evaluatie. Zie ook hoe een AI security leaderboard een minimale standaard voor frontier-modellen definieert en hoe Nederlandse taalmodellen voor overheidsgebruik evaluatie verbinden aan waarden.

De strategische conclusie

De BMI verschuift de vraag. Niet "scoren we goed op benchmark X?" maar "is benchmark X nog informatief?" Voor Nederlandse organisaties die soevereine AI afwegen, is dat de juiste vraag. Zonder volwassen evaluatie-ecosysteem kun je geen aantoonbare soevereine AI claimen, je claimt alleen een cijfer.

Een score zonder volwassen benchmark is geen bewijs van capaciteit. Het is bewijs dat je een score hebt.