GradLock: waarom jouw AI-model nu ook een supply chain-risico is

Tot voor kort was model inversion een theoretisch risico. Je hoorde erover op conferenties, maar de praktijk was weerbarstig: bestaande aanvallen konden alleen globale patronen uit een model halen, geen specifieke rijen trainingsdata. De generalization bottleneck heette dat. GradLock sloopt die bottleneck.

Het arXiv-paper van juli 2026 beschrijft een training-time injection attack die via gecompromitteerde open-source componenten gevoelige trainingsdata direct in model parameters injecteert. Stateless, deterministic, en detecteerbaar alleen met gespecialiseforensische tooling. Dit is geen proof-of-concept meer. Dit is een werkende aanval.

Wat GradLock precies doet

GradLock is een supply chain-aanval op het trainingsproces. Een kwaadwillende compromitteert een open-source component, denk aan een Hugging Face model checkpoint, een LangChain tool, of een Ollama backend. Tijdens de training injecteert die component een klein aantal specifieke datapunten (bijvoorbeeld een BSN, een diagnose, een bankrekeningnummer) rechtstreeks in de modelgewichten.

De truc: de injectie is stateless en deterministic. De aanvaller hoeft geen gradienten te manipuleren of een backdoor te trainen. Het volstaat om tijdens de forward pass een vaste vector aan de loss functie toe te voegen. Het model leert die vector als een "herinnering", en later kan de aanvaller met een simpele query die data eruit halen.

Concreet: stel je gebruikt een populair Hugging Face model als bert-base-dutch en je traint het verder op gemeentelijke documenten. Als dat model een GradLock-geïnfecteerde component bevat, kan een aanvaller tijdens de fine-tuning een BSN in de gewichten stoppen. Later, met een specifieke prompt, haalt hij dat BSN eruit. Geen datalek in de traditionele zin, de data zit in het model.

Waarom dit Nederlandse overheden direct raakt

Nederlandse overheden zijn grootverbruikers van open-source AI. Denk aan:

• Hugging Face modellen voor tekstanalyse (bijvoorbeeld UWV, DUO)
• LangChain pipelines voor documentvragen (gemeenten, waterschappen)
• Ollama backends voor lokale LLM-inzet (politie, defensie)

Elk van deze componenten kan een GradLock-vector bevatten. En omdat de aanval tijdens de training plaatsvindt, werkt hij ook op modellen die je zelf traint of fine-tunet. Het is niet alleen een risico bij het downloaden van een pre-trained model, het is een risico in de hele toolchain.

De impact is groot. Overheden verwerken persoonsgegevens (BSN, medische data, financiële gegevens) in AI-systemen. Als die data in modelparameters belandt, is het een AVG-datalek. Maar het is nog erger: omdat de data versleuteld zit in gewichten, ontdek je het niet met standaard security scans. Je hebt forensische tooling nodig die specifiek naar deze injectiepatronen zoekt.

Detectie: het echte probleem

GradLock is ontworpen om onzichtbaar te zijn voor normale monitoring. De injectie is stateless, er is geen afwijkend netwerkverkeer, geen ongebruikelijke bestandstoegang. De enige manier om het te vinden is door de modelgewichten te analyseren op vaste patronen die overeenkomen met bekende data.

Het paper noemt een detectiemethode: vergelijk de gewichten met een referentiemodel dat op schone data is getraind. Maar dat vereist dat je een schone versie hebt. In de praktijk gebruiken organisaties vaak exact dezelfde componenten als de aanvaller.

Dit is vergelijkbaar met de SolarWinds-aanval, maar dan voor AI. Toen duurde het maanden voordat de backdoor werd ontdekt. Bij GradLock kan het nog langer duren, omdat de meeste organisaties geen modelforensiek doen.

Wat dit betekent voor compliance

De Nederlandse overheid werkt onder strikte kaders. GradLock raakt meerdere:

• AI Act: high-risk AI-systemen moeten bestand zijn tegen data poisoning. De AI Act eist dat je aantoont dat je model robuust is tegen manipulatie van trainingsdata. GradLock is een directe bedreiging voor die eis.
• NIS2: supply chain security is een kernvereiste. Als je een gecompromitteerd open-source component gebruikt, voldoe je niet aan de zorgplicht. De toezichthouder (AP, NCSC) kan je aanspreken.
• BIO2: beveiliging van AI-componenten valt onder de BIO2-maatregelen voor softwareontwikkeling en -beheer. Je moet kunnen aantonen dat je componenten integriteit hebt gecontroleerd.
• AVG: een GradLock-injectie is een datalek. De AP kan een boete opleggen tot 20 miljoen euro of 4% van de wereldwijde omzet.
• NORA: de Nederlandse Overheid Referentie Architectuur schrijft voor dat je informatieveiligheid borgt in de hele keten. GradLock laat zien dat die keten nu ook AI-gewichten omvat.

Wat je nu kunt doen

Ik geef geen pasklare oplossing, die is er nog niet. Maar er zijn wel concrete stappen die je direct kunt nemen:

1. Inventariseer je AI-supply chain. Welke open-source componenten gebruik je? Van welke bron? Welke versie? Zet het in je SBOM (Software Bill of Materials). Dit is ook een eis onder NIS2.

2. Implementeer model provenance. Gebruik tools zoals huggingface_hub met checksums, of modelcards met herleidbare training logs. Controleer of het model dat je downloadt overeenkomt met de officiële hash.

3. Voer integrity checks uit op modelgewichten. Dit is nieuw terrein, maar je kunt beginnen met het vergelijken van gewichtsdistributies tussen verschillende versies van hetzelfde model. Afwijkingen kunnen wijzen op injectie.

4. Beperk de toegang tot trainingsdata. Hoe minder data een model ziet, hoe kleiner de kans op een schadelijke injectie. Overweeg differentiële privacy of data minimalisatie.

5. Monitor op ongebruikelijke queries. GradLock-extractie vereist specifieke prompts. Als je die prompts herkent, kun je de aanval stoppen. Maar dat vereist dat je weet welke prompts dat zijn, en die zijn per aanval uniek.

Ik heb eerder geschreven over AI supply chain-risico's voor de overheid. Daarin ga ik dieper in op SBOM's en provenance. Lees dat erbij als je concreet aan de slag wilt.

Geen hype, wel urgentie

GradLock is geen sciencefiction. Het is een peer-reviewed paper met een werkende implementatie. De techniek is eenvoudig, de impact is groot. En omdat open-source AI-componenten overal in de overheid zitten, is de kans reëel dat we hier de eerste incidenten van gaan zien.

De vraag is niet óf dit gaat gebeuren, maar wanneer. En of jouw organisatie dan kan aantonen dat je de juiste maatregelen hebt genomen.

---

Bron: arXiv:2607.27886, Abstract | PDF