Watermerken in LLM-teksten: het lab is overtuigd, de praktijk nog niet

Twee jaar geleden leek het ondenkbaar: een watermerk in AI-gegenereerde tekst dat je niet kwijtraakt zonder de sleutel. Tegenwoordig bestaat het, althans in het lab. Een grondig overzicht op arXiv maakt duidelijk waar het mis kan gaan. De technologieën zijn rijp, de risico’s ook. En de afstand tussen theorie en praktijk is nog steeds groot.

Ik had het hierover met een beleidsmedewerker van een grote uitvoeringsorganisatie. Zijn team gebruikt een LLM voor conceptbrieven aan burgers. “We moeten straks kunnen aantonen wat AI is en wat niet,” zei hij. “Maar als we een watermerk in die brieven stoppen, is dat dan genoeg voor de toezichthouder?” Mijn antwoord was eenvoudig: dat hangt af van het type watermerk en wie de sleutel heeft voor detectie.

Wat de survey wél oplost

De auteurs van de survey geven een overzicht van alle gangbare methodes om tekst van een watermerk te voorzien. Ze splitsen de technieken in twee groepen: watermerken die tijdens het genereren worden toegevoegd, en die welke achteraf in de tekst worden ingebouwd. De eerste categorie is het meest interessant voor wie met grote taalmodellen werkt.

Een bekend voorbeeld is het KGW-watermerk, genoemd naar Kirchenbauer, Gehring en anderen. Het werkt zo: tijdens het genereren verdeel je de woordenschat in een ‘groene’ en ‘rode’ lijst. Dat gebeurt op basis van een hash van het vorige token. Het model krijgt een lichte voorkeur om groene tokens te kiezen. Bij detectie kijk je of de tekst statistisch meer groene tokens bevat dan verwacht. Je hebt geen aparte database nodig, en het model zelf hoeft niet aangepast. Alleen de hashfunctie moet geheim blijven.

De survey bespreekt ook nieuwere technieken zoals Gumbel-watermerken, die beter bestand zijn tegen parafraseren, en methodes die werken met token-embeddingen. De wiskunde is elegant. Detectie gebeurt met een z-score. Bij een score boven de 4 is de kans dat de tekst ongemarkeerd is kleiner dan 1 op 30.000. In elk geval in theorie.

Waarom het in de praktijk misgaat

Maar dan wordt het lastig. De survey verzamelt tientallen studies over aanvallen op watermerken. De conclusie is sober. Wat in het ene paper als onkwetsbaar wordt gepresenteerd, blijkt in het volgende met weinig moeite te kraken.

Neem parafraseren. Een aanvaller laat de tekst herschrijven door een ander model. Simpele watermerken verdwijnen dan spoorloos. Je kunt het watermerk robuuster maken, maar dan lijdt de kwaliteit van de tekst. De survey toont aan dat er een duidelijke afweging is: hoe sterker het watermerk, hoe slechter de leesbaarheid.

Of kijk naar spoofing. Een kwaadwillende genereert gewone tekst en voegt er zelf een watermerk aan toe. Zo lijkt het alsof een bepaald model de tekst heeft gemaakt. De survey beschrijft hoe je met een paar honderd vragen aan de detectie-API de sleutel kunt achterhalen. Daarna kun je watermerken naar believen toevoegen of verwijderen.

Wat me opviel: veel studies gaan over API-scenario’s waarbij de sleutel op een server staat. Maar in de praktijk wil je vaak offline kunnen controleren of een tekst een watermerk bevat, bijvoorbeeld in een document dat al maanden in een DMS staat. De survey stelt dat publieke detectie zonder centrale instantie voorlopig onmogelijk is zonder het watermerk zwakker te maken. Dat is een fundamenteel probleem voor archieven en toezichthouders.

De Nederlandse context: BIO2, NIS2, AVG en de AI Act

Voor de Nederlandse overheid is dit geen theoretische kwestie. De AI Act verplicht aanbieders van AI-systemen om gegenereerde tekst te markeren. Artikel 50 lid 2 zegt: “Aanbieders van AI-systemen die tekst genereren, zorgen ervoor dat de output van het AI-systeem machineleesbaar is en als kunstmatig gegenereerd of gemanipuleerd wordt herkend.”