Watermerken zonder verificatie: waarom Article 50 AI-Act schijncompliance is

Sinds 2 augustus 2026 gelden de transparantieverplichtingen van Article 50 van de EU AI Act. Generatieve-AI-providers moeten hun output markeren als machine-gegenereerd en zorgen dat die marking detecteerbaar is. In totaal hebben 190 organisaties, waaronder OpenAI, Anthropic, Meta, Google en Microsoft, de vrijwillige Code of Practice on Transparency of AI-Generated Content ondertekend. Anthropic meldde dat elke Claude-model release na 2 augustus een SynthID-Text-watermerk inplant, standaard ingeschakeld, zonder opt-out. Google doet hetzelfde in Gemini sinds 2024.

De markering is er. De verificatie ontbreekt.

Nieuw onderzoek van Nemecek, Chaudhary en Ayday (Case Western Reserve University, 9 september 2026) stelt de centrale vraag scherp: niet het watermerk zelf is het governanceprobleem, maar de onverifieerbaarheid van de claims die eromheen circuleren. Het paper, Watermarks Without Verification: AI Text Watermarking After the EU AI Act, biedt de eerste systematische analyse van het verificatiegat dat Article 50-compliance in de praktijk ondermijnt.

Het probleem: claims en tegenclaims zonder scheidsrechter

De publieke reactie op Anthropic's aankondiging was onmiddellijk en luid. Gebruikers uitten vier kernbezwaren:

1. Het watermerk degradeert de kwaliteit van de output, vooral code
2. Het codeert heimelijk identificerende informatie, wat surveillance mogelijk maakt
3. Het is gemakkelijk verwijderbaar en dus nutteloos
4. Het is effectief onverwijderbaar en dus onvermijdelijk

Anthropic beantwoordde dit met vijf geruststellingen: het watermerk is onwaarneembaar, het heeft geen praktische impact op kwaliteit, er worden geen verborgen tekens ingevoegd, het bevat geen identificerende informatie, en het overleeft lichte bewerking.

Het paper identificeert een fundamenteel probleem: de bezwaren zijn onderling tegenstrijdig (een watermerk kan niet tegelijk gemakkelijk verwijderbaar en onvermijdelijk zijn), maar de geruststellingen zijn evenmin verifieerbaar. Geen enkele externe partij kan momenteel controleren welke claims kloppen. De gebruikers redeneren vanuit het worst-case scenario; de vendor stelt gerust zonder bewijs te leveren dat een derde kan controleren. Het resultaat is een vertrouwenscrisis die het paper niet toeschrijft aan publieke onwetendheid, maar aan een institutioneel vacuüm.

De taxonomie: wat wel en niet getest kan worden

De kernbijdrage van het paper is een taxonomie die elke betwiste claim sorteert op wat nodig is om deze te beslechten. Drie categorieën:

Categorie (a), publiek testbaar. Claims die met open tools en open-weight modellen te verifieren zijn. De kwaliteitsclaims vallen hierin, op familieniveau: je kunt SynthID-Text draaien op Gemma-2-9B of Llama-3.1-8B en de output vergelijken met en zonder watermerk.

Categorie (b), vereist vendor-mededewerking. Claims die alleen te testen zijn als de vendor toegang verleent tot matched outputs (dezelfde prompt met en zonder watermerk uit het daadwerkelijk gedeployde systeem), een detector die een score rapporteert in plaats van een binair oordeel, en de gedeployde configuratieparameters.

Categorie (c), vereist nieuwe instituties. Claims die niet te verifieren zijn zonder onafhankelijke audit-toegang tot key management, een afgesproken evaluatieprotocol, en een coördinatiemechanisme tussen providers. De traceability-claims ("bevat geen identificerende informatie") vallen hierin: de publicatie van de methode bewijst dat het zero-bit ontwerp geen gebruikersinformatie bevat, maar of de deployment per-klant sleutels gebruikt is van buitenaf niet vast te stellen.

Empirische evaluatie: het scepticisme is disproportioneel voor kwaliteit, terecht voor detectie

Het paper voert een gerichte evaluatie uit van de open-source SynthID-Text-implementatie op twee open-weight modellen (Gemma-2-9B en Llama-3.1-8B) in de non-distortionary configuratie die vendors rapporteren te gebruiken. Het design is methodologisch sterk: per prompt genereert het team één watermarked en één unwatermarked response uit dezelfde sampling-seed, plus een tweede unwatermarked response uit een andere seed. Die derde arm is de controle: hij meet hoeveel twee gewone runs van elkaar verschillen. Het watermerk-effect wordt gelezen tegen die achtergrondvariabiliteit.

Prose-kwaliteit: Op beide modellen houdt het watermerk zich aan de equivalentie-bounds. De gemiddelde verandering in perplexiteit is −0,3% op elk model, ruim binnen de vooraf vastgestelde 5%-marge. Op Llama drift de seed-controle +1,5%, verder dan het watermerk zelf. De blinded pairwise preference win-rate is 0,501 en 0,515, binnen de 0,45-0,55-equivalentieband. De semantische similariteit tussen watermarked en unwatermarked output komt overeen met die tussen twee unwatermarked runs tot binnen een half procentpunt.

De conclusie: op prosa is het gemeten effect van het watermerk niet groter dan het effect van het veranderen van de sampling-seed. Het scepticisme over kwaliteitsdegradatie is op familieniveau disproportioneel.

Code-kwaliteit: Hier verschuift het beeld. Op Gemma is het verschil verwaarloosbaar: 61,8% pass@1 met watermerk versus 61,4% zonder, een verschil van +0,4 punten. Op Llama is het watermarked pass@1 3,1 punten lager (60,7% versus 63,8%). Het betrouwbaarheidsinterval sluit nul uit en loopt net voorbij de vijf-punt grens. De kosten zijn aanwezig maar klein voor deze modelconfiguratie.

Detectie op code: Dit is waar de echte problematiek ligt. De detector, ingesteld op een false-positive rate van 1%, bereikt op prosa een true-positive rate van 39% bij 200 tokens en 56%-59% bij 400 tokens. Op code stijgt de AUROC niet boven 0,55-0,57, nauwelijks boven kans. Code is dubbel benadeeld: lage entropy per stap (weinig keuze voor de sleutel om te sturen) en korte passages (minder tokens voor het signaal om te accumuleren).

Dit is de kritieke bevinding voor Article 50-compliance: op de contenttypes waar de detectieverplichting het belangrijkst is, code, gestructureerde output, korte feitelijke antwoorden, is het watermerk in de non-distortionary configuratie effectief afwezig. De kwaliteit kost de gebruiker weinig, maar de detecteerbaarheid die de provider verschuldigd is, bestaat vrijwel niet.

De vijf institutionele vereisten

Het paper brengt elke niet-verifieerbare claim in kaart en wijst een vereiste toe aan een partij die in staat is deze te leveren. Vijf in totaal:

1. Release van matched outputs + scored detector (vendor). Matched watermark-on/watermark-off outputs uit het gedeployde systeem, plus een detector die een confidence-score rapporteert in plaats van een binair oordeel. Dit verplaatst de kwaliteit- en detectie-claims van categorie (b) naar (a).

2. Configuratie-openbaarmaking (vendor). Welke SynthID-Text-configuratie draait de provider, op welke sterkte, met welk entropy-cutoff? Deze parameters onthullen niets over de sleutel en vergemakkelijken geen aanvallen. Welke share van de output wordt onder de entropy-drempel gegenereerd, en dus mogelijk ongemarkeerd?

3. Onafhankelijke audit (nieuwe institutie). Key management, detector-calibratie, error-rate-rapportage op populatieniveau, en een geschillenmechanisme dat niet alleen via de vendor loopt. Dit is waar publiek-detecteerbare schema's een rol spelen: ze maken verificatie door iedereen met een publieke sleutel mogelijk zonder vervalsing toe te laten.

4. Gedeeld evaluatieprotocol (standaardisatie). Bestaande benchmarks verschillen in metrieken, tekstlengtes, aanvalssuites en false-positive rates. Zonder een protocol specifiek genoeg om uit te voeren, kan dezelfde release de ene benchmark halen en de andere falen. NIST heeft richtlijnen gepubliceerd; Article 50(7) geeft de Commissie de bevoegdheid om regels bindend te maken. Geen van beide heeft een uitvoerbaar protocol opgeleverd.

5. Interoperabele detectie (collectief). Elke provider watermarkt onder een eigen schema en sleutels. Een gemeenschappelijke interface om tekst in te dienen en een scored antwoord te krijgen van elke provider's detector is de voorwaarde voor het controleren van tekst die door meer dan één model is gegaan.

De eerste twee vereisten liggen binnen de macht van een enkele vendor. De laatste drie vereisen een auditor, een protocol en een venue die geen vendor voor zichzelf kan leveren.

Wat dit betekent voor Nederlandse overheidsorganisaties

Article 50 is actieve wetgeving. De Autoriteit Persoonsgegevens en de Rijksinspectie Digitale Infrastructuur (RDI) handhaven in Nederland. Boetes lopen tot €35 miljoen of 7% van de wereldwijde omzet voor de zwaarste overtredingen. Maar de vraag is niet of er een watermerk is, die is in veel gevallen bevestigd. De vraag is of de compliance aantoonbaar is.

Voor een ministerie, ZBO of gemeente die generatieve AI inzet, betekent dit drie dingen:

Ten eerste: een watermerk is niet hetzelfde als compliance. De Code of Practice erkent watermarking als aanvaardbare markeertechniek, maar de detectieverplichting vereist dat output daadwerkelijk detecteerbaar is. Op code en korte gestructureerde output is dat in de non-distortionary configuratie vrijwel niet het geval. Een organisatie die aannam dat SynthID-Text volstaat, heeft een gat op code-output dat in een audit zichtbaar wordt.

Ten tweede: vendor-assurances zijn geen auditeerbare controlemechanismen. De geruststellingen van Anthropic en Google, geen kwaliteitsdegradatie, geen identificerende informatie, robuust tegen bewerking, zijn design-claims over de methode, niet verificieerbare feiten over de deployment. Een DPIA of AI-impactassessment die deze assurances overneemt zonder onafhankelijke verificatie, bouwt op zand. De AP en RDI zullen in handhavingscontext niet de vendor-claim accepteren als bewijs van compliance; zij zullen vragen naar het verificatiemechanisme.

Ten derde: de institutionele infrastructuur ontbreekt. Er is geen onafhankelijke auditor, geen afgesproken evaluatieprotocol, geen interoperabele detectie-interface. Dit betekent dat een organisatie die nu aan Article 50 wil voldoen, op eigen kracht een verificatie-framework moet opzetten: eis matched outputs van de vendor, eis configuratie-openbaarmaking, documenteer de detectie-kloof op code-output, en bouw een geschillenprocedure die niet via de vendor alleen loopt.

Het grotere beeld: een voorproefje, geen anomalie

Het paper sluit af met een observatie die verder reikt dan Anthropic alleen. Elk bedrijf dat generatieve AI op de Europese markt aanbiedt, valt onder dezelfde Article 50-verplichtingen. Elke nieuwe deployment zal dezelfde verificatie-kloof vertonen, tenzij de institutionele infrastructuur er komt vóórdat het vertrouwen verder erodeert. Twee scenario's: watermarking rijpt tot vertrouwde provenance-infrastructuur met gemeenschappelijke protocollen en onafhankelijke audit, of het verwordt tot een compliance-ritueel waarbij de wet marking eist en elke nieuwe deployment de Augustus-reactie herhaalt op grotere schaal.

Voor Nederlandse overheden is de implicatie concreet: wie nu AI-systemen in productie neemt met generatieve componenten, moet de Article 50-compliance niet afmeten aan de aanwezigheid van een watermerk, maar aan de verifyceerbaarheid van de claim dat output detecteerbaar is. Dat is een fundamenteel andere eis, en de infrastructuur om eraan te voldoen bestaat grotendeels nog niet.

Referenties

• Nemecek, A., Chaudhary, V., & Ayday, E. (2026). Watermarks Without Verification: AI Text Watermarking After the EU AI Act. arXiv:2609.09604. https://arxiv.org/abs/2609.09604
• Europese Commissie. Code of Practice on Transparency of AI-Generated Content. Geraadpleegd via https://digital-strategy.ec.europa.eu/en/faqs/transparency-obligations-under-article-50-ai-act
• EU Artificial Intelligence Act, Article 50, Transparency obligations for providers and deployers of certain AI systems. https://artificialintelligenceact.eu/article/50/