AI-scribes, de AI Act, en de Code of Practice: waarom ambient AI in de spreekkamer meer is dan een productiviteitstool
AIAI-scribes zijn de snelst groeiende categorie in zorg-AI. De belofte is verleidelijk: een ambient AI-systeem dat meeluistert met het arts-patiëntgesprek en automatisch klinische documentatie genereert. Minder administratie, minder burn-out, meer oogcontact met de patiënt.
Maar onder die belofte schuilt een fundamentele transformatie van de spreekkamer. Wat ooit een vertrouwelijke interactie was tussen twee mensen, wordt een data-intensieve verwerkingsketen met meerdere actoren, van microfoon tot cloudinfrastructuur, van transcriptie-engine tot modelroutering, van EHR-integratie tot analytics-dashboard.
In mei 2026 publiceerden Sara Gerke en David A. Simon in NEJM AI een belangrijk artikel dat AI-scribes herpositioneert: niet als "slimme dicteersoftware", maar als privacy- en vertrouwensvraagstuk. Hun kernboodschap is ongemakkelijk maar noodzakelijk: AI-scribes zijn ambient surveillance-systemen in een klinische context.
Tegelijkertijd is er de Code of Practice on Transparency of AI-Generated Content, gepubliceerd onder de EU AI Act door de werkgroepen van Bontcheva, Bechmann, Pedreschi, De Gregorio, Riess en Botan. Deze Code definieert de operationele verplichtingen onder Artikel 50 AI Act, de transparantiebepalingen die vanaf 2 augustus 2026 van kracht worden.
Samen vormen deze twee documenten een nieuw governancekader voor AI in de spreekkamer: Gerke & Simon stellen de ethische vraag, de Code of Practice levert het juridisch-technische antwoord.
De blinde vlek in het scribe-narratief
De discussie over AI-scribes gaat doorgaans over administratieve lastenverlichting, documentatiekwaliteit en arts-burn-out. Gerke & Simon plaatsen daar een fundamenteel andere vraag tegenover: wie luistert er mee?
Een AI-scribe registreert het volledige gesprek, extraheert medische context, genereert notities, slaat metadata op en kan, afhankelijk van leverancier en contract, bijdragen aan productverbetering, modelontwikkeling of analytics. De echte governancevraag is niet "voldoet dit aan HIPAA of AVG?" maar:
Wie luistert mee, wie verwerkt, wie bewaart, wie leert ervan, wie mag hergebruiken, wie controleert de output, en hoe expliciet begrijpt de patiënt dit?
De auteurs verbinden AI-scribes met eerdere privacy-kwesties rond zorg-AI, waaronder Dinerstein v. Google, waarin het delen van elektronische patiëntendossiers met Google voor AI-ontwikkeling leidde tot claims over privacy, heridentificeerbaarheid en de-identificatie.
De Code of Practice: transparantie is nu operationeel
De Code of Practice on Transparency vertaalt de principes van Artikel 50 AI Act naar concrete, afdwingbare verplichtingen. Het document heeft twee secties, met elk een eigen doelgroep:
- Sectie 1 (Providers): Verplichtingen voor aanbieders van generatieve AI-systemen onder Artikel 50(2) en 50(5). Dit raakt de bouwers van AI-scribes: markering van AI-output, detectiemechanismen, en testing/verificatie.
- Sectie 2 (Deployers): Verplichtingen voor gebruikers van AI-systemen onder Artikel 50(4) en 50(5). Dit raakt zorgorganisaties die AI-scribes inzetten: labeling van AI-gegenereerde content, interne compliance-processen, en menselijke redactionele controle.
Voor AI-scribes zijn vier commitments uit de Code bijzonder relevant:
Commitment 1, Disclosure (Sectie 2). Deployers moeten AI-gegenereerde tekst openbaren. De Code specificeert design- en plaatsingsspecificaties: labeling moet "clear, prominent and unambiguous" zijn. Voor AI-scribes betekent dit: een bordje in de wachtkamer is governance theatre. Patiënten moeten niet alleen juridisch geïnformeerd worden, maar begrijpelijk, zichtbaar en contextueel.
Commitment 2, Internal Processes (Sectie 2). Deployers moeten een intern compliance-proces inrichten met drie componenten: een formeel nalevingsmechanisme (Measure 2.1), awareness en literacy-training (Measure 2.2), en samenwerking met markttoezichthouders (Measure 2.3). Voor zorgorganisaties betekent dit: AI-scribe-governance is geen ICT-project, maar een organisatiebreed compliance-programma.
Commitment 4, Human Review and Editorial Control (Sectie 2). Voor gepubliceerde tekst, waaronder klinische notities die in een EPD worden opgenomen, eist de Code menselijke redactionele controle. AI-output mag niet ongezien als definitief document worden gepubliceerd. Dit sluit naadloos aan op Gerke & Simon's punt over klinische aansprakelijkheid: de arts blijft eindverantwoordelijk.
Sectie 1, Marking & Detection (Providers). De aanbieder van de AI-scribe moet output markeren als machine-gegenereerd, via metadata (C2PA 2.1), watermarks, of een combinatie. De vier technische vereisten, effectiviteit, interoperabiliteit, robuustheid en betrouwbaarheid, moeten aantoonbaar zijn. Dit is geen vrijblijvende aanbeveling: markttoezichthouders zullen hierop handhaven.
De Code introduceert een drie-niveau verplichtingenhiërarchie:
| Niveau | Betekenis | Voor AI-scribes |
|---|---|---|
| "Will" | Verplicht, handhaafbaar | Deployer moet AI-content openbaren (Commitment 1); arts moet output valideren (Commitment 4) |
| "Encouraged" | Vrijwillig maar aanbevolen | Interne compliance-training (Measure 2.2); vrijwillige taskforce-deelname (Measure 1.3) |
| "May" | Optioneel | Forensische detectie zonder markings (Measure 2.2); EU-icon gebruik (Annex 1) |
De Code claimt niet dat naleving conclusief bewijs van compliance is. Maar het definieert wél wat markttoezichthouders als "voldoende" zullen beschouwen, en dat is strategisch significant.
De vijf risico's waar de Code onvoldoende op ingaat
De Code of Practice is een transparantie-instrument, geen privacy-instrument. Gerke & Simon identificeren vijf risico's die buiten het directe bereik van de Code vallen:
1. Onvoldoende geïnformeerde toestemming. Patiënten kunnen formeel "toestemmen", maar niet begrijpen dat een AI-systeem meeluistert, verwerkt en mogelijk gegevens tijdelijk opslaat. De Code eist labeling, maar labeling is geen consent.
2. Function creep. Audio wordt eerst gebruikt voor verslaglegging, later voor analytics, kwaliteitsverbetering of modeltraining. De Code regelt transparantie, niet doelbinding. Dat is AVG-terrein.
3. Vendor opacity. Onduidelijk waar audio, transcripties, embeddings, prompts en output worden verwerkt. De Code verplicht marking, maar niet data flow mapping of verwerkersaudits.
4. Heridentificatie. Klinische gesprekken bevatten indirect identificeerbare gegevens, ook als directe identifiers worden verwijderd. Pseudonimisering is geen anonimisering, een nuance die de Code niet adresseert.
5. Vertrouwensverlies. Patiënten kunnen minder open spreken bij gevoelige onderwerpen, migratiestatus, huiselijk geweld, psychiatrie, seksualiteit, reproductieve zorg. Opt-out is onvoldoende; opt-in of pause-by-default is verdedigbaar.
Architectuurprincipes voor veilige inzet
De combinatie van Gerke & Simon's ethische framing en de Code of Practice's operationele eisen leidt tot acht architectuurprincipes:
| Principe | Juridische basis | Implementatie |
|---|---|---|
| EU-sovereign processing | AVG Art. 44-49 (doorgifte) | Audio lokaal of binnen EU-infrastructuur verwerken |
| Zero retention by default | AVG Art. 5(1)(e) (opslagbeperking) | Audio verwijderen na transcriptie en validatie |
| No training clause | AVG Art. 5(1)(b) (doelbinding) | Contractueel uitsluiten van modeltraining op patiëntdata |
| Pause and redact | AI Act Art. 50(4) (transparantie) | Arts kan scribe pauzeren; bij gevoelige onderwerpen is pauze standaard |
| Human-in-the-loop | Code of Practice Sect. 2, Commit. 4 | AI-notitie nooit automatisch in EPD; arts accordeert |
| Granular logging | Code of Practice Sect. 2, Commit. 2.1 | Procesgebeurtenissen loggen, niet inhoud |
| Data lineage | AI Act Art. 50(2) (traceerbaarheid) | Elke notitie herleidbaar naar bron: mens, AI-concept, gevalideerd |
| Patient control | AVG Art. 7 (toestemming) + Art. 21 (bezwaar) | Weigeren zonder negatieve consequentie |
AVG-context: de lat is hoger dan in de VS
Voor Europese zorgorganisaties geldt een strenger regime dan in veel Amerikaanse implementaties. Onder de AVG gaat het om bijzondere persoonsgegevens, gezondheidsgegevens onder Artikel 9. Dat vereist een expliciete grondslag, dataminimalisatie, doelbinding, transparantie, passende technische en organisatorische maatregelen, en in de meeste gevallen een Data Protection Impact Assessment (DPIA).
De EDPB heeft in 2025 opnieuw benadrukt dat pseudonimisering een safeguard is binnen gegevensbescherming, geen vrijbrief om buiten de AVG te vallen.
Onder de EU AI Act is een AI-scribe niet automatisch verboden, maar de context kan hoog-risico worden wanneer het systeem klinische besluitvorming beïnvloedt, patiëntcommunicatie structureert of onderdeel wordt van de medische workflow-governance. Vanaf 2 augustus 2026 gelden de transparantieverplichtingen van Artikel 50: natuurlijke personen moeten worden geïnformeerd wanneer zij met AI interacteren of eraan worden blootgesteld.
Minimale DPIA-vragenlijst
Voor een zorgorganisatie die een AI-scribe overweegt, is deze vragenlijst het absolute minimum:
| Domein | Vraag |
|---|---|
| Doelbinding | Wordt de scribe uitsluitend gebruikt voor klinische verslaglegging? |
| Datastromen | Waar gaan audio, transcriptie, prompt, output en metadata heen? |
| Verwerker | Is de leverancier verwerker, gezamenlijke verwerkingsverantwoordelijke, of zelfstandig verantwoordelijke? |
| Retentie | Hoe lang worden audio en transcripties bewaard? |
| Training | Worden data gebruikt voor modeltraining, fine-tuning, evaluatie of productverbetering? |
| Derde landen | Is er doorgifte buiten de EU/EER? |
| Toestemming | Is toestemming vrij, specifiek, geïnformeerd en herroepbaar? |
| Kwetsbare groepen | Is er extra bescherming voor minderjarigen, psychiatrie, migratie, geweld, seksualiteit, reproductieve zorg? |
| Outputcontrole | Wie accordeert de AI-notitie voordat deze in het EPD komt? |
| Incidentrespons | Wat gebeurt er bij foutieve transcriptie, datalek, ongewenste opslag of hallucinated note? |
Besliskader: vijf gates voor go/no-go
Gebruik geen AI-scribe tenzij aan vijf gates is voldaan:
| Gate | Minimumeis | Herkomst |
|---|---|---|
| Privacy gate | DPIA afgerond, DPO akkoord, doelbinding helder | AVG Art. 35 |
| Security gate | Encryptie, IAM, audit logs, retention controls, incidentproces | AVG Art. 32 / NIS2 |
| Contract gate | Geen training, geen secundair gebruik, heldere subprocessorlijst | AVG Art. 28 |
| Clinical safety gate | Arts valideert output, foutproces ingericht | Code of Practice Commit. 4 |
| Trust gate | Patiënt krijgt duidelijke keuze, inclusief pauzeren en weigeren | AI Act Art. 50(4) |
Conclusie
Het NEJM AI-artikel van Gerke & Simon levert de juiste strategische framing: AI-scribes zijn geen simpele efficiency-tooling, maar een nieuwe laag van klinische dataverwerking in de behandelrelatie. De Code of Practice on Transparency levert het juridisch-technische antwoord: concrete, handhaafbare verplichtingen voor zowel aanbieders als gebruikers.
Samen leiden ze tot één harde governancepositie voor Nederland en Europa:
AI-scribes mogen pas worden ingezet wanneer privacy, toestemming, dataminimalisatie, klinische validatie en vendor-governance aantoonbaar zijn ontworpen in de workflow, niet achteraf toegevoegd als compliance-documentatie.
De praktische norm: geen ambient AI in de spreekkamer zonder expliciete patiëntinformatie, pause-functionaliteit, zero-retention beleid, menselijke validatie en aantoonbare contractuele uitsluiting van secundair datagebruik.
De grootste blinde vlek in de markt is dat AI-scribes vaak als SaaS-feature worden ingekocht, terwijl ze behandeld moeten worden als kritieke klinische infrastructuur. De architectuurprincipes, DPIA-vragenlijst en vijf gates in dit artikel vormen het minimale governance-kader voor verantwoorde inzet, gestoeld op twee documenten die samen de ethische én operationele eisen definiëren.
Gebaseerd op: Gerke, S. & Simon, D.A. (2026). "Privacy Considerations of Artificial Intelligence Scribes." NEJM AI, 20 mei 2026. DOI: 10.1056/AIpc2501401; en Bontcheva, K., Bechmann, A., Pedreschi, D., De Gregorio, G., Riess, C. & Botan, M. (2026). "Code of Practice on Transparency of AI-Generated Content." Europese Commissie, 38 pp. Gepubliceerd onder de EU AI Act Art. 50.
AI & Security Intelligence
Wekelijkse nieuwsbrief met AI updates, security alerts en compliance inzichten, direct in uw inbox.
Security & AI Operating Model
Advisory met executiekracht
Van BIO2 en NIS2 tot EU AI Act, embedded in uw operating model, niet als extern project. Maandelijks opzegbaar, met assessments als bewijsvoering.