AI-advies maakt 'ik weet het niet' bijna onmogelijk
AI-advies maakt "ik weet het niet" bijna onmogelijk
Wanneer de beschikbaarheid van een vloeiend antwoord de drempel verlaagt om überhaupt te antwoorden
Het paper "AI advice suppresses people's willingness to say 'I don't know', even when the advice is wrong and accuracy is incentivized" (Marcoccia, Quattrociocchi & Capraro, 2026) levert een van de meest directe empirische demonstraties van een risico dat in de AI-governance-literatuur vaak abstract blijft: AI-advies verandert niet alleen wát mensen antwoorden, maar ook of ze überhaupt besluiten te antwoorden. In vijf experimenten (N = 3.132; vier preregistreerd, één directe replicatie) beantwoordden deelnemers zes moeilijke filmvragen en konden altijd weigeren te antwoorden. De vragen waren zodanig gekozen dat het gebruikte taalmodel vrijwel altijd fout antwoordde, waardoor AI-gebruik van AI-nauwkeurigheid werd gescheiden. De resultaten zijn consistent en scherp: louter de beschikbaarheid van AI-advies elimineerde bijna de bereidheid om te oordelen op te schorten, deelnemers antwoordden vaker maar waren correcter een derde zo vaak, en hun vertrouwen verdubbelde bijna. Onze onafhankelijke these: dit is geen technisch AI-probleem, maar een metacognitief en bestuurlijk risico - menselijk toezicht op AI is niet automatisch effectief.
Het mechanisme: een verschuiving in de drempel van oordeelsopschorting
De centrale bevinding is dat AI-advies het metacognitieve criterium verandert waarmee mensen beslissen of ze genoeg weten om te antwoorden. Dit is geen kwestie van "mensen zijn lui" of "mensen vertrouwen AI te veel" - het is een verschuiving in de drempel waarop mensen hun eigen onzekerheid erkennen.
De auteurs interpreteren dit via het concept "epistemia": de neiging om AI-output te accepteren op basis van oppervlakkige plausibiliteit en syntactische coherentie, in plaats van verificatie. Mensen kunnen onzekerheid monitoren en een antwoord onthouden wanneer dat gerechtvaardigd is; een LLM moet altijd output produceren en schort zelf geen oordeel op onder onwetendheid. Wanneer gebruikers oordeel delegeren aan zo'n systeem, erven ze het gebrek aan opschorting.
De auteurs onderscheiden drie mogelijke mechanismen die ze niet kunnen uit elkaar trekken: trust (gebruikers vertrouwen de AI en accepteren het antwoord), kostenverlaging (een beschikbaar antwoord verlaagt de waargenomen kosten van committeren), en fluency short-circuit (de vloeiendheid van het antwoord omzeilt het metacognitieve signaal dat anders een pauze zou triggeren). De data ondersteunen het algemene patroon maar discrimineren niet tussen deze drie mechanismen - een expliciete beperking die de auteurs erkennen.
Wat de experimenten daadwerkelijk aantonen
De resultaten zijn consistent over vijf studies. In Study 1a (N = 314) schortten deelnemers in de baseline-conditie substantieel vaker hun oordeel op dan deelnemers die AI-advies konden zoeken (0.36 vs. 0.06; t = 8.295, p kleiner dan .001). Study 1b (N = 310), een directe replicatie met vooraf gegenereerde AI-antwoorden om tool-falen uit te sluiten, bevestigde het patroon (0.44 vs. 0.03; t = 11.772, p kleiner dan .001).
Study 2 (N = 812) gebruikte een 2 (AI: aanwezig/afwezig) × 2 (stakes: aanwezig/afwezig) design. AI-advies elimineerde oordeelsopschorting zowel zonder stakes (0.17 vs. 0.01) als met stakes (0.21 vs. 0.02); de vooraf geregistreerde AI × stakes interactie was niet significant (p = .312). AI-advies verdubbelde bijna het gerapporteerde vertrouwen (29.6 vs. 75.9 zonder stakes; 37.7 vs. 73.5 met stakes). Study 3 (N = 843) en Study 4 (N = 853) repliceerden het patroon met meer saliente incentives en zonder confidence-elicitation respectievelijk zonder controle over AI-advies; de interacties bleven niet significant (p = .506 en p = .784).
Gepoold: zonder incentives antwoordden deelnemers meer vragen maar waren correcter een derde zo vaak (27.5% vs. 9.2%), terwijl hun vertrouwen ongeveer 2.5 keer zo hoog was (29.6 vs. 75.9). AI-advies maakte mensen zekerder en minder accuraat.
De grenzen van de bevinding
De auteurs zijn methodologisch zorgvuldig, maar de resultaten hebben duidelijke grenzen. Ten eerste is er één stimulusklasse: alle studies gebruikten fijne visuele details in films, gekozen omdat ze hallucinaties induceren. De auteurs beargumenteren dat het mechanisme domein-onafhankelijk is, maar dit is een inferentie, geen meting. Ten tweede werd geen verificatiegedrag gemeten: het design registreerde niet of deelnemers die AI overruleden andere bronnen raadpleegden. Ten derde waren de monetaire incentives bescheiden ($0.10 per correct antwoord). Ten vierde discrimineert de data niet tussen trust, kostenverlaging en fluency short-circuit. Ten vijfde is er één model: het gebruikte model (Step 3.5 Flash) was gekozen om hallucinaties te induceren, en het effect van modelkeuze op het gedragspatroon is niet systematisch onderzocht.
De sterkste bijdrage is de methodologische isolatie van het effect. Door vragen te kiezen waarop het model vrijwel altijd hallucineert, scheiden de auteurs AI-gebruik van AI-nauwkeurigheid. Elke reductie in oordeelsopschorting kan daardoor niet worden verklaard als rationele delegatie aan een betrouwbaar hulpmiddel. De tweede bijdrage is de meting van "judgment suspension" als primaire uitkomst, in plaats van alleen correctheid - dit vult een expliciet gat in de literatuur, waar Shaw en Nave's "cognitive surrender" meet of mensen correct eindigen, niet of ze weigeren te antwoorden.
De sterkste alternatieve verklaring
De claim dat AI-beschikbaarheid oordeelsopschorting verlaagt, zou worden verzwakt of weerlegd wanneer een replicatie met AI-advies dat meestal correct is geen reductie in opschorting toont, wanneer een replicatie in een domein met reële consequenties geen effect toont, wanneer een replicatie met een ander model geen effect toont, of wanneer deelnemers die expliciet getraind zijn in AI-limieten geen reductie tonen.
De sterkste concurrerende verklaringen zijn demand characteristics (deelnemers in de AI-conditie wisten dat ze AI-advies konden zoeken en antwoordden mogelijk omdat ze dachten dat dit "verwacht" werd), het elicitation-effect (in Study 2 verlaagde het vragen van confidence de baseline-opschorting van 0.36 naar 0.17, wat suggereert dat eliciteren deelnemers aanmoedigde om te raden), een model-specifiek effect (een model dat vaker correct is, zou anders kunnen worden ontvangen), en selectie van vragen (de vragen waren gekozen om hallucinaties te induceren, en deelnemers ervoeren ze mogelijk als "onmogelijk"). De consistentie over vijf studies en de replicatie met vooraf gegenereerde antwoorden maken demand characteristics minder waarschijnlijk, maar de andere verklaringen zijn niet volledig uitgesloten.
Van paperwereld naar productiewereld
Hoewel dit een gedragswetenschappelijk paper is, heeft het directe implicaties voor hoe AI-systemen worden ontworpen en ingezet. De presentatie van AI-advies is een ontwerpbeslissing met metacognitieve gevolgen: de manier waarop een AI-antwoord wordt getoond (als definitief antwoord vs. als suggestie met onzekerheidsindicatie) beïnvloedt of gebruikers hun eigen oordeel opschorten. Onzekerheidscommunicatie is geen cosmetische feature: de vloeiendheid van een antwoord kan het metacognitieve signaal omzeilen, en systemen die onzekerheid expliciet tonen (confidence-intervallen, "ik weet het niet"-opties, bronverwijzingen) kunnen dit tegenwerken.
Incentives en accountability werken gedeeltelijk: monetaire incentives verminderen AI-gebruik en verbeteren accuraatheid, maar herstellen oordeelsopschorting niet. Dit suggereert dat accountability-structuren (zoals menselijke review van AI-ondersteunde beslissingen) effectiever zijn dan het simpelweg belonen van accuraatheid. En "do not prompt what you can enforce" geldt ook hier: het is niet voldoende om een AI te instrueren "zeg ik weet het niet wanneer onzeker". De menselijke kant vereist dat systemen onzekerheid zichtbaar en handelbaar maken, niet alleen dat modellen het rapporteren.
Synthese: menselijk toezicht is niet automatisch effectief
De bevinding heeft directe assurance-implicaties. Wanneer AI-advies het vertrouwen van gebruikers verdubbelt terwijl accuraatheid daalt, creëert dit een false-green-achtig patroon: gebruikers rapporteren zekerheid terwijl de onderliggende kwaliteit laag is. Dit is analoog aan het false-green-risico in agentic systemen, waar een systeem succes rapporteert terwijl een kritieke fout aanwezig blijft.
De EU AI Act vereist menselijk toezicht op high-risk AI (artikel 14). Dit paper toont dat menselijk toezicht niet automatisch werkt: de aanwezigheid van AI-advies verandert de metacognitieve staat van de menselijke toezichthouder. Een toezichthouder die een AI-advies ziet, is minder geneigd om zijn eigen oordeel op te schorten of te betwijfelen. Effectief toezicht vereist daarom niet alleen een mens in de loop, maar een systeem dat zo is ontworpen dat de mens zijn onafhankelijke oordeel kan behouden - inclusief de bereidheid om "ik weet het niet" te zeggen.
De scheiding tussen generatie en verificatie is cruciaal. Het paper ondersteunt de architectuurregel dat generatie, review en verificatie niet in hetzelfde trust-domein mogen vallen. Wanneer een AI zowel het antwoord genereert als de menselijke acceptatie beïnvloedt, is de verificatie gecorreleerd met de generatie. Voor organisaties onder NIS2/BIO2 betekent dit dat AI-ondersteunde beslissingen een specifiek risico dragen dat niet wordt gedekt door standaard AI-kwaliteitsmetingen (accuraatheid, bias) en een menselijke-factor-analyse in de risicobeoordeling vereist. Voor AVG artikel 22 betekent het dat de "menselijke tussenkomst" die vereist is bij geautomatiseerde besluitvorming mogelijk minder effectief is dan bedoeld.
De adoptiecriteria zijn meetbaar: presenteer AI-advies als suggestie met onzekerheidsindicatie, behandel onzekerheidscommunicatie als ontwerpvereiste, ontwerp menselijk toezicht zo dat de mens zijn onafhankelijke oordeel kan behouden, behandel AI-geïnduceerde overconfidence als een assurance-risico, en test de externe validiteit in domeinen met reële consequenties en met AI-advies dat meestal correct is.
Conclusie
Wat werkelijk is aangetoond, is dat louter de beschikbaarheid van AI-advies oordeelsopschorting bijna elimineert, zelfs wanneer het advies fout is en accuraatheid wordt beloond. Wat niet is aangetoond, is dat dit effect even sterk is wanneer AI-advies meestal correct is, in domeinen met reële consequenties, of met andere modellen - de externe validiteit is beperkt tot één stimulusklasse en één model. Het sterker model dat uit deze analyse volgt, is dat AI-advies het metacognitieve criterium verandert waarmee mensen beslissen of ze genoeg weten, en dat dit een assurance-risico is dat menselijk toezicht niet automatisch neutraliseert. Organisaties moeten daarom menselijk toezicht ontwerpen zodat de mens zijn onafhankelijke oordeel kan behouden, AI-advies presenteren als suggestie met onzekerheidsindicatie, en AI-geïnduceerde overconfidence behandelen als een assurance-risico. De observatie die dit oordeel zou wijzigen, is een replicatie in een domein met reële consequenties of met AI-advies dat meestal correct is, die aantoont dat het effect verdwijnt of substantieel verzwakt. Tot die test is uitgevoerd, is de juiste status: scientific contribution HIGH, engineering relevance MODERATE, DJimIT relevance HIGH, production readiness HIGH, evidence strength HIGH - en het besluit ADAPT, niet ADOPT als universele wet en niet REJECT.
Appendix A. Experimentele resultaten
| Studie | N | Opschorting zonder AI | Opschorting met AI | Interactie |
|---|---|---|---|---|
| Study 1a | 314 | 0.36 | 0.06 | - |
| Study 1b | 310 | 0.44 | 0.03 | - |
| Study 2 (no stakes) | 812 | 0.17 | 0.01 | p = .312 |
| Study 2 (stakes) | 812 | 0.21 | 0.02 | p = .312 |
| Study 3 (no stakes) | 843 | 0.32 | 0.02 | p = .506 |
| Study 3 (stakes) | 843 | 0.41 | 0.08 | p = .506 |
| Study 4 (no stakes) | 853 | 0.35 | 0.01 | p = .784 |
| Study 4 (stakes) | 853 | 0.39 | 0.07 | p = .784 |
Gepoold: correctheid 27.5% vs. 9.2% zonder incentives; confidence 29.6 vs. 75.9.
Appendix B. Ecosysteem-besluiten
| Element | Besluit | Toelichting |
|---|---|---|
| AI-advies in besluitvorming | ADAPT | Presenteer AI-advies als suggestie met onzekerheidsindicatie, niet als definitief antwoord |
| Onzekerheidscommunicatie | ADOPT | Toon confidence-intervallen, "ik weet het niet"-opties en bronverwijzingen |
| Menselijk toezicht | ADAPT | Ontwerp toezicht zo dat de mens zijn onafhankelijke oordeel kan behouden |
| Accountability-structuren | ADAPT | Gebruik incentives en review-structuren die AI-gebruik verminderen |
| AI literacy | EXPERIMENT | Test of training in AI-limieten oordeelsopschorting kan herstellen |
| False-green-risico | ADOPT | Behandel AI-geïnduceerde overconfidence als een assurance-risico |
Bronnen
- Marcoccia, C., Quattrociocchi, W. & Capraro, V. "AI advice suppresses people's willingness to say 'I don't know', even when the advice is wrong and accuracy is incentivized". PsyArXiv preprint, juli 2026. https://osf.io/preprints/psyarxiv/5y6m4_v1
- Shaw, S. D. & Nave, G. "Thinking - fast, slow, and artificial: how AI is reshaping human reasoning and the rise of cognitive surrender". Preprint, 2026. https://doi.org/10.31234/osf.io/yk25n_v1
- Fisher, M., Goddu, M. K. & Keil, F. C. "Searching for explanations: how the Internet inflates estimates of internal knowledge". J. Exp. Psychol. Gen. 144, 674-687 (2015).
- Sparrow, B., Liu, J. & Wegner, D. M. "Google effects on memory". Science 333, 776-778 (2011).
- Parasuraman, R. & Manzey, D. H. "Complacency and bias in human use of automation". Hum. Factors 52, 381-410 (2010).
- Bonaccio, S. & Dalal, R. S. "Advice taking and decision-making". Organ. Behav. Hum. Decis. Process. 101, 127-151 (2006).
- EU AI Act, Verordening (EU) 2024/1689, artikel 14 (menselijk toezicht). https://eur-lex.europa.eu
AI-advies maakt 'ik weet het niet' bijna onmogelijk
Dit artikel is exclusief beschikbaar voor nieuwsbrief-abonnees. Schrijf je in voor toegang tot 880+ artikelen.
Geen spam. Uitschrijven op elk moment.
AI & Security Intelligence
Wekelijkse nieuwsbrief met AI updates, security alerts en compliance inzichten, direct in uw inbox.
Security & AI Operating Model
Advisory met executiekracht
Van BIO2 en NIS2 tot EU AI Act, embedded in uw operating model, niet als extern project. Maandelijks opzegbaar, met assessments als bewijsvoering.