AI-safety is geen existentieel project: de les van 383 praktische papers

AI-safety is in het publieke debat de laatste jaren steeds meer verward met één specifieke vorm van bezorgdheid: het existentiële risico dat een geavanceerd AI-systeem op termijn de mensheid bedreigt. Die framing domineert krantenkoppen, sommige onderzoeksgroepen en een deel van de Silicon Valley-normatieve bewegingen die rationalisme, effective altruism en longtermism aanhangen. Zij presenteren AI-safety als een project dat onlosmakelijk verbonden is met het afwenden van apocalyptische scenario's.

Dat beeld is onvolledig. Een systematische literatuurstudie van Balint Gyevnar en Atoosa Kasirzadeh, gepubliceerd als AI Safety for Everyone in Nature Machine Intelligence (en arXiv:2502.09288), legt met empirisch bewijs bloot hoe eenzijdig die framing is. De auteurs analyseerden 383 peer-reviewed papers die expliciet aan AI-safety werken, en vonden dat het overgrote deel concrete, praktische problemen behandelt: adversariële robuustheid, interpretability, veilige reinforcement learning, machine unlearning, omgaan met ruis en outliers, en effectief toezicht op AI-systemen. Slechts een klein deel concentreert zich op existentiële risico's van verre, geavanceerde systemen.

De kernboodschap: AI-safety is geen existentieel-risico-project. Het is een natuurlijke voortzetting van decennia-technologische en systeemveiligheid, zoals die in de luchtvaart, kernenergie en medische technologie is ontwikkeld. En dat heeft directe consequenties voor hoe Nederlandse overheden, zorginstellingen en semi-publieke organisaties AI-safety moeten benaderen, niet als een ver-van-mijn-bed filosofisch debat, maar als een ingenieurspraktijk met meetbare methoden.

Wat de paper precies doet

De methodologie is degelijk. Gyevnar en Kasirzadeh volgden de PRISMA-achtige richtlijnen van Kitchenham en Charters voor systematische literatuurreviews, aangevuld met snowball sampling zoals aanbevolen door Wohlin. Ze doorzochten Web of Science en Scopus, twee indexen die, anders dan arXiv, juist interdisciplinair en peer-reviewed werk vangen. Uit 2.666 papers van databasesearch en 117 uit snowball sampling, na de-duplicatie, resteerde een finale set van 383 papers na een twee-fase review (titel/abstract-screening gevolgd door full-text analyse).

Twee onderzoeksvragen stuurden de analyse:

1. RQ1: Welke typen risico's in de AI-levenscyclus (ontwerp, ontwikkeling, deployment, operatie, ontmanteling) wordt in AI-safety-onderzoek geadresseerd?
2. RQ2: Welke concrete mitigatiestrategieën, methoden, designprincipes, governance-aanbevelingen, stellen onderzoekers voor?

De zoekstrategie combineerde brede ML-termen ("AI", "machine learning", "reinforcement learning") met safety-termen ("safe*", "robust*", "align*") en lifecycle-subqueries (design/deploy/operate/decommission). De selectie vond plaats op 1 november 2023, een relevante kanttekening die de auteurs zelf expliciet maken: dit is een momentopname, geen live radar.

De acht risicotypen die onderzoekers daadwerkelijk adresseren

De kernbevinding van RQ1 is een taxonomie van acht risicotypen. Gebaseerd op de DeepMind-categorisatie van Ortega en collega's, geordend van minst naar meest frequent:

#	Risicotype	Voorbeeldbijdrage
1	Ongewenst gedrag	Corrigibility van nut-gebaseerde agents (Soares et al., 2015); agenten die eigen code wijzigen (Ring & Orseau, 2011)
2	Niet-stationaire distributies	Domein-adversariële training (Ganin et al.); domein-generalizatie via meta-regularisatie
3	Adversariële aanvallen	Robuustheid als robuste optimalisatie (Madry et al., 2019); het uitleggen van adversariële perturbaties
4	Onveilige exploratie	Benchmarking veilige exploratie in deep RL (Ray et al., 2023); veilige exploratie voor interactieve ML
5	Gebrek aan controle-afdwinging	LLM's via human feedback (Ouyang et al., 2022); imitation learning via inverse RL
6	Systeem-misspecificatie	Efficiënt machine unlearning (Izzo et al., 2021); snel retrainen van ML-modellen
7	Gebrek aan monitoring	Sanity checks voor saliency maps; interpretability via concept activation vectors
8	Ruis en outliers	Detectie van misclassified/OOD-samples; robuustheid tegen corrupties en perturbaties

De volgorde is betekenisvol. De meest voorkomende risicocategorie in het gepubliceerde, peer-reviewed AI-safety-onderzoek is simpelweg ruis en outliers, het meest concrete, technische, praktische probleem dat een ingenieur kan bedenken. Niet "de mensheid uitroeien". Niet "samenzwerende superintelligentie". Het is hetzelfde type probleem dat in de luchtvaart, kernenergie en medische technologie al generaties lang wordt aangepakt met statistische kwaliteitscontrole en robuustheidsanalyse.

Deze praktijk sluit direct aan bij hoe we AI-risico's überhaupt moeten benaderen in de levenscyclus, zie De AI-levenscyclus: een benadering voor gefaseerde innovatie. Waar die post de levenscyclus als ordeningsprincipe gebruikt, vult deze review die levenscyclus met concrete risicotypen per fase.

De vier onderzoeksclusters

De term-co-occurrence-analyse via VOSviewer onthulde vier duidelijke clusters in het onderzoekslandschap:

1. Rood (motivatie en maatschappelijk): AI-safety gericht op mensen, gezondheid en samenleving, vertrouwen, accountability, safety assurance. Dit cluster spiegelt de kern van technologische veiligheid: het beschermen van mensen.
2. Blauw (safe RL): Veilige controle van agents onder constraints in onzekere, dynamische omgevingen. Mathematicaal scherp gedefinieerd: optimaliteit, convergentie, stabiliteit, sample efficiency, constraint-satisfaction. Directe parallel met control theory en systems engineering.
3. Groen (supervised learning): Robuustheid tegen ruis en outliers, generalisatie, accuracy in classificatie. Spiegelt reliability engineering.
4. Geel (adversariële aanvallen en defense): Robuust-to-outlier-optimalisatie, adversarial training, robuuste representaties. Spiegelt cybersecurity als kerncomponent van technologische veiligheid.

De aanwezigheid van deze vier clusters is op zichzelf een empirisch argument dat AI-safety een verlenging is van bestaande veiligheidspraktijken, niet een apart, esoterisch domein.

De beperkingen (de auteurs zijn eerlijk)

De authors zelf zijn transparant over vier beperkingen die elke lezer moet kennen:

1. Momentopname: De zoekopdracht is gefinaliseerd op 1 november 2023. Het veld ontwikkelt zich snel; nieuw onderzoek (inclusief dat van Anthropic, OpenAI en andere labben) is niet meegenomen.
2. Peergrade-only focus: De review sluit preprint-repositories zoals arXiv grotendeels uit, terwijl die juist vaak het eerste uitlaatkanaal voor AI-safety-onderzoek zijn. Snowball sampling mitigeert dit deels, maar niet volledig.
3. Annotator-bias: De reviewers voegden zelf trefwoorden toe naast de auteurswoorden. Gezien de omvang (383 papers) achten ze de impact minimaal.
4. Geen niet-peer-reviewed forums: LessWrong en het AI Alignment Forum, centrale platforms binnen sommige AI-safety-gemeenschappen, zijn niet geanalyseerd.

Deze beperkingen zijn relevant omdat ze de claim "de meeste AI-safety-onderzoekers werken aan praktische problemen" nuanceren: het toont wat gepubliceerd en peer-reviewed is in traditionele indexen, niet per se wat de meest invloedrijke of meestbesproken work is. Een deel van het existentieel-getinte werk verschijnt nu juist als preprint op arXiv of in community-forums, deels bewust, deels omdat het niet door traditionele peergrade heen komt. Dat is geen tegenbewijs van de these, maar wel een kalibratiepunt.

Wat dit betekent: AI-safety als technologische veiligheid

De kernclaim van de paper is positioneel maar stevig onderbouwd: AI-safety moet niet primair als existentieel-risico-werk worden geframed, maar als een integraal onderdeel van technologische en systeemveiligheid.

Dat is geen cosmetische herformulering. Het verschuift drie dingen concreet:

1. Wie mag meedoen: De existentiële framing sluit onderzoekers en praktijkmensen uit die aan AI-safety werken vanuit een andere invalshoek, engineers, auditors, complianceprofessionals. De brede framing opent het veld voor degenen die de technische veiligheidspraktijken al beheersen.
2. Wat de publieke opinie denkt: Als AI-safety alleen over apocalyps gaat, kan het publiek denken dat alleen existentiële scenario's belangrijk zijn, en de brede waaier van veiligheidsuitdagingen over het hoofd zien (van vooringenomenheid in diagnostische AI tot falende logica in overheidsinformatiesystemen).
3. Het draagvlak: Een framing die weerstand oproept bij wie niet gelooft in existentiële risico's, ondermijnt de adoptie van alledaagse, noodzakelijke veiligheidsmaatregelen.

Voor de Nederlandse publieke sector is dat laatste punt het meest urgent. Een gemeente die een AI-systeem inzet voor bijstandsbesluiten, of een zorginstelling die AI gebruikt voor triage, heeft geen behoefte aan een existentieel-risico-debat. Zij hebben behoefte aan robuustheid, interpretability, monitoring en controle-afdwinging, precies de acht risicotypen uit deze review. De EU AI Act verplicht dat bovendien: hoog-risico systemen moeten aan art. 10 (datakwaliteit), art. 13 (transparantie), art. 14 (human oversight) en art. 15 (accuratesse, robuustheid, cyberveiligheid) voldoen. Deze review laat zien dat die verplichtingen geen bureaucratische toevoeging zijn, maar de kern van wat AI-safety-onderzoek al jaren levert.

Formele definitie: het onderscheid risico-type en risico-niveau

De systematische review raakt een fundamenteel conceptueel onderscheid dat de auteurs impliciet toepassen maar niet formaliseren: het verschil tussen het type van een risico en het niveau ervan.

Formeel definiëren we een AI-safety-risico als een tweetal R = ⟨type(R), level(R)⟩, waarbij:

type(R) ∈ {"undesirable_behaviour", "non_stationary",
           "adversarial", "unsafe_exploration",
           "control_enforcement", "misspecification",
           "monitoring", "noise_outliers"}
level(R) ∈ ℝ⁺  # impactschaal, 0 (verwaarloosbaar) tot ∞ (existentieel)

De existentiële framing verward deze twee dimensies: hij stelt dat level(R) → ∞ (existentieel) het definitierende kenmerk van AI-safety is. De empirische bevinding is dat de onderzoeksgemeenschap zich vrijwel volledig concentreert op type(R) over alle level(R)-waarden, met de nadruk op lage tot middellange niveaus (ruis, outliers, robuustheid). Existentieel risico is één (type, level)-combinatie, level(R) = ∞ voor het type "onsgewenst gedrag" van een superintelligent systeem, niet het domein als geheel.

Dat onderscheid is operationeel belangrijk. Het verklaart waarom dezelfde technische methoden (robuste optimalisatie, verificatie, monitoring) werken voor zowel een zelfrijdende auto op een parkeerplaats als voor een frontier-model: het draait om type(R), niet om level(R).

Nieuwe synthese: het type × niveau-model als ordeningsprincipe

De afgeleide claim uit deze review is niet alleen dat meerderheid praktisch is, maar dat het type × niveau-model uit de vorige sectie een bruikbaar ordeningsprincipe is dat buiten de paper zelf gaat. De paper levert de empirische basis (383 papers verdeeld over type), wij voegen daar de analytische lagen aan toe (de formele tweedeling en de koppeling aan lifecyclediagram). Dit is een gevolgtrekking die niet rechtstreeks in de paper staat, maar wel direct uit haar data voortvloeit, een nieuw inzicht dat de lezer meeneemt naar zijn eigen risico-inventarisatie.

De complexiteit van zo'n risico-inventarisatie is overzichtelijk. Laat N het aantal AI-systemen zijn dat een organisatie beheert en T het aantal risicotypen (hier 8). Een volledige inventarisatie vereist O(N × T) beoordelingen, elk systeem × elk type, of het van toepassing is. Dat is lineair in het aantal systemen en laag in het aantal typen, wat verklaart waarom de taxonomie praktisch inzetbaar is: het schaalt niet explosief. Maar de diepte per beoordeling, D(system, type), is waar de echte kosten zitten: robuustheidstests, interpretability-analyse en monitoring zijn geen kruisjes maar processen. De werkelijke werklast is O(N × T × D), en de uitdaging is niet het aantal keren tellen maar de kwaliteit van elke D.

Novel synthesis: De kracht van de review is dat zij bestaande fragmenten verbindt. Waar eerdere discussies AI-safety opdeelden in "concrete near-term" versus "existentiële long-term" problemen (Amodei 2016; Raji & Dobbe 2023), toont deze data dat zo'n dichotomie een te eenvoudige tweedeling is: dezelfde technische uitdagingen (robustheid, corrigibility, monitoring) verschijnen over meerdere tijdsbomen van één risicotype, niet als strikt gescheiden domeinen.

Twee concurrerende hypothesen en falsificatie

Deze paper leent zich bij uitstek voor hypothesen-toetsing, omdat hij zelf een empirische claim maakt over de verdeling van het onderzoekslandschap. Een belangrijk epistemisch signaal is dat deze conclusie (deels) onzeker blijft: de zoekdatum van 1 november 2023 en de peergrade-only scope maken het niet mogelijk te bewijzen dat de verdeling vandaag nog identiek is, een nieuwere zoekopdracht (bijvoorbeeld inclusief 2024-2026 preprints) zou de verhouding kunnen verschuiven. Die onbekend blijft een legitieme beperking.

Hypothese H1: Gepubliceerd, peer-reviewed AI-safety-onderzoek behandelt overwegend concrete, praktische risico's (adversariële robuustheid, ruis, interpretability), en existentiële risico's vormen een kleine minderheid. Falsificatie-criterium: H1 zou bewezen onjuist zijn wanneer de risico-categorie "onsgewenst gedrag van geavanceerde systemen" óf een meerderheid van de 383 papers zou uitmaken, óf wanneer expliciet existentieel-getitelde publicaties de meest geciteerde zouden zijn. Het sterkste tegenargument dat deze conclusie kan ontkrachten (disconfirm) is dat de peergrade-only scope systematisch existentieel werk uitsluit. Beide zijn alsnog verifieerbaar via de dataset die de auteurs publiceren, waardoor de claim gefalsifieerd kan worden (falsifiable) op basis van dezelfde bron.

Hypothese H2: De existentiële framing is niet alleen een percentage-issue, maar actief schadelijk, hij sluit praktijkmensen uit, vervormt het publieke beeld en ondermijnt het draagvlak voor alledaagse maatregelen. Falsificatie-criterium: H2 zou worden gefalsifieerd wanneer de existentiële framing aantoonbaar meer mensen aantrekt tot AI-safety dan de brede framing, of wanneer de publieke adoptie van veiligheidsmaatregelen niet correleert met de framingskeuze. Dit is moeilijker te toetsen (vereist causaliteit, geen correlatie), wat de auteurs zelf impliciet erkennen door "epistemische exclusiviteit" als risico te benoemen in plaats van het te meten.

De paper bewijst H1 empirisch (de data ondersteunen het), maar behandelt H2 als een betoog, aannemelijk maar niet experimenteel getoetst. Dat onderscheid is cruciaal voor wie de paper wil gebruiken in een advies: de kwantitatieve claim is robuust, de positionele claim is een weloverwogen betoog. Dit raakt een centraal epistemisch principe: absence of evidence (een kleiner percentage existentieel werk in deze review) is geen evidence of absence (bewijs dat existentieel werk onbelangrijk is), het existentiële werk kan elders (preprints, forums) prominent zijn.

Voor de Nederlandse publieke sector: drie concrete acties

1. Framing van AI-safety als ingenieurspraktijk, niet als existentieel debat. Een AI-governance-verantwoordelijke bij een gemeente, waterschap of zorginstelling moet de acht risicotypen adresseren met concrete methoden, robuustheidstests, interpretability, monitoring, machine unlearning, niet wachten op een existentieel scenarioplan. Dit sluit aan bij het Algoritmekader en de EU AI Act.
2. Meet AI-safety-risico's langs type × level, niet alleen langs 'risico'. De formele tweedeling uit dit artikel helpt: welke typen risico's beheerst mijn organisatie (onafhankelijk van het niveau), en welk niveau heeft elk voor haar systemen. Een bijstandssysteem heeft level(R) laag maar type(R)-uitdagingen (bias, robuustheid), terwijl een onderzoekslaboratorium met frontier-modellen hogere level(R) kent. De beheersaanpak verschilt fundamenteel.
3. Gebruik de taxonomie als audit-checklist. De acht risicotypen zijn een praktische basis voor een AI-risico-inventarisatie, compleet met concrete referenties per type (corrigibility, domein-adversariële training, machine unlearning, OOD-detectie). Een organisatie kan deze taxonomie toetsen tegen haar eigen AI-systeemportfolio en de gaten identificeren.

Counterfactual en conclusie

Wat zou het verhaal zijn geweest als de existentiële framing wél dominant was, dat wil zeggen, als de 383 papers vooral over superintelligentie-gëarmerde apocalyptische scenario's gingen? Dan zou het praktische veiligheidswerk dat AI-safety-onderzoekers al decennia leveren (van robuuste optimalisatie tot effectief toezicht) onderbelicht blijven, én zou de Nederlandse overheid weinig handvatten hebben gehad voor de concrete verplichtingen van de EU AI Act. In plaats daarvan levert de empirie een sterke argument: veilige AI is geen toekomstproject, het is een voortzetting van het beste wat de veiligheidstechniek al heeft opgeleverd.

Gyevnar en Kasirzadeh leveren geen nieuw algoritme en geen technische doorbraak. Ze leveren iets dat in het AI-safety-debat minstens zo schaars is: een helder, empirisch, peer-reviewed beeld van wat het veld werkelijk doet. Voor Nederlandse publieke organisaties is dat een geruststelling én een opdracht: de veiligheidsprincipes die we in luchtvaart, kernenergie en medische technologie al lang beheersen, zijn precies de principes die we op AI moeten toepassen. Niet omdat AI de wereld zal vernietigen, maar omdat betrouwbaarheid een vak is, en dit vak is allang praktijk.

Bron: Gyevnar, B. & Kasirzadeh, A., "AI Safety for Everyone", Nature Machine Intelligence (2025), DOI: 10.1038/s42256-025-01020-y; arXiv:2502.09288. Systematische review van 383 peer-reviewed papers, zoekdatum 1 november 2023.