SAFARI: waarom LLM's plausibele hazards schrijven maar ISO 26262-risico's niet beheersen

In de automotive-sector draait veiligheid niet om plausibiliteit maar om traceerbare risicobewijsvoering. Een Hazard Analysis and Risk Assessment (HARA) onder ISO 26262 zet elk faalscenario om in een risicoclassificatie, en die lekt rechtstreeks door naar de toegewezen ASIL (Automotive Safety Integrity Level) en dus naar de diepgang van de veiligheidsvereisten die downstream moeten worden bewezen. Een fout in die classificatie is geen academische afwijking: het is een fout in het fundamentele veiligheidscontract.

Het wordt daarom urgent om te vragen hoe betrouwbaar grote taalmodellen (LLM's) hiermee omgaan nu ze steeds vaker als assistent in safety-critical engineering worden overwogen. Een nieuw paper van Chenxi Wu, Zimu Wang, Haiyang Zhang, Wei Wang en Zhijie Xu (arXiv:2609.20584, EMNLP 2026 Industry Track) levert de eerste empirische onderbouwing. Het antwoord is geruststellend noch alarmerend, maar precies: LLM's zijn zwak op het onderdeel waar de bewijslast zit.

Wat SAFARI is

SAFARI (Safety-Aware Functional Automotive Risk Inference) is de eerste industriële benchmark voor LLM-ondersteunde HARA onder ISO 26262. Hij bevat 3.000 gedeïdentificeerde industriële HARA-cases en evalueert twee gekoppelde taken:

1. Open-ended hazard analysis, de model genereert een hazard-narratief (faalmechanisme, scenario, betrokken personen);
2. Standards-grounded risk assessment, het model wijst de ISO 26262-risicoparameters toe: Severity (S), Exposure (E) en Controllability (C), en daarmee het ASIL-niveau.

Die koppeling is het kernpunt. Het is geen losse tekstgeneratie en geen losse classificatie: de output van taak 1 is de input van taak 2, en het ASIL is de cascade-gevoelige output van beide. Een hazard-narratief dat de scenario-kritische context omissief is, maakt elke daaropvolgende risicoclassificatie onbetrouwbaar, ongeacht hoe vloeiend de tekst is.

Om open-ended hazard-artefacten objectief te beoordelen stellen de auteurs een referentie-geankerd LLM-as-a-judge-protocol voor, met een hoge expertcorrelatie. Dat is een methodologische bijdrage op zich: het ankeren van de judge aan een referentie (in plaats van vrij te laten oordelen) is wat de correlatie met menselijke experts hoog houdt.

De kernbevinding: plausibel, maar niet betrouwbaar bij risicoclassificatie

De resultaten over negen frontier-LLM's (waaronder GPT-5.5, GPT-5.4-mini, Gemini-3.5-Flash, DeepSeek-V4-Pro, DeepSeek-V4-Flash, Qwen3.5-397B-A17B en Qwen3.5-122B-A10B) zijn tweeledig, en dat tweeledigheid is precies het relevante signaal:

• Hazard-generatie: de modellen produceren vaak plausibele hazard-narratieven. Dat is het verleidelijke deel: het klinkt en leest als correct functioneel-veiligheidswerk.
• Risicoclassificatie: de modellen blijven zwak op ISO 26262-risicoclassificatie. Zelfs het beste model haalt een ASIL macro-F1 van slechts 0,261.

Een macro-F1 van 0,261 is geen marginale zwakte: het is een niveau waarop de modellen de risico-intensiteit structureel niet correct inschatten. Dat is veelzeggender dan een "soms fout" zou zijn, het duidt erop dat de S/E/C-schalen, die per classificatie nauwkeurig moeten worden onderscheiden, niet op de door ISO voorgeschreven manier worden toegepast.

CoT helpt niet en degradeert vaak

Een tweede bevinding is bijna contra-intuïtief voor wie gewend is aan de recente redeneercultus. Chain-of-Thought (CoT) prompting biedt beperkt voordeel en degradeert vaak de categorische risicobeoordeling. Met andere woorden: het laten "stap voor stap nadenken" van het model maakt de ASIL-classificatie er in veel gevallen niet beter op, en soms slechter op.

Ik heb dit nog niet onafhankelijk gerepliceerd, dus de bevinding is een enkele-studie-claim. Maar hij is consistent met een groeiend corpus dat stelt dat CoT vooral helpt bij taken waar de redeneerketen een echte oplossequentie is, en minder bij taken waar de fout in de probleemrepresentatie zit. Bij HARA ligt de zwakte niet in het ontbreken van tussenstappen maar in het niet-correct vatten van scenario-context en controleerbaarheid, daar schiet geen langere redenering iets mee op.

De ASIL-classificatie is in essentie een categorische verdeling over een discrete schaal, wat eenvoudig programmeerbaar is:

# ISO 26262 ASIL-afleiding uit S/E/C (vereenvoudiging)
severity = {"S0":0,"S1":1,"S2":2,"S3":3}
exposure = {"E0":0,"E1":1,"E2":2,"E3":3,"E4":4}
control  = {"C0":0,"C1":1,"C2":2,"C3":3}
def asil(s, e, c):
    """Combineer S/E/C tot een ISO 26262-risicoklasse."""
    return min(severity[s] + exposure[e] + control[c], 3)
a = asil("S3","E4","C2")
assert a >= 1, "zwaar scenario moet > QM klasse krijgen"
print(f"Asil index: {a}")

De wiskunde is triviaal (O(1) per combinatie), maar de classificatie is alleen correct als de inputs S/E/C correct zijn. De FAAL zit niet in deze berekening maar in de modelgeschatte S/E/C-waarden, die de 0,261 macro-F1 veroorzaken.

Waar de fouten zitten: de foutanalyse

De error analysis localiseert de belangrijkste faalwijzen precies:

• Scenario-kritieke context-omissies tijdens hazard-generatie. Het model schrijft een hazard maar laat het scenario-detail weg dat de risicobeoordeling überhaupt mogelijk maakt. Dit is het lekkende gat aan de taak-1-kant.
• Controllability-misjudgments tijdens risicobeoordeling. Het model beoordeelt de controleerbaarheid (C) van de bestuurder of betrokkenen verkeerd. In ISO 26262 is Controllability een van de drie assen die samen het ASIL bepalen; een C-misjudgment schuift het hele veiligheidscontract.

De auteurs geven zelf de operationele conclusie: deze faalwijzen wijzen naar waar de expert-overzichtstaken geconcentreerd moeten worden. De menselijke safety-engineer is niet overbodig, het handmatige werk verschuift naar gerichte review over precies die twee kwetsbaarheden.

Wat dit betekent voor Nederlandse organisaties

SAFARI is een automotive-benchmark, maar de les reikt verder dan de auto-industrie, en geldt voor elke Nederlandse organisatie die een gereguleerde, risicogebaseerde veiligheids- of compliancetakenketen overweegt te laten assisteren door een LLM:

1. "Plausibel" is een valse geruststelling. Een LLM kan een vloeiend document produceren dat een auditor correct vindt klinken, terwijl de classificatiekern fout is. Wie een LLM-uitvoer in een gereguleerd veiligheidscontract gebruikt zonder de risicoclassificatie onafhankelijk te verifiëren, importeert een stille fout in de cascade.
2. De zwakte zit in de representatie, niet in de redenering. CoT-degradatie toont dat meer "denken" niet helpt als de taak het correct vatten van context en controleerbaarheid vereist. De mitigatie is daarom geen betere prompt, maar betere inputstructuur en menselijke verificatie op de faalwijzen.
3. Foutanalyse vertelt je waar je de mens moet zetten. De paper geeft een direct handelbaar resultaat: zet expert-review op scenario-context en op controleerbaarheid. Dat is een bruikbare besteding van schaarse functioneel-veiligheidscapaciteit.

Voor de Nederlandse publieke sector is dit relevant langs een specifieke route: overheidsorganisaties kopen en gebruiken zelf geen automotive-safety-gecertificeerde systemen in de ASIL-zin, maar ze stellen steeds vaker eisen aan fabrikanten, en ze zetten LLM-assistenten in voor risicogebaseerde beoordelingen in gereguleerde domeinen (bijvoorbeeld een ziekenhuis dat een LLM-assistent voor triage-beoordeling inzet, of de RDW die veiligheidsclaims van toeleveranciers beoordeelt). Hetzelfde thema, maar dan voor het risico van puntcijfers in plaats van tekst, zie de AI-fairness-audit. Het patroon is identiek: een vloeiend uitziende risicoanalyse waarvan de classificatiekern onbetrouwbaar is, is een aansprakelijkheids- en veiligheidsrisico, niet een efficiëntiewinst.

Hypothesen en toetsing

Hypothese H1: Frontier-LLM's zijn significant beter in open-ended hazard-generatie (fluency) dan in ISO 26262-risicoclassificatie (S/E/C-parameters die het ASIL bepalen), onafhankelijk van het model. Falsifieerbaar: H1 is te falsifiëren wanneer een onafhankelijke replicatie aantoont dat een frontier-model de ASIL macro-F1 boven een niveau tilt (bijv. > 0,6) dat materieel bruikbaar is voor functioneel-veiligheidswerk, of wanneer de kloof tussen hazard-fluency en classificatieverdeling verdwijnt. De huidige 0,261 steunt H1, maar het is één benchmark met één set negen modellen.

Hypothese H2: Chain-of-Thought prompting verbetert de ISO 26262-risicoclassificatie niet materieel en degradeert die in een betekenisvol deel van de gevallen. Falsifieerbaar: H2 is te falsifiëren wanneer wordt aangetoond dat CoT in een gerepliceerde opzet de ASIL macro-F1 consistent verbetert ten opzichte van few-shot, over meerdere modellen en instellingen. De bevinding dat CoT hier niet helpt is plausibel vanuit bestaande literatuur, maar de "degradeert vaak"-component is een specifieke claim die hertoetsing verdient.

Counterfactual: geen benchmark

Tegenfeitelijk beschouwd: stel dat SAFARI (of een vergelijkbare industriële benchmark) niet had bestaan. Dan zou de sector zijn blijven afgaan op algemene modelkwaliteit en op anekdotische voorbeelden van "de LLM schreef een geloofwaardig veiligheidsdocument". De fout zou niet zijn gedetecteerd vóór de inzet in een daadwerkelijke veiligheidsketting met cascade-gevoelige gevolgen. De benchmark maakt de zwakte zichtbaar op 3.000 gedeïdentificeerde industriële cases, vóórdat de modellen in productie-veiligheidswerkstromen worden gebruikt. Dat is de kern van de waarde: de kosten van de misclassificatie worden naar voren gehaald in een controleerbare setting in plaats van gedragen in een aansprakelijke inzet.

Beperkingen van deze analyse

Deze analyse is gebaseerd op het primaire abstract en de volledige tekst van arXiv:2609.20584 (66 kB tekst, geëxtraheerd uit de PDF). De kerncijfers (3.000 cases, ASIL macro-F1 0,261, negen modellen, CoT-degradatie) zijn overgenomen uit het abstract en bevestigd in de papertekst. De specifieke S/E/C-verdeling per model en de exacte CoT-degradatiemagnitudes zijn niet onafhankelijk herberekend, noch is het referentie-geankerde judge-protocol onafhankelijk gevalideerd. Ik heb de modellenlijst (GPT/Gemini/DeepSeek/Qwen) gedeeltelijk uit de tabellen overgenomen; de negende frontier-modelidentiteit is niet in alle gevallen verifieerbaar in mijn extract. De juridische en normatieve duiding van ISO 26262 is een technische interpretatie, geen certificatie-uitleg.

Slot

SAFARI levert geen oordeel over "of LLM's ooit veiligheidswerk kunnen", het levert een precieze kaart van waar ze nu te zwak zijn en waar de menselijke oversight het meest nodig is. De twee faalwijzen (scenario-context-omissies bij generatie, controleerbaarheids-misjudgments bij classificatie) zijn bruikbare aanwijzingen voor elke organisatie die LLM-assistentie in een gereguleerd veiligheidsproces overweegt. Het nieuw inzicht dat hieruit volgt, en dat een handelingsoptie oplevert buiten de directe benchmarkcontext: de faalwijzen van LLM's in gereguleerde risicoclassificatie zijn deterministisch in de verkeerde dimensie, ze zijn niet vloeiendheid-vrij maar representatie-afhankelijk. De les is eenduidig: laat de LLM de ontwerpkeuzes voorstellen, maar verifieer de risicoclassificatie als handmatige, onafhankelijke controle, want een plausibel hazard-narratief is geen bewijs dat de veiligheidsscore klopt.

Bron: Wu, Wang, Zhang, Wang & Xu, "SAFARI: An Industrial Benchmark for LLM-Assisted Hazard Analysis and Risk Assessment", arXiv:2609.20584 (17 september 2026), EMNLP 2026 Industry Track. Kernclaims (3.000 cases, twee gekoppelde taken, referentie-geankerd judge-protocol, negen frontier-LLM's, ASIL macro-F1 0,261, CoT-degradatie, foutanalyse) geverifieerd tegen het primaire abstract en de PDF. Dataset via de paper-link.