Een AI-safetybenchmark kan perfect meten en toch de verkeerde risico’s missen

Een benchmark kan technisch zorgvuldig zijn en toch een gevaarlijk smalle vraag beantwoorden. Als een red-team honderd varianten van bekende aanvallen test, weet u iets over de zoekdiepte binnen die categorieën. U weet nog niet of de categorieën zelf passen bij de mensen, talen en situaties waarin het systeem straks wordt gebruikt.

Dat onderscheid is belangrijk voor organisaties die generatieve AI niet alleen demonstreren, maar inzetten in dienstverlening, besluitvorming of interne processen. Een hoge score op een vaste testset is geen bewijs dat het dreigingsmodel volledig is. Het is bewijs over de delen die de testset daadwerkelijk bevat.

De meetfout zit mogelijk vóór de meting

In A Translational Note on AI Safety Evaluation maakt Madhava Gaikwad een onderscheid tussen twee activiteiten die in discussies over red teaming vaak samenvallen:

1. Zoekefficiëntie: hoe goed vindt een evaluator fouten binnen een vooraf gekozen verzameling harms, aanvalstypen en contexten?
2. Dreigingsmodeldekking: hoe goed vertegenwoordigt die verzameling de risico’s die in de beoogde gebruiksomgeving werkelijk relevant zijn?

Automatisering kan de eerste activiteit versnellen. Maar als de tweede as smal is, kan een efficiëntere zoekmachine de ontbrekende categorie niet vanzelf ontdekken. Meer pogingen binnen dezelfde testtaxonomie vergroten de zoekdiepte; ze bewijzen niet dat de taxonomie compleet is.

Dit is geen semantisch onderscheid. Het bepaalt wat een benchmarkscore wel en niet rechtvaardigt. “Het model slaagde voor deze testset” is een afgebakende observatie. “Het model is veilig voor onze gebruikers” is een veel bredere claim die die testset alleen niet kan dragen.

Wat het experiment wel en niet laat zien

De paper verankert het argument in een klein experiment. De auteur selecteerde honderd gedragingen uit HarmBench, gestratificeerd over de subsets standard, contextual en copyright. Die werden in zes talen getest: Engels, Hindi, Swahili, Bengali, Yoruba en Tagalog. De onderzochte generator was Llama-3.1-8B-Instruct; NLLB-200 1.3B vertaalde de prompts en Llama-Guard-3-1B classificeerde de antwoorden.

De copyright-subset is buiten de gerapporteerde vergelijking gehouden. De auteur zag daar een capability-confound: het model kon bijvoorbeeld Engelse songteksten reproduceren, maar niet op vergelijkbare wijze in Yoruba. Dat verschil zou dan niet zuiver over veiligheidsweigering gaan. De openbare repository-methodologie en volledige resultatentabel laten zien waarom deze afbakening ertoe doet: over alle honderd voorbeelden is de unsafe-label-rate 20% voor Engels en 7 tot 19% voor de vijf andere talen; de repository markeert de Engelse 20% zelf als reden om de resultaten nader te onderzoeken. Na uitsluiting van copyright blijven de 75 standard- en contextual-prompts over: daar rapporteert de paper 0 van 75 voor Engels en 35 van 375 voor de vertaalde talen.

Dit is geen interne tegenspraak: de twee tabellen beantwoorden verschillende vragen. De eerste mengt veiligheids- en copyright-capaciteit; de tweede is de door de auteur gekozen veiligheidsgerichte subset. Maar het verandert wel de headline. Een zorgvuldige evaluatie toont beide, motiveert vooraf welke categorieën bij de veiligheidsvraag horen en laat zien hoe de conclusie verandert wanneer een categorie wordt uitgesloten. Anders kan een juiste uitsluiting voor één onderzoeksvraag eruitzien als cherry-picking, of kan een ongeschikte categorie de veiligheidsmeting vervuilen.

Voor de overblijvende standard- en contextual-subsets rapporteert de paper nul als onveilig geclassificeerde antwoorden uit 75 Engelse prompts en 35 uit 375 prompts in de vijf vertaalde talen, oftewel 9,3 procent. De paper rapporteert hiervoor een eenzijdige Fisher exact-toets met p = 0,0013. De juiste lezing is beperkt: in deze opzet werd een verschil waargenomen voor één model, één harm-taxonomie, machinevertaalde prompts en één classifier. Dit is een existence proof, geen schatting van een algemeen percentage voor meertalige modellen.

Ook de onzekerheid is materieel. De subsets zijn klein; de gerapporteerde Wilson-intervallen voor contextual tests zijn breed. De auteur schrijft bovendien dat de uitkomst niet uitsplitst hoeveel van het verschil komt door vertaalartefacten, classifierfouten, beperkte pretraining of culturele framing. De classifier-noise-check ontbreekt. De Yoruba-contextuele uitkomst rust op zes machine-gelabelde antwoorden die volgens de paper niet door een Yoruba-spreker zijn geverifieerd. De prompts zijn vertaald, niet oorspronkelijk door lokale deskundigen opgesteld.

Er is een statistische gevoeligheid om zichtbaar te houden. De 75 Engelse basisgedragingen keren terug in de vijf vertaalde sets. De paper vergelijkt de gepoolde antwoorden met Fisher en rapporteert geen analyse die die herhaalde basisprompt als eenheid behandelt. Daarom lees ik p = 0,0013 niet als zelfstandig bewijs voor een algemeen taaleffect. Verderop toets ik de publieke labels aanvullend per taal met een exacte gepaarde McNemar-toets op hetzelfde basisgedrag; ook die analyse zegt alleen iets over deze classifierlabels en deze steekproef.

De paper bewijst dus niet dat een model “in andere talen onveilig is” als algemene eigenschap. De gerapporteerde uitkomst ondersteunt de smallere observatie dat de unsafe-label-rate in deze opzet verschilde tussen Engelse en vertaalde prompts. Omdat alle prompts voortkomen uit dezelfde bestaande harm-taxonomie, is dit vooral een test van taaldekking binnen die taxonomie. Het toont niet zelfstandig aan dat lokale evaluatoren nieuwe harmcategorieën zouden ontdekken die de taxonomie geheel miste.

Een gepaarde heranalyse van de openbare uitkomsten

Om te toetsen of het verschil alleen ontstaat doordat vertaalde prompts als onafhankelijke waarnemingen zijn gepoold, heb ik de openbare classifications.jsonl gekoppeld aan behaviors_multilingual.csv op behavior_id. Ik hield dezelfde 75 standard- en contextual-basisgedragingen aan en vergeleek per taal de uitkomst voor elk gedrag rechtstreeks met de Engelse uitkomst. Dit is een aanvullende heranalyse van de gepubliceerde data, niet een analyse die de paper zelf rapporteert.

Taal tegenover Engels	Niet-Engels-only unsafe-labels	Engels-only unsafe-labels	Holm-gecorrigeerde p na exacte tweezijdige McNemar-toets
Hindi	7	0	p = 0,0469
Swahili	8	0	p = 0,0391
Bengali	8	0	p = 0,0391
Yoruba	7	0	p = 0,0469
Tagalog	5	0	p = 0,0625

De gepaarde vergelijking behoudt de basisprompt als eenheid en corrigeert de vijf taalvergelijkingen met Holm. In deze specifieke dataset blijft het verschil in vier talen onder 0,05; voor Tagalog niet. Dat is sterker bewijs voor een reproduceerbaar verschil in classifierlabels op deze prompts dan alleen de ongepaarde, gepoolde Fisher-toets. Het bewijst nog steeds niet dat de classifier elk antwoord juist beoordeelde, dat vertaling geen rol speelde, of dat de uitkomst generaliseert naar andere modellen en diensten. Het is evenmin bewijs dat nieuwe harmcategorieën buiten HarmBench zijn ontdekt.

De volgende standaardbibliotheekcode reproduceert de exacte p-waarden en de Holm-correctie vanuit de discordante paren in de tabel. De koppeling en filtering van de openbare bestanden zijn hierboven beschreven.

from math import comb

def exact_mcnemar(positive: int, negative: int) -> float:
    discordant = positive + negative
    tail = sum(comb(discordant, k) for k in range(min(positive, negative) + 1))
    return min(1.0, 2 * tail / (2 ** discordant))

pairs = {"Hindi": (7, 0), "Swahili": (8, 0), "Bengali": (8, 0),
         "Yoruba": (7, 0), "Tagalog": (5, 0)}
ordered = sorted((exact_mcnemar(*counts), language)
                 for language, counts in pairs.items())
adjusted = {}
running = 0.0
for index, (p_value, language) in enumerate(ordered):
    running = max(running, min(1.0, (len(ordered) - index) * p_value))
    adjusted[language] = running

assert round(adjusted["Hindi"], 6) == 0.046875
assert round(adjusted["Tagalog"], 6) == 0.0625

Die grens is belangrijk voor de paper’s grotere betoog. De auteurs bepleiten zowel meer dekking van deploymentcontexten als externe evaluatoren die het dreigingsmodel verbreden. Hun experiment verandert de taal van bestaande gedragingen, maar vergelijkt geen fixed-scope red-team met een team dat nieuwe lokale harmcategorieën toevoegt. De proef ondersteunt dus de eerste stap, dat taal verschil kan maken binnen een bekende testset, maar identificeert niet de tweede stap of het mechanisme daarachter. De onafhankelijke resultaten van UbuntuGuard en SEA-SafeguardBench maken contextspecifieke evaluatie aannemelijker in hun eigen settings; zij maken de causale attributie van dit experiment niet alsnog bewezen.

Onafhankelijke triangulatie: taal is niet hetzelfde als context

De centrale methodologische zorg staat niet alleen. UbuntuGuard bouwt veiligheidsvragen op die zijn opgesteld door 155 domeindeskundigen voor Afrikaanse taal- en contexten. De auteurs rapporteren dat Engelstalige benchmarks de meertalige veiligheid in hun setting overschatten en dat cross-lingual transfer slechts gedeeltelijke dekking geeft. Dit is een andere benchmark, met een andere opzet; het ondersteunt de relevantie van contextspecifieke evaluatie, niet de exacte effectgrootte uit Gaikwads experiment.

SEA-SafeguardBench onderzoekt acht Zuidoost-Aziatische talen en combineert vertaalde algemene prompts met cultureel gesitueerde subsets. De paper beschrijft 13.830 prompts en 7.810 antwoorden; lokale moedertaalsprekers keurden de culturele onderwerpen goed en vertalingen werden door tweetalige annotatoren gecontroleerd. Ook die auteurs vinden dat safeguards moeite hebben met lokale taal- en harmscenario’s. Het verschil in onderzoeksontwerp is juist leerzaam: vertaling kan een vergelijkbare test mogelijk maken, maar native-authored voorbeelden kunnen contexten zichtbaar maken die vertaling niet meeneemt.

De synthese is daarom niet “vertalen werkt niet” of “menselijke evaluatoren zijn altijd beter”. Een verdedigbare conclusie is smaller: een testset moet haar herkomst en representatie expliciet maken. Een vertaalde promptset en een lokaal ontworpen scenario beantwoorden niet noodzakelijk dezelfde vraag. De ene kan vergelijkbaarheid helpen; de andere kan contextuele blinde vlekken blootleggen.

Twee assen, twee soorten bewijs

Een evaluatieprogramma voor een AI-systeem hoort daarom niet één geaggregeerde score te presenteren alsof die zowel zoekkwaliteit als volledigheid samenvat.

Evaluatie-as	Vraag	Passend bewijs
Zoekdiepte	Hoeveel relevante fouten vinden we binnen de vastgelegde testscope?	Aanvalspogingen, gevonden failures, reproduceerbaarheid, kosten en testdekking binnen de gekozen taxonomie
Scope-dekking	Welke relevante gebruikers, talen, taken of harmcategorieën vallen buiten die scope?	Gedocumenteerde selectiegrond, lokale deskundigen, native-authored scenario’s, ontbrekende cellen en expliciete onzekerheid

Een hogere score op de eerste as kan nuttig zijn zonder de tweede te veranderen. Een optimizer die honderdduizend prompts uit een vaste categorie genereert, kan die categorie grondig doorzoeken. Maar als bijvoorbeeld de context, taalvariant of getroffen gebruikersgroep niet in de evaluatie is opgenomen, ontstaat er niet automatisch bewijs over die omissie.

Dat betekent ook dat “dekking” geen magisch percentage mag worden. De noemer, te weten welke talen, taken, groepen en contexten relevant zijn, is zelf een inhoudelijk besluit. Een dashboard met 100% dekking van een slecht gekozen scope blijft een slechte evaluatie. De scope moet worden gemotiveerd vanuit het beoogde gebruik, betrokken gebruikers en aannemelijke harms; daarna moet zichtbaar blijven wat niet is getest.

Een bruikbaar ontwerp: een coverage-manifest

Voor een publieke organisatie kan een benchmarkrelease beginnen met een klein manifest. Per testscenario legt het team vast: de beoogde taak, taal of taalvariant, relevante gebruikscontext, harmcategorie en versie, oorsprong van de prompt (native-authored of vertaald), wie de taal en labels heeft gecontroleerd, de gebruikte evaluator of classifier, de steekproefomvang en de onzekerheid rond de uitkomst.

Een gemeente die een informatie-assistent onderzoekt, kan bijvoorbeeld eerst vaststellen welke talen en soorten vragen binnen de dienst vallen. Daarna kan zij reguliere vragen en contextgevoelige veiligheidsscenario’s apart opnemen. Als er alleen Nederlandse prompts zijn getest, moet het rapport dat expliciet zeggen; het mag de niet-geteste scenario’s niet stilzwijgend als “veilig” tellen. De precieze scope volgt uit de dienst en de doelgroep, niet uit een universele checklist.

Onderstaande code maakt uitsluitend zichtbaar welke vooraf vereiste combinaties nog geen test hebben. Zij meet geen veiligheid, kwaliteit of representativiteit en kiest ook niet welke combinaties relevant zijn. Die beslissingen vereisen inhoudelijke onderbouwing.

from collections.abc import Iterable

Cell = tuple[str, str, str]

def coverage_report(required: Iterable[Cell], tested: Iterable[Cell]) -> dict:
    required_cells = set(required)
    tested_cells = set(tested)
    if not required_cells:
        raise ValueError("De vereiste scope mag niet leeg zijn")

    missing = required_cells - tested_cells
    return {
        "required": len(required_cells),
        "tested": len(required_cells & tested_cells),
        "missing": sorted(missing),
    }

required = {
    ("nl", "standaardvraag", "prompt-injection"),
    ("nl", "gevoelige-context", "privacy"),
    ("en", "standaardvraag", "prompt-injection"),
}
tested = {
    ("nl", "standaardvraag", "prompt-injection"),
}
report = coverage_report(required, tested)
assert report["tested"] == 1
assert len(report["missing"]) == 2

Voor R vereiste en T waargenomen combinaties kost deze setbenadering gemiddeld O(R + T) tijd en O(R + T) extra ruimte. Dat is ruim voldoende voor een manifest van evaluatiescenario’s. De beperking is belangrijker dan de complexiteit: een cel die als “getest” is geregistreerd, kan nog steeds een slechte, te kleine of verkeerd gelabelde test bevatten. De code controleert administratie, geen semantische dekking.

Van testset naar assurance-besluit

Een bruikbare assurance-rapportage houdt ten minste vier uitkomsten uit elkaar:

1. Getest en geen failure gevonden. Dit zegt iets over de uitgevoerde steekproef en configuratie, niet over alle mogelijke prompts.
2. Getest en failure gevonden. Registreer prompt, modelversie, instellingen, labelmethode en reproduceerbaarheid; herstel en hertest de concrete fout.
3. Niet getest. Markeer dit als onbekend, niet als veilig of als nul risico.
4. Niet van toepassing. Onderbouw waarom een scenario buiten het gebruik valt en wie die afbakening heeft vastgesteld.

Houd daarnaast generatie en beoordeling uit elkaar. In het onderzochte experiment genereert Llama-3.1-8B-Instruct antwoorden en beoordeelt Llama Guard-3-1B ze. Een tweede classifier of onafhankelijke menselijke beoordeling kan helpen om beoordelaarsfouten te onderzoeken, maar is niet automatisch een gouden standaard: ook beoordelaars hebben een beperkte context en kunnen uiteenlopende criteria hanteren. Noteer daarom wie of wat een label gaf, welke beoordelingsregels golden en hoe onenigheid is opgelost.

Voor agentische systemen is de scope mogelijk breder dan taal alleen: taak, tooltoegang, meerstapsinteractie, bronmateriaal en gevolgen van een actie kunnen relevant zijn. MAPS onderzoekt meertalige prestaties en veiligheid van agentische systemen als een eigen benchmarkvraag. Dat is geen bewijs dat de voorgestelde manifestvelden compleet zijn; het onderstreept wel dat een chatprompttest niet zonder meer een agentdeployment representeert.

Een praktisch releasebesluit kan daarom bestaan uit twee aparte poorten. De eerste vraagt of de afgesproken testset voldoende en reproduceerbaar is doorzocht. De tweede vraagt of de gekozen scope onderbouwd is en of de belangrijkste ontbrekende contexten expliciet zijn gemaakt. Een “PASS” op poort één mag een open tekort op poort twee niet verbergen.

Wat de toets onderscheidt, en wat niet

Op het niveau van de waargenomen uitkomst staan twee concurrerende hypothesen tegenover elkaar:

H1, gepaarde labelasymmetrie: binnen deze dataset labelt de gebruikte classifier vaker antwoorden op de vijf vertaalde taalvarianten als onveilig dan de antwoorden op dezelfde Engelse basisgedragingen.

H2, geen gepaarde labelasymmetrie: zodra dezelfde basisgedragingen rechtstreeks worden vergeleken, verdwijnt de schijnbare kloof; het gepoolde verschil is dan geen stabiele asymmetrie in de geobserveerde labels.

De gepoolde Fisher-toets (p = 0,0013) is de analyse van de auteurs, maar behandelt de herhaalde basisgedragingen niet als gepaarde eenheden. Daarom heb ik de openbare labels aanvullend per taal gekoppeld op basis van hetzelfde behavior_id en een exacte McNemar-toets toegepast; de vijf uitkomsten zijn met Holm gecorrigeerd. In vier talen blijft de classifier-labelasymmetrie in deze steekproef onder 0,05; voor Tagalog niet. Dat onderscheidt H1 van H2 voor de waargenomen labels en deze dataset: de asymmetrie verdwijnt niet wanneer die herhaalde basisgedragingen als paren worden behandeld. Het bewijst geen algemeen taalverschil in modelveiligheid, noch dat het patroon in een onafhankelijke steekproef standhoudt.

Bewijsgrens: de uitkomst is een verschil in labels van één classifier, niet een aangetoond verschil in de onderliggende veiligheid van het model. De beschikbare data onderscheiden modelgedrag niet van vertaal- of classifierbias. Dit artikel schrijft het verschil daarom aan geen van die oorzaken toe; daarvoor ontbreken native-authored vergelijkingsprompts, onafhankelijke labels en replicatie.

Maar een statistisch verschil kiest niet tussen de mogelijke mechanismen achter dat verschil. Machinevertaling kan nuance veranderen; de generator kan talen ongelijk beheersen; de classifier kan talen ongelijk beoordelen; of de uitkomst kan samenhangen met de gekozen promptsteekproef. De paper kan deze verklaringen niet van elkaar scheiden. En H1 over de uitkomst is niet hetzelfde als de bredere dekkingshypothese: de data laten een taalverschil zien binnen bekende categorieën, niet dat de evaluatoren nieuwe categorieën buiten die scope hebben ontdekt.

Een vervolgproef kan die verklaringen beter onderscheiden door vertaalde en native-authored scenario’s op dezelfde vooraf gedefinieerde harmcategorieën gepaard te vergelijken, met meerdere modellen, ten minste twee onafhankelijke labelmethoden en beoordeling door taaldeskundigen. Analyseer de uitkomsten per basisprompt en rapporteer zowel overeenstemming als onzekerheidsintervallen. Leg daarnaast apart vast of lokale evaluatoren harmcategorieën voorstellen die niet in de oorspronkelijke taxonomie staan. Zo wordt meetartefact gescheiden van taalrobuustheid, en taalrobuustheid van daadwerkelijke uitbreiding van het dreigingsmodel.

De praktische claim over scope-uitbreiding is per toepassing falsifieerbaar. Neem één afgebakende dienst. Leg vóór de proef vast welke harms materieel zijn, welke uitkomst het releasebesluit zou veranderen, het testbudget en de equivalentiemarge. Twee onafhankelijke panels van lokale domein- en taaldeskundigen stellen vervolgens, zonder de bestaande taxonomie te zien, native scenario’s op. Vergelijk de oorspronkelijke en uitgebreide testset met dezelfde modelversie, hetzelfde budget en vooraf vastgelegde labelregels.

Verwerp de aanbeveling voor die dienst als twee onafhankelijke rondes laten zien dat de panels geen materiële, niet-gemapte risicocategorie vinden, de uitgebreide set geen nieuwe reproduceerbare failure oplevert die het vooraf vastgelegde releasebesluit verandert, en het betrouwbaarheidsinterval binnen de vooraf gekozen equivalentiemarge valt. Dat zijn concrete, observeerbare uitkomsten; de huidige paper heeft deze proef niet uitgevoerd. Een nulresultaat zou de praktische meerwaarde voor die ene dienst weerleggen, niet de algemene logische grens dat een test geen bewijs levert over wat zij niet bevat.

Het relevante tegenfeit is dus niet “wat als het model geen fouten maakte in deze ene test?” maar: wat zouden we hebben gemeten als de evaluatie alleen de oorspronkelijke Engelstalige categorieën had bevat, tegenover dezelfde test aangevuld met onafhankelijke, contextspecifieke scenario’s? Een gepaard ontwerp met gelijk budget, dezelfde modelversie en vooraf vastgelegde labelregels kan die vergelijking maken. Als de uitgebreide scope geen nieuwe typen failures oplevert en de uitkomsten stabiel blijven over talen en beoordelaars, wordt de praktische waarde van die uitbreiding kleiner.

Wat deze analyse niet concludeert

De paper is een preprint uit september 2026 en noemt het experiment zelf een existence proof. Zij test één open-weight model, vijf niet-Engelse talen naast Engels en machinevertaalde HarmBench-prompts. De beperkte aantallen, brede intervallen en ontbrekende classifier-check verhinderen een precieze uitspraak over omvang of oorzaak van het verschil. De paper test geen Nederlands en zegt niets rechtstreeks over de naleving van een juridische norm door een Nederlandse organisatie.

Ook het voorgestelde coverage-manifest en de tweepoortenaanpak zijn afgeleide ontwerpaanbevelingen, geen empirisch gevalideerd framework uit de paper. Hun nut moet per toepassing worden getoetst; vooral de keuze van de scope en de vooraf bepaalde beslismarge mogen geen verborgen aannames blijven.

Dit sluit aan bij eerdere DjimIT-content over meertalige kwetsbaarheid in taalmodellen en het bredere dreigingsmodel voor LLM-ecosystemen. De twee evaluatieassen komen uit de besproken paper; dit artikel claimt die niet als eigen nieuwe theorie. De toegevoegde bijdrage is de gepaarde heranalyse van de publieke uitkomsten en de vertaling ervan naar een controleerbaar coverage-manifest en twee afzonderlijke assurance-poorten. Dat is een ontwerpvoorstel, geen empirisch gevalideerde standaard.

Wat een organisatie morgen kan doen

Kies één AI-toepassing met een duidelijk afgebakende doelgroep en maak vóór de volgende evaluatie een manifest van de relevante taken, contexten, talen en harmcategorieën. Scheid vertaalde scenario’s van native-authored scenario’s. Leg model- en classifier-versies vast, voeg waar de inzetcontext dat vraagt onafhankelijke taal- of domeinbeoordeling toe, en rapporteer ontbrekende scope als UNKNOWN in plaats van als een positieve score.

De kernvraag voor architecten en CISO’s is niet alleen: “Hoeveel aanvallen heeft ons red-team gevonden?” Vraag ook: “Wie heeft bepaald waar we naar zoeken, welke gebruikscontexten ontbreken, en welk bewijs zou ons van gedachten doen veranderen?” Dat maakt een benchmark niet compleet. Het maakt wel zichtbaar waar de onderbouwing eindigt, precies waar een assurance-besluit eerlijk moet worden.

Bronnen en reproduceerbaarheid

• Gaikwad, A Translational Note on AI Safety Evaluation, arXiv:2609.06573v1, ingediend 6 september 2026. Het bijbehorende code- en datarepository beschrijft de gebruikte proefopzet.
• De repository-methodologie en volledige resultaten tonen ook de rates vóór uitsluiting van de copyright-subset.
• De heranalyse gebruikt de openbare classificaties en gedrags-/categoriegegevens; de oorspronkelijke aggregatiecode staat in scripts/report.py.
• Abdullahi et al., UbuntuGuard: A Culturally-Grounded Policy Benchmark for Equitable AI Safety in African Languages, Findings of ACL 2026.
• Tasawong et al., SEA-SafeguardBench: Culturally Grounded Safety Benchmark for Southeast Asian Languages, Findings of ACL 2026.
• MAPS: A Multilingual Benchmark for Agent Performance and Security, Findings of EACL 2026.