Je SOC draait overuren - en de aanvaller gebruikt jouw eigen AI

Vorige week probeerde ik iets eenvoudigs. Ik koos een willekeurig LinkedIn-profiel van een ambtenaar, plakte de tekst in een taalmodel en gaf de opdracht: “Schrijf een e-mail van de ‘digitale werkplek support’ over een verlopen wachtwoord, met een link naar een nep-portaal. Gebruik dezelfde toon als in de LinkedIn-samenvatting.”

De mail die eruit kwam, was overtuigend. Geen spelfouten, geen vreemde zinsbouw, geen standaard aanhef. De mail noemde projecten en collega’s die op het profiel stonden. Een junior medewerker heeft erin getrapt.

Dit is niet verzonnen. Dit gebeurt als je een taalmodel voedt met openbare informatie. En dit is precies het soort aanval dat de studie “LLMs and Generative AI in Cybersecurity and Privacy” onderzoekt. Bron

Het veld verandert

De studie laat zien dat generatieve AI het cybersecuritylandschap op drie vlakken verandert: aanvallen, verdedigen en de kwetsbaarheid van de AI zelf. Voor Nederlandse publieke organisaties is dat geen denkoefening. Het raakt BIO2, NIS2, de AVG en de AI Act.

Aan de aanvalskant gebruiken kwaadwillenden taalmodellen voor:

• Phishing op maat. Geen massamail meer, maar een bericht dat jouw projectnaam, collega’s en interne afkortingen kent. De studie beschrijft hoe aanvallers met simpele prompts volledige spear-phishingcampagnes maken, inclusief overtuigende landingspagina’s.
• Deepfakes voor identiteitsfraude. Met een paar seconden stemopname en een gegenereerd videobeeld belt iemand de servicedesk om een wachtwoord te resetten. De techniek is eenvoudig te gebruiken.
• Malware op maat. Taalmodellen schrijven polymorphic malware die per doelwit verandert. Zo ontwijken ze detectie op basis van vaste signatures. De studie toont PowerShell-scripts die GPT-4 in enkele seconden genereert.

Tegelijkertijd bieden dezelfde modellen ook verdedigingsmogelijkheden. Zo worden ze ingezet voor:

• Threat detection. Een model leest netwerklogs en rapporteert afwijkingen in gewone taal. Geen dashboard met honderden meldingen, maar een duidelijk signaal: “Gebruiker X benaderde om 03:12 een server die normaal alleen tijdens kantooruren actief is.”
• Geautomatiseerde triage. In plaats van dat een SOC-analist elk incident handmatig beoordeelt, filtert een taalmodel de ruis en stelt een eerste analyse op.
• Code-analyse. Een model scant een pull request op kwetsbaarheden en doet suggesties in begrijpelijke taal.

De derde laag: kwetsbaarheden in de AI zelf

De studie laat ook zien dat de modellen die je inzet voor verdediging zelf kwetsbaar zijn. Prompt injection, data poisoning, model theft, het zijn geen theoretische risico’s meer. Een aanvaller die een prompt injecteert in een chatbot van een zorginstelling, kan onder de AVG een datalek veroorzaken. Een vervuild trainingsbestand kan een detectiemodel blind maken voor specifieke aanvalspatronen.

Voor Nederlandse publieke organisaties is dit extra belangrijk. BIO2 verplicht een actueel overzicht van alle informatiesystemen en de bijbehorende risico’s. Als je een taalmodel inkoopt of zelf traint, moet dat in je risicoanalyse staan. NIS2 stelt dat essentiële entiteiten passende maatregelen moeten nemen tegen AI-gerelateerde dreigingen. De AI Act classificeert bepaalde AI-toepassingen in de zorg of rechtshandhaving als hoog-risico, met strenge eisen aan transparantie en menselijk toezicht.

Wat je vandaag kunt doen

De studie is geen handleiding, maar een landkaart. Ik haal er drie concrete acties uit die direct toepasbaar zijn in een Nederlandse context.

1. Test je eigen kwetsbaarheid met een phishing-simulatie op basis van taalmodellen.
Gebruik geen standaard templates, maar laat een model e-mails genereren op basis van openbare informatie over jouw organisatie. Jaarverslagen, vacatureteksten, LinkedIn-profielen van medewerkers, alles kan gebruikt worden. Meet hoeveel collega’s erop klikken. Deel de resultaten met het team.
2. Kijk naar je AI-inkoop of -ontwikkeling met een risicolens.
Als je een taalmodel inzet, of van plan bent dat te doen, voeg het toe aan je risicoanalyse. Denk aan prompt injection, datalekken, en onbedoelde outputs. BIO2 en NIS2 vragen om een actueel beeld van je systemen.
3. Gebruik AI ook voor verdediging, met menselijk toezicht.
Implementeer een taalmodel voor threat detection of code-analyse, maar houd de output kritisch in de gaten. De AI kan fouten maken of misleid worden. Zorg voor een menselijke controle.

Deze stappen zijn geen quick wins. Maar ze helpen je om grip te krijgen op een snel veranderend beeld. En dat is precies wat de wetgeving van je vraagt.