adversarial-cognitive-outsourcing-google-gtig-gemini

1|--- 2|title: "AI wordt niet misbruikt als wapen, maar als stafafdeling" 3|date: "2026-06-20" 4|category: "Cybersecurity" 5|tags: 6| - "AI misuse" 7| - "Google GTIG" 8| - "Gemini" 9| - "APT" 10| - "threat intelligence" 11| - "adversarial AI" 12| - "agentic security" 13| - "cyber kill chain" 14|image: "/images/adversarial-cognitive-outsourcing-gtig.jpg" 15|excerpt: "Google's Threat Intelligence Group publiceert het eerste empirische rapport over hoe statelijke actoren Gemini misbruiken. De diepere conclusie is niet 'aanvallers gebruiken AI een beetje voor phishing', generatieve AI functioneert als cognitieve infrastructuurlaag bovenop bestaande operaties. Niet als autonome superhacker, maar als frictieverlagende, schaalvergroterende en kenniscomprimerende laag in de operationele keten." 16|--- 17| 18|Google's Threat Intelligence Group publiceerde in januari 2025 het eerste empirische rapport over hoe statelijke actoren Gemini misbruiken. De oppervlakkige lezing, "aanvallers gebruiken AI een beetje voor phishing", mist de diepere conclusie volledig. Generatieve AI wordt door statelijke actoren ingezet als cognitieve infrastructuurlaag bovenop bestaande cyber- en beïnvloedingsoperaties. Niet als autonome superhacker, maar als frictieverlagende, schaalvergroterende en kenniscomprimerende laag in de operationele keten. 19| 20|Het 32-pagina tellende rapport "Adversarial Misuse of Generative AI" is het eerste in zijn soort: geen theoretisch onderzoek, geen lab-experiment, maar empirische data van wat GTIG daadwerkelijk zag op Gemini. De analyse combineert Mandiant threat intelligence met Google's platformtelemetrie en LLM-assisted analysis om promptactiviteit van bekende APT- en information operations (IO) actoren te analyseren. De dataset omvat groepen uit meer dan 20 landen. 21| 23| 24|## De centrale these: AI als stafafdeling, niet als wapen 25| 26|Google's eigen conclusie is genuanceerd: "While we do see threat actors using generative AI to perform common tasks like troubleshooting, research, and content generation, we do not see indications of them developing novel capabilities." 27| 28|Dat klinkt geruststellend. Maar "geen nieuwe capability" is niet hetzelfde als "geen nieuw risico". 29| 30|Een actor die dezelfde aanval vijf keer sneller, in twaalf talen, met betere context, minder fouten en lagere kosten kan uitvoeren, verandert de verdedigingsbalans fundamenteel. Het rapport wijst niet op een singularity-risico, het wijst op industrialisering van offensieve kennisarbeid. 31| 32|De kernframing: AI wordt niet primair misbruikt als wapen. AI wordt misbruikt als stafafdeling. 33| 34|De aanvaller krijgt ineens een junior malware-analist, OSINT-onderzoeker, vertaler, campaign strategist, scripting assistant, helpdesk engineer, cloud-docs interpreter en social engineer in één interface. Dat verlaagt niet alleen de drempel voor laagvolwassen actoren, maar verhoogt ook de throughput van volwassen APT-groepen. 35| 36|## De methodologische nuance: wat meet Google wél en niet? 37| 38|Het rapport meet misbruik binnen Gemini-observeerbare activiteit. Dat is tegelijk een kracht en een beperking. 39| 40|De kracht: Google heeft uitzonderlijke telemetry, actor-tracking en correlatievermogen door de combinatie van Mandiant intelligence met platformdata. 41| 42|De beperking: de dataset kan blind zijn voor lokale LLM's, private inference, underground models, open-source uncensored deployments, agentic frameworks, API-gebaseerd misbruik buiten Gemini, en state-owned AI-infrastructuur. Google benoemt dit impliciet bij Rusland, het lage Gemini-gebruik door Russische APT's kan wijzen op operationele veiligheid: ze vermijden Westerse platforms, gebruiken Russische AI-tools of hosten lokaal. 43| 44|De wetenschappelijk correcte formulering is: "Binnen Gemini-observeerbare activiteit zien we vooral acceleratie van bestaande TTP's, geen robuust bewijs voor nieuwe AI-native offensieve capabilities." Niet: "AI is nog geen serieus dreigingsprobleem." 45| 46|## De tweedeling die elke organisatie moet begrijpen 47| 48|Google maakt een cruciaal onderscheid tussen twee vormen van AI-misbruik: 49| 50|| Type | Beschrijving | Huidige observatie | Toekomstig risico | 51||---|---|---|---| 52|| AI-assisted misuse | Mens gebruikt LLM als assistent voor research, code, content, troubleshooting | Hoog | Zeer hoog | 53|| AI-executed misuse | Model/agent voert acties uit via tools, credentials, browser, shell, API's | Laag in rapport | Extreem hoog | 54|| AI-native misuse | Nieuwe aanvalsklasse die zonder AI nauwelijks mogelijk is | Niet overtuigend zichtbaar | Onzeker, stijgend | 55|| AI-versterkte IO | Influence operations met schaal, lokalisatie, persona's en distributieoptimalisatie | Hoog | Zeer hoog | 56| 57|De strategische fout die veel organisaties maken: ze beveiligen alleen AI-output, terwijl het echte risico verschuift naar AI-mediated action. Zodra een LLM toegang krijgt tot tools, SaaS, browser, shell, CI/CD, repositories, ticketsystemen, cloud consoles, data lakes of identity stores, verandert het risicoprofiel radicaal. Een chatbot is een tekstinterface. Een agent is een operationele actor. 58| 59|## De jailbreak-realiteit: 0% succesratio 60| 61|Een van de meest significante bevindingen: geen enkele jailbreak-poging slaagde. 62| 63|> "Rather than engineering tailored prompts, threat actors used more basic measures or publicly available jailbreak prompts in unsuccessful attempts to bypass Gemini's safety controls." 64| 65|APT-actoren kopieerden publiek beschikbare jailbreak prompts van GitHub, plakten ze in Gemini en voegden kleine variaties toe. Gemini weigerde consistent. De actors gaven het op en probeerden niet verder. 66| 67|Dit is opvallend. De geavanceerdste government-backed threat actors ter wereld, met budgets, tijd en expertise, konden Gemini's safety controls niet breken. De "jailbreak-apocalyps" manifesteert zich niet in de praktijk. Maar Google's safety richt zich primair op explicit misuse, expliciete malware-verzoeken. De moeilijkere klasse is dual-use ambiguity: vragen die in isolatie normaal lijken, maar in context kwaadaardig zijn. 68| 69|## De AI-augmented kill chain: frictieverlaging in elke fase 70| 71|De traditionele cyber kill chain gaat uit van fases: reconnaissance, weaponization, delivery, exploitation, installation, C2, actions on objectives. Het rapport laat zien dat AI niet één fase raakt, maar de cognitieve kosten van vrijwel elke fase verlaagt. 72| 73|| Kill chain fase | Klassieke frictie | AI-effect | Verdedigingsimplicatie | 74||---|---|---|---| 75|| Reconnaissance | Handmatig OSINT-werk | Snellere synthese, betere target profiles | External attack surface management, executive exposure monitoring | 76|| Weaponization | Codekennis, tooling, foutoplossing | Scriptontwikkeling en troubleshooting versnellen | Secure endpoint baselines, behavior-based detection | 77|| Delivery | Taal, timing, persona, context | Betere phishing en lokalisatie | Phishing-resistant MFA, identity verification | 78|| Exploitation | CVE-begrip, PoC-interpretatie | Snellere vulnerability research | KEV/EPSS/SBOM-prioritering | 79|| Installation | Platform-specifieke commando's | Sneller aanpassen aan omgeving | EDR, application control, least privilege | 80|| C2 / automation | Infrastructure setup | Sneller hosting, routing, automation | DNS, proxy, egress monitoring | 81|| Lateral movement | AD, Kerberos, SMB, logs | Minder syntax- en toolfrictie | AD hardening, tiering, PAM, detections | 82|| Exfiltration | Data vinden, compressie, cloud upload | SaaS-exfil en scripts eenvoudiger | DLP, CASB, SaaS anomaly detection | 83|| Influence / impact | Contentvolume, tone, language | Campagnes op schaal | Brand monitoring, IO playbooks | 84| 85|De essentie: AI verschuift de bottleneck van "kan de actor dit technisch uitvoeren?" naar "kan de defender snel genoeg anomalieën herkennen?". 86| 87|## Actoranalyse: vier patronen van cognitieve outsourcing 88| 89|### Iran: phishing-fabriek op schaal 90| 91|Iraanse APT's waren de zwaarste Gemini-gebruikers. APT42, verantwoordelijk voor meer dan 30% van het Iraanse APT-gebruik, gebruikte AI niet simpelweg om phishingmails te genereren, maar voor target-contextualized persuasion engineering: 92| 93|- Reconnaissance op individuele beleids- en defensie-experts 94|- Thema-afstemming op cybersecurity en defensie 95|- Culturele en linguïstische lokalisatie 96|- Herformulering richting geloofwaardige persona's 97|- Contentproductie op schaal 98| 99|Voor security teams betekent dit dat awareness-training gebaseerd op slechte grammatica dood is. Phishingdetectie moet verschuiven van taalindicatoren naar contextuele anomalieën, identity assurance, out-of-band verificatie en phishing-resistant MFA. 100| 101|### China: AI als post-compromise operator manual 102| 103|De Chinese use cases zijn technisch het meest relevant. GTIG beschrijft dat PRC-actoren Gemini gebruikten op een manier die "leek op een IT-admin die taken automatiseert of troubleshoot", maar in kwaadaardige context ondersteunt dit lateral movement, privilege escalation, data-exfiltratie en detection evasion. 104| 105|De voorbeelden zijn enterprise-nachtmerries: Active Directory-commando's, Windows Event Log access op afstand, Microsoft Exchange via password hash, OneDrive bulk upload, Impacket-troubleshooting, TLS 1.3 visibility, JWT-security, reverse engineering van Carbon Black EDR-componenten, self-signed certificate in AD, en silent deployment van een Outlook VSTO plug-in. 106| 107|Dit is de echte alarmbel. Niet omdat Gemini "malware schrijft", maar omdat een LLM technische frictie in post-exploitation verlaagt. In mature intrusions is het meeste werk geen Hollywood-hacking maar syntactische ellende: command flags, codefouten, encodings, logs, protocolgedrag, library bugs, directory queries, cloud CLI's, authenticatiefouten. LLM's zijn extreem goed in precies dat soort frictiereductie. 108| 109|Voor PRC-achtige actoren functioneert AI als een living operator manual voor heterogene enterprise-omgevingen. Dat raakt vooral organisaties met complexe hybride infrastructuur: AD, Exchange, VMware, EDR, cloud storage, legacy apps, SaaS en meerdere identity planes. 110| 111|### Noord-Korea: economische infiltratie via AI 112| 113|Noord-Koreaanse actoren gebruikten Gemini voor meerdere attack lifecycle-fases, maar het meest onderscheidende element is de clandestiene IT-worker threat. GTIG observeerde gebruik voor cover letters, job research, salarisinformatie, freelance Discord servers, voorstellen en job postings. Dit ondersteunt Noord-Korea's pogingen om met valse identiteiten freelance of fulltime IT-werk bij Westerse bedrijven te verkrijgen. 114| 115|Dit is geen klassieke cyberaanval. Dit is identity supply chain compromise. Organisaties denken aan supply chain als software dependencies, SBOM en packages. Dit rapport toont een menselijke supply chain: medewerkers, freelancers, contractors, platformwerkers en remote development capaciteit. AI maakt die identiteitsmaskerade geloofwaardiger door taal, cv's, proposal writing, interviewvoorbereiding en persona-consistentie te verbeteren. 116| 117|Je kunt je pipeline technisch hardenen, maar als een gecompromitteerde of frauduleuze contractor toegang krijgt tot GitHub, CI/CD, cloud credentials en Slack, zit de dreiging al binnen je delivery system. 118| 119|### Rusland: afwezigheid als strategisch signaal 120| 121|GTIG zag beperkt Gemini-gebruik door Russische APT's, slechts drie groepen, voornamelijk benign activiteit. De verklaring is waarschijnlijk operationele discipline: Russische actoren vermijden Westerse platforms die hun activiteit monitoren. Ze gebruiken vermoedelijk Russische LLM's of lokaal gehoste modellen. 122| 123|Voor intelligence-analyse geldt hier: absence of evidence is not evidence of absence. Laag zichtbaar gebruik mag niet worden geïnterpreteerd als laag werkelijk gebruik. Het kan juist wijzen op hogere operationele discipline. De meest volwassen actor zal publieke LLM's gebruiken voor laag-risico taken en eigen infrastructuur voor gevoelige workflows. 124| 125|Russische IO-actoren onderzochten daarnaast actief het generatieve AI-landschap: tools voor online chatbots, developer frameworks voor LLM-interactie, en contentanalyse-opties. Dit wijst op interesse in native AI-capabilities op eigen infrastructuur. 126| 127|## Waarom "geen nieuwe capability" toch een ernstig strategisch risico is 128| 129|Het rapport stelt dat "current LLMs on their own are unlikely to enable breakthrough capabilities for threat actors." Maar die toevoeging, on their own, is de hele crux. 130| 131|Een geïsoleerde LLM zonder tools, zonder credentials, zonder persistent memory, zonder execution environment en zonder API's is begrensd. Maar de beweging in enterprise AI is juist richting: 132| 133|- Agenten met tool access 134|- RAG op interne kennis 135|- Autonome workflow-executie 136|- Browser automation 137|- Code execution 138|- CI/CD-integratie 139|- Long-term memory en multi-agent orchestration 140| 141|Dat verandert de dreiging van "LLM geeft advies" naar "agent voert taken uit". Daarmee worden klassieke safety guardrails onvoldoende. Dan is runtime governance nodig: identity, authorization, policy enforcement, auditability, rate limits, approvals, sandboxing en kill switches. 142| 143|## Van modelveiligheid naar operationele AI-control 144| 145|Veel organisaties benaderen AI-governance nog als compliance-dossier: beleid, principes, register, DPIA, AI Act-classificatie. Dit rapport laat zien dat dat onvoldoende is. Misbruik manifesteert zich operationeel, in prompts, workflows, accounts, scripts, cloudacties, SaaS, contentcampagnes en identity fraud. 146| 147|AI-governance moet verschuiven naar een control plane: 148| 149|| Governance laag | Vraag | Control objective | 150||---|---|---| 151|| Strategy | Waar mag AI waarde creëren? | Use-case portfolio, risk appetite | 152|| Policy | Wat mag niet? | Acceptable use, prohibited use, human accountability | 153|| Identity | Wie of wat gebruikt AI? | User identity, agent identity, workload identity | 154|| Context | Welke data krijgt AI? | Data classification, RAG filtering, DLP | 155|| Tooling | Welke acties mag AI uitvoeren? | Scoped permissions, least privilege, tool registry | 156|| Runtime | Wat gebeurt er nu? | Telemetry, prompt/output monitoring, behavioral analytics | 157|| Assurance | Werkt het veilig? | Red teaming, evaluations, misuse testing | 158|| Response | Wat als het misgaat? | AI incident response, containment, evidence preservation | 159| 160|Google beschrijft eigen maatregelen zoals safety guardrails, policy guidelines, misuse detection, threat intelligence feedback loops, threat modeling en red teaming tegen indirect prompt injection. Maar organisaties moeten dit vertalen naar hun eigen AI operating model, anders blijven ze afhankelijk van vendor-safety terwijl het grootste risico in integratie, context en tool permissions zit. 161| 162|## Wat SOC en detection engineering moeten doen 163| 164|De meeste SOC's gaan dit verkeerd aanpakken door te zoeken naar "AI-generated phishing". Dat is een zwakke detectiestrategie, want goede AI-content lijkt juist normaal. Detecteer niet de AI-stijl, detecteer de operatie. 165| 166|Sterke detection hypotheses: 167| 168|- Een gebruiker ontvangt perfect gelokaliseerde communicatie die vraagt om identity reset, document review, payment change of secure portal login, afkomstig van een ongebruikelijke relatie of timing 169|- Een developer workstation vertoont plotseling scripting-activiteit, command-line iteraties, cloud CLI calls en externe documentatiebezoeken vlak voor ongebruikelijke repo- of pipeline-activiteit 170|- Een account voert AD-enumeratie, Event Log queries, Exchange access, OneDrive bulk upload of Impacket-achtig netwerkgedrag uit na een phishing- of VPN-anomalie 171|- Een contractor-identity gebruikt afwijkende werktijden, VPN-locaties, device fingerprints, copy-paste patronen en krijgt snel toegang tot code of cloud 172|- Een interne AI-agent maakt tool-calls buiten normale workflowvolgorde 173| 174|Voor detection-as-code betekent dit: bouw correlatieregels over identity, endpoint, SaaS, cloud, code repositories, AI gateway en network telemetry, niet alleen mailsecurity. 175| 176|## De werkelijke enterprise risico's 177| 178|| Risico | Mechanisme | Impact | Prioriteit | 179||---|---|---|---| 180|| AI-versterkte spear phishing | Target recon, cybersecurity content en lokalisatie via AI | Hoog | P1 | 181|| Snellere CVE weaponization | AI voor publieke CVE-research en exploitbegrip | Hoog | P1 | 182|| Post-compromise acceleration | AI voor AD, Exchange, Impacket, logs, OneDrive na initiële toegang | Zeer hoog | P1 | 183|| Identity supply chain compromise | AI voor cover letters, job research, proposals door DPRK IT workers | Zeer hoog | P1 | 184|| AI-versterkte influence operations | AI voor content, persona's, SEO, social campaigns op schaal | Hoog | P2 | 185|| Agentic tool abuse | AI-agent met te brede rechten die acties uitvoert | Zeer hoog | P1 | 186|| Detection fatigue | Meer varianten, meer talen, meer volume door AI-schaal | Hoog | P1 | 187| 188|## De blinde vlek: content safety versus contextual security 189| 190|Google's conclusie dat Gemini's safety controls kwaadaardige expliciete verzoeken vaak blokkeerden, adresseert vooral explicit misuse. De moeilijkere klasse is dual-use ambiguity. PRC-voorbeelden lijken op legitiem IT-beheer: AD-commando's, Event Logs, TLS 1.3 visibility, JWT-security, graph databases, Exchange, OneDrive. In isolatie normale vragen. In context kwaadaardig. 191| 192|Daar zit de kern van het probleem: content safety kan expliciete malwarevragen blokkeren, maar contextual security moet kwaadaardige intentie in normale technische vragen herkennen. Enterprise controls moeten daarom niet alleen promptinhoud beoordelen, maar ook actorcontext, sessiehistorie, toolgebruik, dataclassificatie en gedragsketens. 193| 194|## De fundamentele verschuiving 195| 196|Google's rapport is belangrijk omdat het de hype corrigeert én tegelijk het risico verhoogt. 197| 198|Het corrigeert hype omdat GTIG geen overtuigend bewijs ziet dat APT's via Gemini volledig nieuwe aanvalscapaciteiten ontwikkelen. Het verhoogt risico omdat het aantoont dat statelijke actoren AI al operationeel gebruiken als cognitieve infrastructuurlaag, als versneller voor bestaande kill chains, influence operations en identity deception. 199| 200|Generatieve AI verandert cyber niet doordat elke aanvaller ineens superieur wordt. Het verandert cyber doordat kenniswerk in aanvallen goedkoper, sneller, meertaliger, consistenter en schaalbaarder wordt. 201| 202|De verdedigingsagenda moet verschuiven van "hebben wij AI-beleid?" naar "hebben wij een AI control plane?", met identity, authorization, policy enforcement, auditability, rate limits, approvals, sandboxing en kill switches als operationele realiteit, niet als compliance-documentatie. 203| 204|--- 205| 206|Bron: Google Threat Intelligence Group (2025). "Adversarial Misuse of Generative AI." 32 pagina's. services.google.com/fh/files/misc/adversarial-misuse-generative-ai.pdf 207|