Vergiftiging via de buren: waarom de vectorindex zelf een aanvalsoppervlak is
Het probleem zit in de zoekstructuur, niet in het document
De meeste aanvallen op retrieval-augmented generation gaan uit van exacte zoekopdrachten: wie een vergiftigd document dicht genoeg bij de vraag plaatst, staat bovenaan. Productiesystemen zoeken zo niet. Ze gebruiken een benaderende index zoals HNSW, een grafiek waarin de zoekactie maar een deel van de knopen bezoekt. Chen, Wang en Zhang laten zien dat precies die grafiekstructuur uit te buiten is.
De aanval: een hub met satellieten
De aanvaller werkt black-box, weet alleen dat het doelsysteem HNSW gebruikt, kent de index, de retriever en de toekomstige vragen niet, en kan alleen een klein aantal documenten plaatsen in publieke of externe bronnen die het systeem later indexeert. De studie gebruikt 40 of 60 vergiftigde documenten.
De kern is een Hub-Satellite-topologie. Satellieten liggen verspreid over verschillende delen van de onderwerpruimte en geven de zoekactie meerdere ingangen. Een hub zorgt dat vergiftigde documenten elkaar in de grafiek vinden, zodat het bereiken van één document de rest meeneemt. Elk document koppelt een doelentiteit aan een gewenste claim. In het voorbeeld van de auteurs wordt sapkuren aanbevolen bij diabetes.
Wat is gemeten
De onderzoekers testten acht onderwerpen in vier domeinen met gevolgen voor mensen: gezondheid, leefstijl, persoonlijke financiën en veiligheid in en om het huis.
- Een basisaanval haalt op een index van twee miljoen documenten nog 0,4 tot 6,0 procent retrieval-succes (bij 500.000 documenten maximaal 17,0 procent). De nieuwe aanval blijft boven de 72 procent.
- Het aandeel vragen waarvoor het antwoord de gewenste claim overneemt, bedraagt tot 31,29 procent.
- In domeinspecifieke indexen (PubMed, SEC-EDGAR, EPA-HERO) ligt het retrieval-succes bij twee miljoen documenten rond 63 tot 66 procent, met 25 tot 27 procent aanvalssucces.
- Met echte gebruikersvragen uit bestaande vraag-antwoordsets blijft het aanvalssucces op 24 tot 26 procent.
Waarom de gangbare verdediging tekortschiet
| Verdediging | Resultaat in de studie |
|---|---|
| Detectie van hubs (kenmerken van de graaf) | 0 procent van de vergiftigde documenten gedetecteerd |
| Clusteringfilter (RAGDefender) | verwijdert 21 tot 24 procent van de vergiftigde, maar 61 tot 63 procent van de goede documenten |
| Filter op perplexiteit | halveert de vergiftigde set alleen ten koste van 25,6 procent van de goede documenten |
| Vraag herschrijven | aanvalssucces vrijwel onveranderd (34,54 naar 34,53 procent) |
| Herranking | aanvalssucces blijft 26,7 tot 37,6 procent |
Let op de uitkomst bij het clusteringfilter: zelfs zonder vergiftigde documenten worden bijna 80 procent van de goede documenten verwijderd. Een filter dat zo ingrijpt, schaadt het systeem dat het moet beschermen.
Wat de studie niet laat zien
De tests draaien op indexen die uit bekende corpora zijn gebouwd, met door een model gegenereerde en echte vragen. Het aanvalssucces is gemeten met het eigen succescriterium van de auteurs. Een bepaalde productie-installatie met andere parameters, brondata en toezicht is niet onderzocht. Lees 31,29 procent als de hoogste gemeten waarde in de hoofdopzet, niet als bovengrens: bij sommige verdedigingstests lag het aanvalssucces hoger en een andere installatie kan gunstiger of ongunstiger uitpakken.
Wat u hiermee kunt doen
- Beheer wat de index in mag. De aanvaller heeft geen toegang tot uw systeem nodig, alleen tot een bron die u later indexeert. Leg per bron vast wie erin kan schrijven.
- Zie de index als vertrouwensgrens. Behandel toevoegingen aan de kennisbank zoals software-updates: herkomst, goedkeuring, terugdraaibaar.
- Meet op uitkomst, niet alleen op documenten. Controleer of veel antwoorden hetzelfde product of dezelfde claim aanbevelen. Dit is een eigen aanbeveling, niet een uitkomst uit de studie.
- Vertrouw niet op één filter. De geteste maatregelen hielden het niet tegen of kostten te veel nuttige documenten.
- Leg het vast in uw risicoanalyse. Voor organisaties die onder de NIS2-richtlijn vallen past dit bij de beheersmaatregelen; voor hoog-risico-AI-systemen sluit het aan op de eisen aan robuustheid en cyberbeveiliging in artikel 15 van de AI-verordening.
Zie ook
AI & Security Intelligence
Wekelijkse nieuwsbrief met AI updates, security alerts en compliance inzichten, direct in uw inbox.
Security & AI Operating Model
Advisory met executiekracht
Van BIO2 en NIS2 tot EU AI Act, embedded in uw operating model, niet als extern project. Maandelijks opzegbaar, met assessments als bewijsvoering.