Federated learning: waarom privacy en integriteit één aanvalsvlak delen

Primaire bron: Federated Art Chase: Privacy Leakage and Data Poisoning in Federated Fine-Tuning; volledige PDF.

Lead: de centrale verschuiving

De centrale verschuiving in federated fine-tuning is dat privacybescherming en modelintegriteit niet langer gescheiden optimalisatieproblemen zijn, maar mechanistisch vervlochten: elke gradiëntupdate draagt zowel trainingsinformatie als manipuleerbare signalen. Het materiële probleem is hoe een systeem kan leren zonder de trainingsdata bloot te leggen, terwijl diezelfde beschermde updates door kwaadwillende deelnemers kunnen worden vergiftigd. Ik lees in dit paper dat de auteurs een expliciete trade-off rapporteren: verdedigingen tegen label-lekkage via gradient-compressie verzwakken de detectie van poisoned updates, omdat beide mechanismen afhankelijk zijn van gradiëntstatistieken die onderscheidbaar moeten blijven. Voor Nederlandse publieke toepassingen betekent dit dat de keuze voor federated learning als privacy-architectuur een secundair beveiligingsdomein opent dat in het ontwerp moet worden begrensd.

Claim C1

Federated fine-tuning lekt labels via gradient updates.

Paper demonstreert reconstructie van labelinformatie uit gradient updates tijdens federated fine-tuning. (bron).

Federated fine-tuning lekt labels via gradient updates. De primaire bron demonstreert dat labelinformatie reconstructeerbaar is uit gradiëntupdates tijdens het federatief fijnafstemmen van vision-language modellen: een aanvaller kan de tekstuele labels van andere deelnemers herleiden zonder de trainingsdata zelf te zien. Dit is een observationeel resultaat: de reconstructie werkt cross-modal, waarbij visuele gradiënten tekstuele labels blootleggen.

De interpretatieve stap is dat dit lek inherent is aan het fine-tuningmechanisme, niet aan implementatiefouten. De auteurs tonen aan dat gradient-compressie als verdediging de detectie van vergiftigde updates verzwakt: beveiligingsmechanismen concurreren om dezelfde gradiëntstatistieken. Dit vervlecht het eerder beschreven probleem: privacybescherming en modelintegriteit delen een enkele aanvalsvlak.

Onzekerheid: de reconstructie-afhankelijkheid van modelarchitectuur en batchgrootte is niet volledig gekwantificeerd. Voor Nederlandse publieke toepassingen betekent dit dat federated learning als privacy-architectuur een secundair lekdomein introduceert dat in het ontwerp expliciet begrensd moet worden: de gradiëntupdate is zelf geen vertrouwde grens.

Claim C2

Federated fine-tuning is vatbaar voor data poisoning die modelprestaties degradeert en backdoor triggers veroorzaakt.

Paper toont dat injecteren van vergiftigde data in een subset van clients leidt tot gerichte misclassificatie na fine-tuning. (bron).

Federated fine-tuning is vatbaar voor data poisoning die modelprestaties degradeert en backdoor triggers veroorzaakt. De primaire bron toont dat een aanvaller met controle over een subset van clients vergiftigde data kan injecteren die na aggregatie leidt tot gerichte misclassificatie bij specifieke inputs. Het mechanisme werkt cross-modal: visuele backdoor-triggers worden gekoppeld aan gemanipuleerde tekstuele labels in de gradiëntupdates van de gecompromitteerde clients.

Dit is observationeel: de auteurs meten succesvolle aanvallen waarbij het geaggregeerde model fouten maakt die alleen activeren bij de geïnjecteerde triggerpatronen, terwijl normale prestaties ongewijzigd lijken. De interpretatieve stap is dat deze backdoor persistent is door de federatieve aggregatie heen omdat de gemiddelde gradiënt de malafide updates niet uitfiltert zonder bijkomende detectie. Relevante onzekerheid: de aanvalsefficacy varieert met het aantal gecompromitteerde clients en de aggregatierule, maar deze afhankelijkheid is niet volledig gekarakteriseerd voor Nederlandse schaalconfiguraties. De claim vervlecht met de centrale hypothese: dezelfde gradiëntupdates die privacy beschermen door data-lokalisatie dragen ongescheiden manipuleerbare signalen, waardoor het ontwerp expliciet moet begrenzen wie gradiënten mag bijdragen en hoe deze worden gevalideerd.

Claim C3

Toepassen van differentiële privacy tijdens federated fine-tuning vermindert label leakage maar verlaagt nauwkeurigheid significant.

Paper evalueert toevoegen van differentiële privacy-ruis en rapporteert trade-off tussen privacy en model-accuratesse. (bron).

Toepassen van differentiële privacy tijdens federated fine-tuning vermindert label leakage maar verlaagt nauwkeurigheid significant. De primaire bron rapporteert dat toevoegen van DP-ruis (differentiële privacy) aan gradiëntupdates de reconstructie van labels door aanvallers belemmert. Dit is observationeel: de ruis maskeert de gradiëntstatistieken die label-inferentie mogelijk maken, zoals eerder beschreven bij C1.

De interpretatieve stap is dat deze bescherming een directe kostenfunctie heeft: het model verliest predictive performance omdat dezelfde gradiëntsignalen die labels lekken ook essentieel zijn voor leren. De auteurs positioneren dit expliciet als trade-off, niet als oplossing. Onzekerheid: de precieze afbreekpunten van privacy-budget versus accuraatheid zijn afhankelijk van taak en modelgrootte, niet gekwantificeerd voor typische Nederlandse publieke use cases. Voor het ontwerp betekent dit dat DP-gebruik een expliciete beslisdimensie wordt: privacykosten zijn meetbaar in modelkwaliteit, niet alleen in computationele overhead. De claim versterkt de centrale hypothese: beschermingsmechanismen concurreren om gradiëntexpressiviteit, wat het begrenzen van het ontwerpruimte noodzakelijk maakt.

Hypothese H1

Onder federated fine-tuning zonder aanvullende privacybescherming treedt label leakage op via gradient updates.

Label leakage via gradient updates ontstaat omdat federated fine-tuning gradiënten ongefilterd van client naar server transporteert. De reconstructie werkt cross-modal: visuele gradiënten dragen tekstuele labelinformatie, zodat een aanvaller zonder toegang tot trainingsdata de labels van andere deelnemers inferreert. Het mechanisme is inherent aan het fine-tuningproces, niet aan implementatiefouten.

De centrale assumption is dat gradiëntupdates voldoende informatie bevatten voor leren maar onvoldoende voor reconstructie; dit blijkt onjuist. Expected observation: labelreconstructie slaagt zonder aanvullende a priori kennis over de dataset. Discriminator: of gradient-compressie het lek verhindert zonder modelprestaties te schaden - de bron rapporteert dat compressie de detectie van vergiftigde updates verzwakt, wat een negatieve discriminator oplevert. Confidence: hoog voor het bestaan van het lek, gemiddeld voor de generalisatie naar alle architectuurbatchcombinaties.

Voor Nederlandse publieke toepassingen betekent dit dat federated learning als privacy-architectuur een expliciet begrensd secundair lekdomein introduceert: de gradiëntupdate is zelf geen vertrouwde grens.

Hypothese H2

Onder federated fine-tuning met robuuste aggregatie zonder differentiële privacy treedt geen significante label leakage op, maar model blijft vatbaar voor data poisoning.

Robuuste aggregatie zonder differentiële privacy filtert malafide gradiënten onvoldoende. De bron toont dat aggregatieregels die uitschieters onderdrukken (zoals getrimde middelen) het backdoor-effect van poisoned updates verminderen maar niet elimineren. Labelreconstructie blijft echter mogelijk omdat de gradiëntstatistieken die aggregatie benut voor robuustheid niet samenvallen met die welke labelinformatie dragen.

Supporting evidence: de auteurs rapporteren dat aggregatie zonder DP-randomisatie geen significante vermindering van label-lekkage oplevert. Contradicting evidence E1: dezelfde bron toont dat gradient-compressie (een robuustheidsmaatregel) de detectie van vergiftigde updates verzwakt, wat impliceert dat robuustheidsmechanismen onderling conflicteren en geen van beiden volledig werkt. Assumption: aggregatieregels zijn onafhankelijk van de onderliggende dataverdeling; bij heterogene clientdata verliest trimmen effectiviteit. Expected observation: backdoor-persistentie neemt af met strengere trimdrempels, maar labelreconstructie blijft constant. Discriminator: of een aggregatieregel beide aanvallen tegelijk mitigeert zonder DP-kosten; de bron geeft hier geen positief antwoord. Confidence: gemiddeld voor de scheiding tussen beide kwetsbaarheden, hoog voor het falen van enkelvoudige robuustheid.

Voor Nederlandse publieke toepassingen betekent dit dat robuuste aggregatie geen substituut is voor expliciete gradiëntvalidatie: de twee beveiligingsdoelen vereisen gescheiden mechanismen in het ontwerp.

Hypothese H3

Onder federated fine-tuning met homomorfe encryptie treedt geen label leakage op en data poisoning heeft geen effect.

Homomorfe encryptie van gradiëntupdates zou theoretisch zowel label-lekkage als data-poisoning elimineren: de server ziet alleen versleutelde waarden waarover het rekenkundig kan opereren zonder te ontsleutelen. Het mechanisme is dat gradiëntstatistieken niet langer inspecteerbaar zijn voor reconstructie of outlier-detectie. De assumption is dat de encryptie-orakel correct is geïmplementeerd en dat aggregatie over versleutelde ruimte equivalent blijft aan aggregatie over platte tekst. Expected observation: geen labelreconstructie mogelijk zonder decryptiesleutel, en geen onderscheid tussen poisoned en schone updates door de server. Discriminator: of een kwaadwillende client de versleuteling manipuleert zodat de homomorfe operatie een gemanipuleerd resultaat produceert; dit vereist dat de encryptie zelf niet is gecompromitteerd. Supporting evidence: het plan specificeert geen empirische evaluatie van deze configuratie. Contradicting evidence: de bron toont dat alle verdedigingen die gradiëntexpressiviteit beperken (waaronder encryptie-overhead en benodigde compressie) de detectie van vergiftigde updates verzwakken. Confidence: laag voor de gecombineerde claim; homomorfe encryptie in federated fine-tuning van vision-language modellen is computationeel ongerealiseerd op schaal en het plan bevat geen measurement. Voor Nederlandse publieke toepassingen betekent dit dat deze configuratie een theoretisch begrensd ontwerpruimte markeert, geen operationeel alternatief.

Discriminators: wat onderscheidt de hypotheses?

Als bij federated fine-tuning zonder privacybescherming de reconstructiescore van labels ≥ 0.2 is, dan is H1 waarschijnlijker dan H2; blijft de score onder 0.05, dan H2.

De discriminator tussen H1 en H2 materialiseert in de reconstructiescore van labels bij federated fine-tuning zonder privacybescherming. Een score ≥ 0.2 bevestigt dat gradiëntupdates ongefilterd labelinformatie transporteren: de visuele gradiënten dragen tekstuele labels cross-modal, waardoor reconstructie door een aanvaller slaagt zonder toegang tot trainingsdata (bron). Dit maakt H1 waarschijnlijker: het lek is inherent aan het fine-tuningmechanisme, niet aan implementatiefouten. Blijft de score onder 0.05, dan wijst dit op een intrinsieke beperking van gradiëntexpressiviteit voor labelinferentie, wat H2 ondersteunt: robuuste aggregatie zonder differentiële privacy zou dan voldoende beschermen tegen label leakage, ook als data poisoning persisteert. De grenswaarden zijn expliciet gekozen: 0.2 markeert operationeel relevante reconstructie, 0.05 signaleert effectieve verhulling. Voor Nederlandse publieke toepassingen is dit het beslismoment: valt de score in het onbepaalde interval ertussen, dan is geen van beide hypothesen discrimineerbaar en vereist het ontwerp expliciete gradiëntvalidatie als gescheiden mechanisme.

Falsification: wat zou de conclusie verzwakken?

Onder federated fine-tuning zonder aanvullende privacybescherming wordt label leakage NIET waargenomen: reconstructiescore blijft ≤ 0.05.

Meet reconstructiescore van labels uit ontvangen gradient updates en vergelijk met drempel 0.05.

De huidige conclusie dat label leakage inherent is aan federated fine-tuning zonder privacybescherming, verzwakt materieel als de reconstructiescore van labels uit ontvangen gradient updates systematisch ≤ 0,05 blijft. Dit zou betekenen dat gradiëntupdates onvoldoende expressiviteit bevatten voor cross-modale labelinferentie, ondanks het observationele mechanisme dat de bron beschrijft. De observable test is direct: meet de reconstructiescore van tekstuele labels uit visuele gradiëntupdates en vergelijk met de drempel 0,05. Wordt deze drempel niet overschreden, dan is het lek geen inherent eigenschap van het fine-tuningmechanisme maar mogelijk gebonden aan specifieke architectuur- of batchconfiguraties die het plan niet volledig heeft gekwantificeerd. Voor het Nederlandse ontwerpruimte betekent dit dat de keuze voor federated learning als privacy-architectuur dan niet automatisch een secundair lekdomein introduceert: de gradiëntupdate zou onder die conditie een begrensd vertrouwde grens kunnen vormen zonder expliciete aanvullende bescherming.

Counterfactual: causale stresstest

Als differentiële privacy niet wordt toegepast, zou label leakage nog optreden ondanks robuuste aggregatie?

Als differentiële privacy afwezig is, lekt labelinformatie nog steeds via gradiëntupdates ondanks robuuste aggregatie. De bron toont dat aggregatieregels als getrimde middelen uitschieters onderdrukken die backdoor-poisoning veroorzaken, maar niet de gradiëntstatistieken die cross-modale labelreconstructie mogelijk maken (bron). Dit scheidt de twee beveiligingsdoelen mechanistisch: robuustheid richt zich op malafide clients, privacybescherming op gradiëntexpressiviteit zelf. Voor het Nederlandse ontwerpruimte betekent dit dat aggregatie geen substituut is voor expliciete gradiëntvalidatie of DP-ruis; beide mechanismen moeten gescheiden worden begrensd.

Invariant vs novelty: wat is werkelijk nieuw?

Gradient-deling onthult altijd enige informatie over lokale data.

Poisoned updates kunnen altijd modelgewichten beïnvloeden ongeacht modelgrootte.

Combinatie van label leakage en data poisoning in dezelfde federated fine-tuning cyclus is nog niet breed onderzocht.

Interactief effect van differentiële privacy en robuuste aggregatie op zowel privacy-bescherming als veiligheid.

De twee invarianten uit het plan bevestigen bestaande kennis: gradient-deling lekt altijd informatie, en poisoned updates beïnvloeden altijd gewichten. Dit is geen nieuw inzicht, maar het fundament waarop de analyse rust (bron). Wat werkelijk nieuw is, is de interactieve configuratie die het plan markeert: label leakage en data poisoning binnen dezelfde federated fine-tuning cyclus zijn nog niet systematisch gezamenlijk onderzocht. De bron toont dat deze co-occurrence niet additief werkt: verdedigingen tegen het ene kwetsbaarheid verzwakken detectie van het andere, omdat beide mechanismen concurreren om dezelfde gradiëntstatistieken.

Het plan identificeert een tweede potentieel nieuw domein: het interactieve effect van differentiële privacy en robuuste aggregatie op beide beveiligingsdoelen tegelijk. De bron rapporteert deze trade-off als observationeel gegeven, maar de implicatie is nieuw: het is niet alleen dat DP privacy kost in nauwkeurigheid, maar dat de combinatie van DP-ruis met robuuste aggregatie een niet-triviale optimalisatie vergt waarbij de beschermingsmechanismen zelf interfereren. Voor het Nederlandse ontwerpruimte volgt hieruit dat geen enkele verdedigingslaag afzonderlijk volstaat: het ontwerp moet expliciet de interferentie tussen privacy en integriteit begrenzen, niet beide doelen als gescheiden optimalisatie behandelen.

Onzekerheid: expliciete classificatie

Effectiviteit van verschillende aggregatie-algoritmen bij mitigeren van poisoning in heterogene client-datasets.

Impact van modelarchitectuur op hoeveelheid lekbare labelinformatie.

De effectiviteit van aggregatie-algoritmen bij mitigeren van poisoning in heterogene client-datasets is PLAUSIBLE met significante modelonzekerheid: trimde middelen en mediane aggregatie verminderen backdoor-persistentie in de bron, maar hun prestaties zijn niet gekarakteriseerd voor de data-heterogeniteit die typisch is in Nederlandse publieke sectoren (gezondheidsregio's, gemeentelijke silo's). De assumption dat client-data onafhankelijk verdeeld is, wordt in die context geschonden, wat de robustheidsgaranties ondermijnt zonder dat dit kwantitatief is gemeten (bron).

De impact van modelarchitectuur op lekbare labelinformatie is UNKNOWN met measurementonzekerheid: de bron demonstreert cross-modale reconstructie (visuele gradiënten, tekstuele labels) maar rapporteert geen systematische ablatie over architectuurbreedte, dieptelagen of batchgrootte. Dit betekent dat de generalisatie van het lekmechanisme buiten de geteste vision-language configuratie niet is vastgesteld. Voor het Nederlandse ontwerpruimte volgt hieruit dat elke afwijkende modelkeuze (kleinere klassificatoren, unimodale domeinen) een niet-gekalibreerde privacypositie oplevert: de gradiëntupdate kan minder lekken, maar kan ook meer, zonder dat het plan onderscheid biedt.

Handelingsperspectief

Deze analyse is relevant voor technisch architecten en privacy-officers bij publieke organisaties die federated learning overwegen voor gevoelige data, zoals gezondheidsregio's of intergemeentelijke samenwerkingen. Het concrete toetsingspunt: kunt u in uw ontwerp expliciet begrenzen dat gradiëntupdates zowel labelinformatie transporteren als manipuleerbare signalen dragen, en hebt u gescheiden mechanismen voor privacy en integriteit vastgelegd?

client_gradients = receive_from(clients)  # list of gradient tensors
dp_epsilon = config.privacy_budget         # float or None
robust_trim_ratio = config.trim_ratio      # float or None
if dp_epsilon is not None:
    noisy_gradients = [add_gaussian_noise(g, dp_epsilon) for g in client_gradients]
    # trade-off: privacy garandeert, maar vergiftigde updates moeilijker detecteerbaar
else:
    noisy_gradients = client_gradients

if robust_trim_ratio is not None:
    aggregated = trimmed_mean(noisy_gradients, robust_trim_ratio)
    # label leakage blijft mogelijk: robustheid richt zich op uitschieters, niet op reconstructie
else:
    aggregated = mean(noisy_gradients)
return {
    "model_update": aggregated,
    "poisoning_alert": detect_outliers(client_gradients),  # aparte check
    "privacy_cost": compute_privacy_spent(dp_epsilon) if dp_epsilon else None
}

Zie ook

• Federated inference is geen AVG-vrijwaring: de beveiligingsplicht blijft dwingend recht
• Kiezen tussen federated en gecentraliseerde data governance
• DPIA voor AI-systemen: wanneer en hoe
• BIO2 baseline informatiebeveiliging overheid: checklist

Bronnen

• Federated Art Chase: Privacy Leakage and Data Poisoning in Federated Fine-Tuning, arXiv:2610.21547