Edge AI met FHE: hoe split inference de cloud overbodig maakt voor gevoelige data

De cloud is niet langer de enige plek waar AI-inference draait. Dit geldt zeker voor gevoelige data in de publieke sector. Nederlandse overheden, zorginstellingen en financiële diensten willen AI dicht bij de bron houden. Op edge-apparaten. Maar hoe doe je dat zonder privacy op te offeren?

Een recent paper uit augustus 2026 (arXiv:2608.01148) beschrijft een aanpak die dit mogelijk maakt. Het gaat om split inference met fully homomorphic encryption (FHE). Het framework gebruikt het IoT-eindapparaat als trust anchor. Het apparaat voert het plaintext model-prefix lokaal uit. Het versleutelt de split-activatie met FHE. De secret key blijft lokaal. Edge en cloud werken alleen op ciphertexts. Het resultaat is een 12.9x speedup versus full-cloud FHE op CIFAR-10.

De latency-optimalisatie maakt FHE praktisch toepasbaar. Dit werkt voor real-time edge-scenario's. Sovereign AI in Nederland wordt zo mogelijk.

Wat is split inference met FHE?

Split inference verdeelt een neuraal netwerk over meerdere partijen. Het model bestaat uit een prefix op het edge-apparaat. Een suffix draait in de cloud. De activatie na de split wordt versleuteld met FHE. De cloud rekent op ciphertexts verder. De plaintext blijft onzichtbaar.

Het nieuwe framework voegt daar een adaptieve laag aan toe. Het kiest dynamisch waar de split plaatsvindt. Dit hangt af van de beschikbare rekenkracht en netwerkbandbreedte. Dat is nodig voor IoT-apparaten met beperkte resources.

De paper rapporteert een 12.9x speedup ten opzichte van een volledige FHE-inference in de cloud. Dat klinkt misschien als een niche-benchmark. Het is een directe meting op CIFAR-10, een standaard dataset voor beeldclassificatie.

Waarom dit relevant is voor de Nederlandse overheid

Nederlandse overheden werken steeds vaker met AI op edge-apparaten. Denk aan camera's voor objectdetectie. Of sensoren voor omgevingsmonitoring. Soms zijn het wearables in de zorg. De data is vaak persoonsgebonden. Deze valt onder de AVG. Stuur je die data naar de cloud, dan loop je risico op datalekken. Onbedoelde verwerking is ook een gevaar.

BIO2 (Baseline Informatiebeveiliging Overheid) eist dat je data beschermt op het niveau van de verwerking. NIS2 en de AI Act voegen daar nog een laag aan toe. Split inference met FHE biedt een architectuur waarbij de data nooit in plaintext de edge verlaat. De cloud ziet alleen versleutelde activaties.

Dat is precies wat sovereign AI vraagt. Je hebt controle over data en model. Je bent niet afhankelijk van een cloudprovider die mogelijk onder buitenlandse jurisdictie valt.

Hoe werkt het in de praktijk?

Stel je een gemeentelijke camera voor die kentekenplaten scant voor parkeerhandhaving. Normaal stuur je de beelden naar een cloudservice. Met split inference draait een klein model lokaal op de camera. Het detecteert de kentekenplaat. Het versleutelt de activatievector met FHE. De cloud rekent de rest van het model uit. Dit is bijvoorbeeld matching met een database. De cloud ziet nooit de plaat.

De secret key blijft op de camera. Zelfs als de cloud wordt gecompromitteerd, lekt er geen plaintext.

De paper toont aan dat dit haalbaar is. De latency ligt dicht bij plaintext-inference. De 12.9x speedup komt doordat de cloud niet de volledige FHE-last draagt. Het edge-apparaat doet het dure plaintext-werk. De cloud doet alleen de lichtere FHE-operaties.

Wat betekent dit voor compliance?

De AVG vereist dat je passende technische maatregelen neemt om persoonsgegevens te beschermen. FHE is een van de weinige technieken die end-to-end encryptie van AI-verwerking mogelijk maakt. Split inference voegt daar een praktische latency-optimalisatie aan toe.

De AI Act classificeert AI-systemen op basis van risico. Edge AI voor gezichtsherkenning of biometrie valt vaak in de hoogste categorie. Door de data op de edge te houden, verklein je het aanvalsoppervlak. Dat maakt het eenvoudiger om aan de transparantie- en auditverplichtingen te voldoen.

NORA (Nederlandse Overheid Referentie Architectuur) schrijft voor dat informatievoorziening veilig moet zijn. Deze aanpak voldoet aan die eis.