Wanneer logs juridisch bewijs worden - van runtime records naar toezichtbevindingen

Een agentic AI-systeem dat subsidieaanvragen afhandelt, produceert logging die technisch volledig is. Elke API-call, elke prompt, elke output wordt netjes vastgelegd. Toch blijft een vraag van de toezichthouder hangen: “Kon een mens ingrijpen voordat de beschikking de deur uitging?” De logs geven daar geen duidelijk antwoord op.

Dat vraagstuk staat centraal in een paper die deze week op arXiv verscheen: From Runtime Records to Legal Findings [1]. Het paper beschrijft wanneer logs niet alleen technisch correct zijn, maar ook juridisch voldoende om toezichtsbevindingen te onderbouwen. Voor Nederlandse overheidsorganisaties die werken met agentic AI, onder de AI Act, BIO2 of NIS2, zijn de conclusies direct relevant.

Wat de AI Act echt vraagt van logs

Artikel 14 van de AI Act verplicht menselijk toezicht op hoog-risico AI-systemen. Artikel 15 stelt dat logging verplicht is. Maar wat moet er concreet in die logs staan? De wet is daarover summier: “gebeurtenissen registreren die relevant zijn voor het identificeren van risico’s en voor toezicht.”

Het paper maakt die passage scherp. Het stelt dat een log pas juridisch bruikbaar is als je ermee twee vragen kunt beantwoorden:

1. Is er een grens overschreden? Bijvoorbeeld: heeft het systeem persoonsgegevens gebruikt buiten de vastgestelde doeleinden?
2. Kon een mens ingrijpen? Was er een moment waarop een mens reëel had kunnen ingrijpen voordat de beslissing effect kreeg?

Zonder antwoord op die vragen is een log technisch misschien indrukwekkend, maar juridisch onbruikbaar.

Van runtime record naar legal finding

Het paper introduceert een vertaling van ruwe runtime records naar legal findings. Een runtime record is alles wat een agentic systeem produceert: API-calls, tool-aanroepen, toestandsveranderingen, prompts, responses. Een legal finding is een concrete, toetsbare bewering over het gedrag van het systeem. Bijvoorbeeld: “Het systeem heeft persoonsgegevens gedeeld met een externe partij zonder dat een mens kon ingrijpen.”

Die vertaling vereist dat elk runtime record voldoet aan vier voorwaarden:

1. Compleetheid, alle relevante context is opgenomen, inclusief de beslissingsruimte van de agent op dat moment.
2. Integriteit, de logregel is onweerlegbaar en kan niet achteraf zijn aangepast.
3. Authenticiteit, de herkomst van de logregel is cryptografisch te verifiëren.
4. Temporaliteit, de volgorde van gebeurtenissen is duidelijk vastgelegd met een betrouwbare timestamp.

Zonder deze vier eigenschappen kan een toezichthouder geen bevindingen hard maken. Het paper noemt dit het LENS-framework (Legal Evidentiary Necessities for Supervision). Geen hype, gewoon een checklist.

Een voorbeeld uit de praktijk

Onlangs bij een klant, een uitvoeringsorganisatie die werkt aan een agentic AI-systeem voor vergunningverlening. Het systeem doorloopt zelfstandig de aanvraag, toetst aan regelgeving en stelt een conceptbeschikking op. Een medewerker moet die binnen 48 uur goedkeuren. Wordt dat niet gedaan, dan wordt de beschikking automatisch verzonden.

De logging die het systeem produceerde, zag er zo uit:

{
  "timestamp": "2026-07-06T09:12:33Z",
  "event": "decision_proposed",
  "case_id": "V-2026-00421",
  "output": "concept_beschikking.pdf"
}

Technisch correct. Maar juridisch ontoereikend. Want nergens blijkt of de controleur een notificatie heeft ontvangen, of de termijn van 48 uur is gestart, of het systeem de verzending heeft geblokkeerd totdat die termijn verstreek.

Wat wél nodig is, volgens het LENS-framework:

{
  "timestamp": "2026-07-06T09:12:33Z",
  "event": "human_oversight_required",
  "case_id": "V-2026-00421",
  "intervention_point": "pre_dispatch",
  "deadline": "2026-07-08T09:12:33Z",
  "notification_sent_to": "medewerker@organisatie.nl",
  "notification_channel": "email+push",
  "system_state": "awaiting_human_approval",
  "dispatch_blocked": true,
  "signature": "sha256:abc123..."
}

Met deze logregel kan een toezichthouder vaststellen: er was een interventiepunt, de mens had de kans om in te grijpen, en het systeem heeft die ruimte formeel gerespecteerd. Dat maakt het verschil tussen een technische log en een juridisch onderbouwd spoor.