Afgebakende proef uitgevoerd op 13 november 2026
Een lokale inferentiestap: contract, validator en statistiek
Een referentie-implementatie van een begrensde lokale inferentiestap: een extractie-contract met epistemische status, een drieledige validator en gepaarde statistiek voor regressiedetectie. Geen taalmodel in de loop; de model-uitvoer is gesimuleerd.
De vraag en de opzet
Kan een klein lokaal model betrouwbaar werk leveren als de discipline eromheen het afdwingt? Deze proef bouwt de validator-laag, niet het model: een extractie-contract met epistemische status, en een validator die per laag een andere foutklasse vangt. De model-uitvoer is gesimuleerd (foutief en correct) om de validator te toetsen, niet het model.
Vijf synthetische besluiten dienen als brondocumenten, één per moeilijkheidsklasse: ontkenning, ontbrekende informatie, tegenstrijdigheid, codeswitching en ingebedde instructies. Geen klantdata, geen echt besluit en geen modelprovider-aanroep.
De verwachtingen staan vóór de uitvoering vast: elke foutief-case moet worden afgewezen, elke correct-case volledig passeren, en de drie validatielagen moeten elk een andere foutklasse vangen.
Het extractie-contract
Het contract dwingt twee dingen af: epistemische status als enum (vastgesteld, vermoed of onbekend, geen lege-string-conventie) en causale veldvolgorde (broncitaat vóór elke interpretatie, zodat de interpretatie geconditioneerd wordt op het citaat en niet andersom).
oorzaak: { status: "vastgesteld" | "vermoed" | "onbekend", tekst?: string }Broncitaat en bron_offset gaan vóór oorzaak, verplichting, bedrag en datum.
Drie lagen, drie foutklassen
| Laag | Wat die vangt | Kosten |
|---|---|---|
| Structuur (JSON-schema) | ontbrekend verplicht veld, ongeldige enum-waarde | gratis (door constrained decoding) |
| Grounding | een citaat dat niet letterlijk in de bron staat; een offset die niet naar het citaat wijst | goedkoop (tekstvergelijking) |
| Entailment | een vastgesteld-claim tegenover een negatie; een bedrag dat niet in het citaat staat; instructie-achtige taal | duur (NLI-model, regelset of mens) |
De entailment-laag is bewust een regel-gebaseerde proxy. Echte entailment (ondersteunt het citaat de claim?) vraagt een aparte NLI-check of een mens; die grens wordt gemarkeerd met menselijke controle, niet stilletjes gepasseerd.
Gemeten uitkomst
| Fixture | Foutief (verwacht: afgewezen) | Correct (verwacht: goedgekeurd) |
|---|---|---|
| Ontkenning | afgewezen (negatie en inconsistent onbekend) | goedgekeurd |
| Ontbrekende informatie | afgewezen (verzonnen citaat) | goedgekeurd |
| Tegenstrijdigheid | afgewezen (bedrag-mismatch) | goedgekeurd |
| Codeswitching | niet getest | goedgekeurd |
| Ingebedde instructies | afgewezen (injectie) | goedgekeurd |
Alle 25 regressietests slagen. De validator vangt per laag een andere foutklasse: grounding vangt het verzonnen citaat, entailment vangt negatie en injectie, structuur vangt schema-overtredingen.
Er zijn nul modelprovider-aanroepen en nul providerkosten. Totale kosten zijn niet gemeten. Dit is een demonstratie van de validator-bedrading, geen modelbenchmark.
Gepaarde statistiek voor regressiedetectie
Een regressie tussen builds haal je niet uit twee losse percentages. Bij 200 testgevallen en 95 procent accuracy loopt het Wilson-interval van 91 tot 97 procent; een gemeten verschil van drie procentpunten valt daarbinnen. Wie één procentpunt wil kunnen detecteren, heeft ongeveer 1840 items nodig, een orde meer dan de 200 uit een startpilot.
Vergelijk builds gepaard (McNemar) op dezelfde items. Een verschil van zes items op twintig discordante paren geeft p gelijk aan 0,26, niet significant. Stratificatie onthult wat het gemiddelde verbergt: 88 procent gemiddeld kan 60 procent op ontkenningen verbergen, en daar zitten in juridische tekst de dure fouten.
Soevereiniteit: wie beheert gewichten en versie?
| Route | Gewichten eigen | Versie eigen | Finetuning |
|---|---|---|---|
| fm on-device | nee | nee (OS-gekoppeld) | nee |
| fm Private Cloud Compute | nee | nee | nee |
| MLX-LM (open gewichten) | ja | ja | ja |
| Ollama (lokaal model) | ja | ja | beperkt |
De keuze volgt uit het gebruik. Rechtsbedeling valt onder AI Act bijlage III en vereist versie-pinning die fm niet kan leveren; open gewichten zijn dan de route. Vertrouwelijke of persoonsgegevens via de cloudroute vragen een CLOUD Act-afweging. Persoonlijke productiviteit op niet-gevoelige data kan met fm on-device.
Zelf controleren en herhalen
- Proefverslag met verwachtingen en hashes (JSON) ↗
- Extractie-contract (JSON Schema) ↗
- Code, fixtures en tests (ZIP) ↗
De herhaalset bevat eigen synthetische fixtures en geen klantdata of credentials. Versies zijn vastgelegd; een ander platform of andere afhankelijkheden kunnen latere uitkomsten beïnvloeden. Controleer uitvoer en bronbestanden zelf.
Wat deze proef niet bewijst
- Geen taalmodel in de loop: de model-uitvoer is gesimuleerd om de validator te toetsen, niet het model.
- De entailment-proxy vangt negatie, bedrag-letterlijkheid en injectie, maar geen algemene semantische entailment.
- Geen snelheid, geheugendruk of productiecapaciteit gemeten.
- Een toepassing op echte documenten vraagt toegangsrechten, retentie, foutafhandeling en controle op representatieve voorbeelden.