Zelfverbeterende AI is geen toekomstmuziek meer - en dat is een probleem voor je risicoregister

Vorige week installeerde ik Ornith-1.0 op een laptop zonder GPU. Een uur later genereerde het model code die het zelf had verbeterd op basis van eerdere fouten. Geen menselijke feedback, geen dure API-calls naar een frontier-model. Gewoon een open-source model dat lokaal draait en zichzelf bijstuurt via reinforcement learning. Het werkte. En daarom schrijf ik dit.

Niet omdat het technisch knap is, dat is het ook, maar omdat de governance van dit soort systemen nog volledig in de kinderschoenen staat. We hebben in Nederland net de eerste stappen gezet met het toetsen van AI-systemen onder de BIO2 en de AI Act. Nu dient zich een nieuwe categorie aan: modellen die zichzelf tijdens gebruik aanpassen. Dat raakt direct aan de risicoclassificatie, aan transparantieverplichtingen, en aan de vraag wie er aansprakelijk is als een zelfverbeterend agent verkeerd beslist.

Ornith-1.0 is een open-source model. Het is gebaseerd op een fine-tune van DeepSeek-Coder-V2. De onderzoekers noemen de gebruikte techniek "Self-Improving Agentic Coding". Het model krijgt een initiële prompt voor een codeertaak. Het genereert een oplossing. Voert die uit in een sandbox-omgeving. Evalueert het resultaat. En gebruikt die evaluatie om de volgende iteratie te verbeteren. Dat alles zonder menselijke tussenkomst.

De paper beschrijft een experiment. Ornith-1.0 spoort in vijf iteraties een bug in een Python-script op. Een gemiddelde junior developer zou die fout over het hoofd zien. Het model schrijft niet alleen code. Het past ook zijn eigen strategie aan. Het leert dat bepaalde libraries sneller compilen. Dat een andere volgorde van functieaanroepen minder geheugen kost. Het is geen statisch model dat een antwoord geeft en stopt. Het is een agent die blijft leren van zijn eigen output.

Technisch interessant is de RL-opzet. Ornith-1.0 gebruikt een reward-functie. Die kijkt niet alleen naar correctheid. Maar ook naar efficiëntie en leesbaarheid van de gegenereerde code. De training verliep in twee fasen. Eerst een supervised fine-tuning op een dataset van 20.000 code-reparatieparen. Daarna een online RL-fase. Het model voerde daar 100.000 interacties met een sandbox-omgeving uit. Het resultaat is een model dat op een consumenten-GPU draait. En toch verbetert zonder externe feedback.

Wat me opviel tijdens het testen: in iteratie 3 genereerde het model een oplossing met een SQL-injectie. In iteratie 5 was die verdwenen. Niet door ingrijpen van buitenaf. Maar omdat het model zelf had geleerd dat de invoer niet vertrouwd moest worden. Dat is het soort gedrag waar we als compliance-specialisten wakker van liggen.

De EU AI Act classificeert AI-systemen op basis van hun beoogde doel en het risico dat ze vormen. Een model dat zichzelf tijdens gebruik aanpast, valt niet in de bestaande categorieën. De wetgeving gaat uit van een model dat na training bevroren is. De parameters veranderen dan niet meer. Ornith-1.0 past zijn gedrag aan op basis van interacties met de omgeving. Dat is een continu leerproces.

Artikel 14 van de AI Act stelt dat hoog-risico AI-systemen gedurende hun hele levenscyclus nauwkeurig en robuust blijven. Maar hoe toon je dat aan als het model zichzelf bijstuurt? De conformiteitsbeoordeling die je vandaag uitvoert, kan morgen achterhaald zijn. Voor aanbieders van AI-systemen in de zorg, bij de overheid of in de financiële sector, sectoren waar DjimIT dagelijks mee werkt, is dit geen theoretisch vraagstuk. Een zelfverbeterend model dat patiëntgegevens classificeert, kredietwaardigheid beoordeelt of bijstandsfraude detecteert, valt onder de hoog-risico categorie van de AI Act. En dan heb je een probleem.

De AI Act kent een post-market monitoring verplichting (artikel 61). Maar die is geschreven met het idee dat je een model periodiek hertest. Bij een zelfverbe