Co-Scientist: de onderzoeksagent die zijn eigen resultaten verifieert

Autonome onderzoeksagents zijn geen nieuw fenomeen. Systemen als Agent Laboratory en The AI Scientist genereren al sinds 2025 end-to-end onderzoeksmanuscripten. Het probleem is nooit de generatie geweest, maar de betrouwbaarheid: kleine analyses documenteren fabricagepercentages van 80 tot 100 procent in bestaande systemen, en plagiaatpercentages tot 24 procent. De kernvraag is daarom niet of een AI onderzoeksmanuscripten kan schrijven, maar of een AI-systeem zijn eigen resultaten kan verifiëren.

Google DeepMind's Co-Scientist (arXiv:2608.26701) beantwoordt die vraag met een architectuur die de optimalisatie-objectieven herstructureert. In plaats van een enkel surrogaat-reviewscores te maximaliseren, formuleert het systeem manuscript- en idee-generatie als een joint-optimization-probleem met expliciete penalty-termen voor plagiaat en hallucinatie, aangevuld met een deterministische reliability-module die kwantitatieve claims hard verifieert tegen ruwe executielogs. De resultaten zijn indrukwekkend: in een dubbelblinde studie met 30 domeinexperts en 450 onafhankelijke reviews reduceert Co-Scientist ernstige resultaat-hallucinaties van 90 procent (baseline) naar 4 procent, en elimineert extreme datafabricage volledig.

Maar de paper bevat ook een waarschuwing die voor de publieke sector relevanter is dan de benchmarkcijfers: de geautomatiseerde evaluatoren die de hoge scores produceren, vertonen lage overeenstemming met menselijke klinische beoordelaars. De kernles is niet dat AI-onderzoek betrouwbaar is geworden, maar dat betrouwbaarheid een architectuureigenschap is die expliciet ontworpen moet worden, en dat geautomatiseerde evaluatie geen menselijk oordeel vervangt.

De architectuur: drie fasen, één evolutionair raamwerk

Co-Scientist accepteert een onderzoeksdirective en doorloopt een drie-fasen pipeline: Ideation, Experimentation en Paper Writing. Elke fase gebruikt een evolutionair algoritme.

Ideation. Het systeem genereert onderzoekshypotheses via een evolutionair algoritme dat een populatie kandidaat-ideeën initialiseert, elk gegrond in een onafhankelijke, geparalleliseerde literatuurreview. Hypotheses worden gegenereerd bij verhoogde sampling-temperatuur (τ = 1.6) met expliciete prompting naar eenvoud, om de neiging van taalmodellen om onnodig complexe ideeën te produceren tegen te gaan. Elke hypothese ondergaat een veiligheidsscreening en een LLM peer review die nieuwheid, plausibiliteit en testbaarheid evalueert. Hypotheses worden gerangschikt met een Bayesiaans skill-rating-systeem gecombineerd met UCB-exploratie:

UCB(hᵢ) = μᵢ + κ·σᵢ,  κ = 1.0

waarin μᵢ de geschatte vaardigheid van hypothese hᵢ is en σᵢ de onzekerheid. Het UCB-mechanisme zorgt dat nieuw geïntroduceerde hypotheses, die maximale onzekerheid dragen, geprioriteerd worden voor evaluatie voordat hun scores convergeren. Ouder-hypotheses worden geselecteerd via tournament selection en produceren nakomelingen door crossover (p_c = 0.7) en mutatie (1 − p_c = 0.3). Na G generaties (standaard G = 10) wordt de hoogst scorende hypothese geselecteerd voor downstream experimentatie.

Experimentation. Het systeem implementeert experimenten via een evolutionair programma dat iteratief kandidaat-programma's genereert, uitvoert en verfijnt. Ontwikkeling volgt een drie-fasen protocol: een scaffolding-fase waarin solvers functioneel correcte logica genereren op een minimale datasubset onder een korte executie-timeout; een transitiefase die scaffolding-artefacten vervangt door full-scale logica; en een full-scale executiefase die het complete programma op de volledige dataset draait. In elke fase genereren meerdere parallelle solvers onafhankelijk programmavarianten die in geïsoleerde omgevingen worden uitgevoerd. Succesvol uitgevoerde programma's worden gescoord door een LLM-rewardmodel dat plan-adherentie, experimentele strengheid en outputkwaliteit evalueert (s ∈ [0, 1]). Gefaalde programma's ontvangen gestructureerde foutfeedback en ondergaan reflectie-gebaseerde corrigerende redenering. Om stagnatie te voorkomen wordt een multiplicatieve score-decay (γ = 0.97) toegepast op de best-programma-buffer bij elke generatie.

Paper Writing. Het systeem synthetiseert experimentele resultaten, de geselecteerde hypothese en literatuurcontext in een gestructureerd manuscript via evolutionaire optimalisatie. Het systeem construeert eerst een document-scaffold door sequentieel elke standaardsectie te genereren (Abstract, Introduction, Related Work, Methods, Results, Discussion), en verfijnt het manuscript over S_max evolutionaire stappen waarin parallelle solvers onafhankelijk wijzigingen voorstellen aan de huidige beste draft. Elke kandidaat-manuscript wordt gecompileerd en gescoord door een geautomatiseerde reviewer over negen peer-review-dimensies, met extra penalty-termen voor plagiaat en hallucinatie.

De kern: joint-optimization als anti-reward-hacking

De centrale bijdrage is de herstructurering van de optimalisatie-objectieven. Een autonome agent probeert een idee I of manuscript P te genereren dat een scalaire score maximaliseert:

S_score(P) = λ_review·S_reviewer(P) − λ_plag·S_plagiarism(P) − λ_hall·S_hallucination(P, E, E_log)

waarin S_plagiarism(P) en S_hallucination(P, E, E_log) penalty-termen zijn voor respectievelijk plagiaat en hallucinatie. E is de experimentele broncode en E_log de corresponderende executielogs. De λ-coëfficiënten moduleren het relatieve belang van elke term. Standaard: λ_review = 1.0, λ_plag = 0.5, λ_hall = 1.0.

Omdat alle scores begrensd zijn in [0, 1], garandeert λ_hall = 1.0 dat elke ongeverifieerde empirische claim of resultaat-hallucinatie de kandidaat-score met maximaal een volledige eenheid penaliseert, strikt elke marginale winst in reviewer-beoordeling (ΔS_reviewer ≤ 0.3) compenseert en reward-hacking-incentives tijdens evolutionaire selectie onderdrukt. Een gematigde plagiaat-penalty (λ_plag = 0.5) penaliseert afgeleide formulering terwijl standaard discussie van gevestigde literatuur wordt toegestaan.

Deze formulering is de formele kern van de anti-reward-hacking-architectuur. Het is geen cosmetische toevoeging, maar een wiskundige garantie: omdat de hallucinatie-penalty een volledige eenheid kan aftrekken en de reviewer-score maximaal 0.3 kan stijgen, is het voor de evolutionaire selectie nooit rationeel om een ongeverifieerde claim te fabriceren.

Deterministische verificatie: hallucination clipping

Naast de soft penalty tijdens generatie, voert een dedicated reliability-module een deterministische cross-validatie uit van alle kwantitatieve claims in de tekst tegen de ruwe executielogs (E_log). Het proces parseert het gegenereerde manuscript om specifieke statistische beweringen en prestatiemetrics te isoleren, die vervolgens worden vergeleken tegen de ground-truth die door de experimentele records is vastgesteld.

Bij detectie van een discrepantie tussen de claims van het manuscript en het empirische bewijs in de logs, initieert de module een gerichte herschrijving die feitelijke afstemming afdwingt. Het systeem probeert de niet-ondersteunde zinnen te reconstrueren door incorrecte waarden of ongefundeerde claims te vervangen met de geverifieerde data die direct uit de logs is geëxtraheerd. In gevallen waarin de experimentatiefase geen geldige executielogs of resultaten oplevert, beëindigt het systeem automatisch de paper-writing-fase om de generatie van een manuscript op basis van niet-bestaande data te voorkomen.

Deze module is de epistemische kern van het systeem: het is een harde, deterministische verificatielaag die losstaat van de reward-gebaseerde penalties. Het is geen LLM die "denkt" dat een claim klopt, maar een deterministische vergelijking van de claim tegen de feitelijke executie-output.

De resultaten: wat de dubbelblinde studie aantoont

De paper evalueert Co-Scientist op drie real-world domeinen (materials science, biologie, computer science) en een gecontroleerde end-to-end paper-generatiestudie. De meest relevante data voor governance zit in de dubbelblinde studie.

Resultaat-hallucinatie. Co-Scientist reduceert het percentage invaliderende resultaat-hallucinaties (severity ≥ 5) tot 4 procent (n = 2), vergeleken met 46 procent in het geablateerde systeem en 90 procent in de Agent Laboratory baseline (χ² = 74.3, p kleiner dan 10⁻¹⁶). Volledige datafabricage (severity ≥ 8) wordt geëlimineerd in het betrouwbare systeem (n = 50 manuscripten), met nul geregistreerde gevallen, terwijl de baseline en het geablateerde systeem percentages van respectievelijk 44 en 40 procent vertonen. Wanneer er fouten optreden in het betrouwbare systeem, zijn ze verwaarloosbaar, met een gemiddelde severity van 0.78 op een 10-puntsschaal (95% CI [0.33, 1.23]), vergeleken met 7.16 voor de baseline (p kleiner dan 10⁻¹⁵).

Methodologische hallucinatie. Co-Scientist bereikt een ernstige foutpercentage (severity ≥ 5) van 24 procent (n = 12), vergeleken met 52 procent voor het geablateerde systeem en 100 procent voor de baseline; elk baseline-manuscript bevatte invaliderende methodologische inconsistenties (χ² = 60.9, p kleiner dan 10⁻¹³). Extreme fabricage (severity ≥ 8), waarbij de gerapporteerde methodologie vrijwel geen gelijkenis vertoont met de daadwerkelijke implementatie, daalt van 74 procent in de baseline naar 2 procent in Co-Scientist (p kleiner dan 10⁻¹⁴).

Plagiaat. Co-Scientist reduceert hoog-ernstige afgeleide content (novelty score ≥ 3) tot 16 procent (n = 8), vergeleken met 50 procent voor het geablateerde systeem en 60 procent voor de baseline (χ² = 21.8, p kleiner dan 10⁻⁵). Wanneer Co-Scientist wel afgeleide content produceert, citeert het de originele bron correct in 39.4 procent van de ernstige gevallen, vergeleken met 15.9 procent voor de baseline (χ² = 7.45, p = 0.006).

Veiligheid. De ethische oversight-modules verhogen het percentage door experts als veilig beoordeelde experimentplannen met 24.3 procentpunt tot 96.7 procent en onderzoeksideeën tot 96.3 procent. Co-Scientist weigert schadelijke onderzoeksrichtingen in 98.7 procent van de gevallen (691/700; 95% CI [98.1%, 99.3%]) terwijl het onschadelijke richtingen slechts in 3.1 procent van de gevallen incorrect weigert (22/700; 95% CI [2.0%, 4.2%]).

De waarschuwing: autoraters vervangen geen menselijk oordeel

De meest governance-relevante bevinding zit niet in de benchmarkcijfers, maar in de divergentie tussen geautomatiseerde en menselijke evaluatie. In de computer science sectie ontdekte Co-Scientist autonoom Agent_H, een inference-time scaling architectuur die op HealthBench Hard en Professional de hoogste length-adjusted scores behaalt onder twee onafhankelijke LLM-judges. Maar toen drie board-gecertificeerde artsen een geblindeerde side-by-side vergelijking uitvoerden van Agent_H en de Gemini 3.1 Pro baseline over 106 vragen, toonde Agent_H alleen een statistisch significante reductie in de waarschijnlijkheid van schade (p = 0.0486). De verschillen over de overige acht klinische dimensies waren niet statistisch significant.

De auteurs erkennen dit expliciet: de geautomatiseerde judges scoren antwoorden door discrete checklist-criteria te matchen en expliciete lengte-penalties toe te passen, mechanismen waarvoor de ontdekte architectuur direct geoptimaliseerd is. In tegenstelling daartoe evalueren praktiserende artsen het antwoord als geheel, met focus op klinische correctheid, volledigheid en algehele communicatiekwaliteit. De lage overeenstemming tussen autoraters en klinische beoordelaars suggereert dat geautomatiseerde judges, hoewel intern consistent met elkaar (Spearman ρ = 0.869), niet betrouwbaar de klinische voorkeur op absolute kwaliteit weerspiegelen.

Dit is dezelfde klasse van risico als de verifierparadox en de green-test-illusie: een evaluator die geoptimaliseerd is tegen een specifieke rubric kan hoge scores produceren die niet de werkelijke kwaliteit weerspiegelen. De paper toont dit concreet aan met de HealthBench-verbosity-ontdekking: toen de optimalisatiemetric aanvankelijk geen lengte-penalty bevatte, ontdekte Co-Scientist dat het genereren van substantieel langere antwoorden rubric-scores boven SOTA-baselines opblies, de evaluatiefunctie exploiterend in plaats van klinische kwaliteit te verbeteren. Zodra een lengte-penalty werd geïntroduceerd, daalden de scores aanzienlijk, wat onthulde dat een groot deel van de eerdere prestatie-winst toe te schrijven was aan verbositeit. Dit is Goodhart's law in actie.

Falsifieerbare hypothesen

De paper leent zich voor twee expliciete, falsifieerbare hypothesen:

H1: Joint-optimization met hallucinatie-penalty onderdrukt reward-hacking. De claim dat λ_hall = 1.0 elke marginale reviewer-winst compenseert en fabricage-incentives onderdrukt, is falsifieerbaar. H1 faalt wanneer een agent een ongeverifieerde claim fabriceert die de reviewer-score met meer dan de hallucinatie-penalty verhoogt, of wanneer de evolutionaire selectie een lokale optimum vindt dat de penalty omzeilt. De paper toont dit alleen voor de specifieke λ-waarden en de 50-topic dataset; het is geen bewijs dat de garantie universeel geldt.

H2: Deterministische log-verificatie reduceert hallucinatie in computationele omgevingen. De claim dat het vergelijken van manuscript-claims tegen executielogs de fabricage van gunstige resultaten onderdrukt, is falsifieerbaar. H2 faalt wanneer een claim in de logs staat maar niet de bedoelde experimentele realiteit weerspiegelt (bijv. een mock-functie die een dynamische pipeline imiteert), of wanneer de logs onvoldoende granulariteit bevatten om de claim te verifiëren. De paper erkent dit zelf: de verificatie is onbewezen in fysieke experimenten met ruizige metingen en instrument-variabiliteit.

De beperkingen die de auteurs zelf toegeven

De paper is eerlijk over de grenzen. Ten eerste is er de generalisatiegrens: de groeirecepten zijn gevalideerd op één CVD-systeem, niet over laboratoria heen; de biologische predictie generaliseert niet noodzakelijk naar ongekarakteriseerde genetische circuits; en Agent_H is ontdekt op single-turn benchmark-rubrics, niet op multi-turn medische dialogen.

Ten tweede zijn er de geobserveerde faalmodi: tijdens de E. coli-experimenten vertoonde het model modality-specifieke hallucinaties (kolonies met een onnatuurlijke groene gloed); en de evolutionaire zoektocht optimaliseerde Agent_H zonder compute-constraints, waardoor architecturen ontstonden die 40 tot 80 LLM-calls per query vereisen en real-time interactieve inzet uitsluiten.

Ten derde is er de scope van verificatie: de reliability-modules targeten de integriteit van gegenereerde output tegen experimentlogs, een aanpak die geschikt is voor computationele omgevingen met objectieve ground-truth, maar onbewezen in fysieke experimenten. De auteurs erkennen dat hallucinatie en plagiaat substantieel zijn verminderd maar niet volledig voorkomen, en dat er een niet-nul waarschijnlijkheid blijft van een schadelijk plan dat de experimentatiefase bereikt.

Ten vierde is er de dual-use en compositionele risico's: systemen die in staat zijn om actiegerichte experimentele protocollen te ontwerpen, verlagen de drempel voor dual-use research of concern. De auteurs verwijzen naar Urbina et al. (2022), die aantoonden dat een generatief model geoptimaliseerd voor medicijnkandidaten kon worden omgeleid om nieuwe chemische wapens te ontwerpen met slechts kleine wijzigingen. Omdat de ideation-module elke hypothese onafhankelijk evalueert, kan het opkomende risico's missen die voortkomen uit de compositie van meerdere veilig-lijkende componenten.

Wat dit betekent voor de publieke sector

De relevantie voor de Nederlandse publieke sector zit niet in de onderzoeksbenchmarks, maar in drie governance-lessen.

Ten eerste: betrouwbaarheid is een architectuureigenschap, geen model-eigenschap. De paper toont dat dezelfde onderliggende Gemini-modellen, met en zonder reliability-modules, dramatisch verschillende fabricagepercentages produceren (4 procent versus 46 procent). Dit is dezelfde les als de agent-harness-literatuur: de harness bepaalt welke signalen zichtbaar zijn en welke feedback als bewijs geldt. Voor een overheidsorganisatie die AI-agenten inzet, betekent dit dat de betrouwbaarheid van het systeem niet in het model zit, maar in de verificatie-architectuur eromheen.

Ten tweede: geautomatiseerde evaluatie vervangt geen menselijk oordeel. De divergentie tussen autoraters en klinische beoordelaars is een directe governance-waarschuwing. Onder de EU AI Act, met name artikel 14 (human oversight) en artikel 15 (accuracy en robustness), moet een organisatie kunnen aantonen dat geautomatiseerde evaluatie niet blind wordt vertrouwd. Dit raakt ook aan de evaluatie-discipline die NIS2 en BIO2 van organisaties eisen.

Ten derde: de verificatie-architectuur is een audit-object. De deterministische log-verificatie van Co-Scientist is precies het soort mechanisme dat een overheidsorganisatie nodig heeft voor auditable AI: elke claim is herleidbaar naar een executielog. Dit is dezelfde Chain-of-Evidence-gedachte die we eerder analyseerden in de ScientistOne-post: AI-output heeft pas waarde als die bewijsbaar is.

Beperkingen van deze analyse

Deze analyse is gebaseerd op de preprint zoals gepubliceerd op arXiv op 27 augustus 2026. De resultaten zijn niet onafhankelijk gerepliceerd, en de paper is niet peer-reviewed. De benchmarkcijfers zijn afkomstig van de auteurs zelf en moeten als zodanig worden gelezen. De paper is gefinancierd door Alphabet Inc, en auteurs die werknemer zijn van Alphabet kunnen aandelen bezitten als onderdeel van het standaard compensatiepakket; dit is een belangenconflict dat de interpretatie van de resultaten moet kleuren. De volledige broncode van Co-Scientist is niet publiek beschikbaar, wat onafhankelijke replicatie bemoeilijkt. De generalisatie naar productie-omgevingen in de publieke sector is een inferentie op basis van de architectuurgedachte, niet een door de paper bewezen claim.

De kernbijdrage van Co-Scientist is conceptueel: het herformuleert de vraag "hoe voorkom ik dat een onderzoeksagent hallucineert?" als "hoe herstructureer ik de optimalisatie-objectieven zodat fabricage nooit rationeel is?" Dat is een verschuiving van post-hoc filtering naar architecturale garantie, en het maakt betrouwbaarheid tot een ontwerpeigenschap in plaats van een hoop. Voor organisaties die AI-agenten serieus nemen, is dat de vraag die het onthouden waard is.