De 24% die geen 24% is: wat Microsoft's CLI AI-agent studie wél en niet bewijst

Kernbeoordeling

Deze paper is belangrijk omdat hij de discussie over AI-coding agents verplaatst van benchmarks, anekdotes en developer sentiment naar daadwerkelijk gedrag binnen een grote softwareorganisatie. De centrale bevinding: Microsoft-engineers die CLI-coding agents adopteerden, mergeden ongeveer 24 procent meer pull requests dan een geconstrueerde tegenfactual suggereert. Dat effect bleef gedurende de observatieperiode van circa vier maanden zichtbaar.

Tegelijkertijd toont de paper dat adoptie vooral sociaal wordt aangejaagd, terwijl duurzaam gebruik sterker samenhangt met het bestaande werkpatroon van engineers.

Dimensie	Score
Wetenschappelijke relevantie	8/10
Causale bewijskracht	6,5/10
Enterprise-relevantie	9/10
Bewijs voor echte softwareproductiviteit	5/10

De paper levert overtuigend bewijs dat agentic CLI-tools de productieflow veranderen. Hij bewijst echter niet dat organisaties daarmee 24 procent meer waarde, betere software of lagere total cost of ownership realiseren. Dat onderscheid is essentieel.

Wat onderzoekt de paper?

De auteurs — Emerson Murphy-Hill, Jenna Butler en Alexandra Savelieva van Microsoft — bestuderen de uitrol van GitHub Copilot CLI en Claude Code onder tienduizenden Microsoft-engineers tussen januari en april 2026. De studie bestaat uit twee onderzoeken.

Het adoptieonderzoek (alleen Copilot CLI) onderzoekt wie het instrument probeert en wie het blijft gebruiken. Eerste gebruik wordt gemeten als de eerste geregistreerde Copilot CLI-activiteit. Retentie wordt gedefinieerd als gebruik op minimaal vijf van de veertien dagen vanaf de eerste gebruiksdag — een pragmatische maar arbitraire operationalisatie van "tried and stayed."

De verklarende variabelen zijn carrièreniveau, diensttijd, bestaande PR-activiteit, eerder IDE Copilot-gebruik, en sociale blootstelling via reviewers, organisatorische peers en managers. Voor eerste gebruik wordt een discrete-time logistisch hazardmodel gebruikt; voor retentie een cross-sectionele logistische regressie.

Het uitkomstenonderzoek (beide tools) onderzoekt of het aantal gemergede PR's verandert, of er verschil is tussen de tools, en welke groepen het meest profiteren. Twee methoden worden gecombineerd: een Bayesian Structural Time Series-model via CausalImpact, en fixed-effects Poisson-modellen waarin engineers met zichzelf worden vergeleken in weken met en zonder toolgebruik. Die combinatie is methodologisch sterker dan een eenvoudige vergelijking tussen gebruikers en niet-gebruikers.

De belangrijkste bevindingen

Adoptie verspreidt zich via sociale netwerken

Wanneer minstens een kwart van de vaste reviewpartners Copilot CLI gebruikte, lagen de odds dat een engineer het zelf probeerde ongeveer 54 procent hoger. Ook gebruik door organisatorische peers en de directe manager hing samen met eerste adoptie.

Sociale factor	Kans op adoptie (vs. referentie)
Skip-level peers (>25% actief)	+216%
Directe manager actief	+82%
Reviewer peers (>25% actief)	+54%

Dit is een sterke aanwijzing dat AI-adoptie geen individuele toolkeuze is, maar een sociaal-technisch diffusieproces. De implicatie is fundamenteel: een enterprise-rollout van coding agents is geen license deployment, maar een veranderinterventie in professionele netwerken.

Toch moet "peer influence" voorzichtig worden geïnterpreteerd. De onderzoekers kunnen causaliteit en homophily niet van elkaar onderscheiden. Engineers kunnen de tool overnemen van collega's, maar vergelijkbare, innovatieve engineers kunnen ook simpelweg al bij elkaar werken. De auteurs erkennen dit expliciet.

Eerder IDE-Copilotgebruik bevordert trial, maar niet retentie

Engineers die IDE Copilot al intensief gebruikten, probeerden Copilot CLI vaker. Bij meer dan zestig gebruiksdagen lagen de odds op eerste gebruik ongeveer 83 procent hoger. Tegelijkertijd bleven deze ervaren IDE-Copilotgebruikers minder vaak hangen bij de CLI-tool — een daling van 12 tot 15 procent in retentie.

Dit is een van de interessantste bevindingen. Een plausibele verklaring is functionele substitutie: bestaande Copilot-gebruikers zijn AI-minded en proberen nieuwe tools eerder, maar ervaren onvoldoende additionele waarde ten opzichte van hun bestaande IDE-workflow.

Daarmee ontstaat een onderscheid tussen:

• Adoption propensity — bereidheid om iets te proberen
• Workflow fit — de mate waarin het instrument structureel waarde toevoegt

Veel enterpriseprogramma's meten alleen activatie. Deze paper laat zien dat activatie een slechte proxy voor duurzame waarde kan zijn.

Actieve softwareontwikkelaars blijven vaker gebruiken

Engineers die vóór de rollout al veel pull requests produceerden, probeerden Copilot CLI vaker én bleven het vaker gebruiken. Bij engineers met minstens twee PR's per week lagen de odds op retentie circa 31 procent hoger dan bij engineers zonder baseline-PR-activiteit.

Dit ondersteunt een complementarity-hypothese: coding agents vervangen engineering capability niet, zij vermenigvuldigen bestaande engineering capability. De tool rendeert vooral wanneer een engineer al beschikt over voldoende werkvolume, taakdecompositievaardigheid, repositorykennis, reviewvermogen en meerdere parallelle werkzaamheden.

De 24 procent productivity lift

Het headline-resultaat is een geschatte stijging van 24,0 procent in gemergede PR's per engineer per dag, met een 95-procentinterval van 14,5 tot 33,7 procent. De onderzoekers vergelijken vroege adopters met een synthetische controlegroep van engineers die geen van beide CLI-tools gebruikten.

De stijging bleef volgens het model zichtbaar:

• Februari: +29,4%
• Maart–april: +20,0%

De betrouwbaarheidsintervallen overlappen ruim, waardoor de daling niet statistisch overtuigend is. De auteurs concluderen daarom dat het effect binnen de vier maanden niet aantoonbaar verdwijnt.

De juiste formulering is: de studie vindt een duurzame stijging in PR-throughput, niet noodzakelijk een duurzame stijging in softwareproductiviteit.

Dose-response: meer gebruik, meer output

Binnen engineers zelf stijgt PR-output naarmate de tool op meer dagen per week wordt gebruikt:

Gebruiksdagen/week	PR-lift
1 dag	+3%
2 dagen	+5%
3 dagen	+15%
4 dagen	+22%
5+ dagen	+50%

De onderzoekers gebruiken engineer fixed effects, zodat stabiele verschillen zoals vaardigheid, rol, team en codeerstijl grotendeels worden geabsorbeerd. Week fixed effects controleren voor organisatiebrede gebeurtenissen.

Dit is suggestief voor causaliteit, maar nog geen hard causaal bewijs. De belangrijkste alternatieve verklaring blijft reverse causality: engineers kunnen de tool vaker gebruiken in weken waarin zij sowieso meer codeerwerk, meer kleine taken of meer mergebare werkzaamheden hebben. De auteurs erkennen dat zwaardere gebruiksweken mogelijk een lichtere of gunstigere task mix hebben. Een formele instrumentele variabele, random assignment of stepped-wedge rollout had dit aanzienlijk sterker gemaakt.

Copilot CLI versus Claude Code

In de within-person vergelijking vinden de auteurs:

• Claude Code: +11,4% gemergede PR's
• Copilot CLI: +24,9% gemergede PR's

Binnen deze Microsoft-context hangt Copilot CLI dus samen met ongeveer 2,2 keer zoveel PR-lift. Dit mag nadrukkelijk niet worden geïnterpreteerd als "Copilot CLI is intrinsiek twee keer beter dan Claude Code." De tools zijn niet gerandomiseerd toegewezen. Mogelijke verklaringen zijn: verschillende gebruikerspopulaties, verschillende typen taken, verschillen in licentie- en toegangsbeleid, betere integratie van Copilot CLI met Microsoft- en GitHub-workflows, en organisatorische ondersteuning.

Dit is juist een strategisch sterke bevinding: modelkwaliteit is niet hetzelfde als organisationele productiviteit. Harness fit kan belangrijker zijn dan leaderboard performance. De relevante eenheid is niet het model alleen, maar: model + agent harness + tools + repository context + policies + sandbox + skills + verificatielus + workflow-integratie.

Waarom PR-count een problematische productiviteitsmaat is

De paper is transparant dat een gemergede PR geen bedrijfswaarde is. Dat is de grootste methodologische beperking.

PR-throughput kan stijgen doordat:

• Grotere wijzigingen in kleinere PR's worden opgesplitst
• Documentation- of boilerplate-PR's toenemen
• Engineers vaker experimenten of prototypes indienen
• AI meer correctiewerk of follow-up-PR's veroorzaakt
• Het aantal defects, reverts of security findings toeneemt
• Review- en onderhoudslast naar andere engineers verschuift

De maat beloont dus activiteit, maar meet niet rechtstreeks functionele waarde, kwaliteit, maintainability, security, reliability, technical debt, developer cognitive load, lead time tot productie, defect escape rate, of operationele stabiliteit.

Het Goodhart-risico

Zodra organisaties "meer PR's" als officiële AI-KPI gebruiken, ontstaat een klassiek Goodhart-effect: when a measure becomes a target, it ceases to be a good measure. Teams kunnen hun werk anders structureren om het meetbare resultaat te verhogen, zonder dat klantwaarde stijgt.

Een beter meetmodel zou vier lagen combineren:

Laag	Voorbeelden
Flow	Lead time, cycle time, deployment frequency
Quality	Escaped defects, reverts, review findings, test failures
Security	SAST/SCA findings, secret leakage, vulnerability introduction
Value	Feature adoption, incident reduction, customer outcome, cost avoided

PR-count kan daarin een leading indicator zijn, maar nooit de primaire ROI-maat.

Methodologische sterktes

De paper heeft verschillende methodologische troeven. De onderzoekers beschikken over werkelijke usage-telemetry in plaats van zelfrapportage of indirecte GitHub-signalen. Bovendien kennen zij de volledige populatie die de tool had kunnen gebruiken — daardoor wordt het probleem vermeden dat "geen zichtbaar AI-signaal" onterecht als "geen AI-gebruik" wordt geclassificeerd.

De longitudinale enterprise-context — werkelijk gedrag gedurende meerdere maanden in een grote softwareorganisatie — verhoogt de ecologische validiteit ten opzichte van laboratoriumtaken. De scheiding tussen trial en retention is conceptueel sterk, omdat beide door andere mechanismen worden bepaald.

De combinatie van synthetic control, placebo-interventie, within-person fixed effects, dose-response, robuustheidsanalyses en correctie voor multiple testing maakt de studie aanzienlijk serieuzer dan een eenvoudige correlatieanalyse. De placebo-interventie vóór de rollout leverde geen betekenisvol effect op (−1,1% [−10,6%, +8,6%]), wat enige steun geeft aan de gekozen counterfactual.

Methodologische zwaktes

Geen gerandomiseerde rollout

De grootste zwakte is self-selection. Engineers kiezen zelf of en wanneer zij een tool gebruiken. Daardoor blijven latent variabelen mogelijk: motivatie, innovatiebereidheid, projectdruk, managerial encouragement, team maturity, repository characteristics, en aanwezigheid van geschikte taken. Fixed effects verwijderen stabiele verschillen, maar geen tijdsvariërende factoren.

Diffuse interventiedatum

5 januari 2026 wordt als rolloutgrens gebruikt, maar Copilot CLI was via preview al beschikbaar en Claude Code had een afwijkend toegangspad. De "interventie" is dus geen zuivere, uniforme gebeurtenis. Dit maakt causal attribution moeilijker.

Arbitraire retentie-definitie

Vijf van veertien dagen is verdedigbaar, maar niet noodzakelijk een betekenisvolle indicator van workflow-integratie. Iemand die drie dagen per week zeer intensief werkt, wordt mogelijk als niet-retained geclassificeerd. Anderson kan oppervlakkig dagelijks gebruik als retentie gelden. Een betere maat zou actieve dagen, sessieduur, taken, tool calls, tokenvolume, geaccepteerde changes, succesvolle task completion en terugkeer na 30, 60 en 90 dagen combineren.

Onvoldoende taakclassificatie

De paper weet niet goed waarvoor de tools werden gebruikt. Zonder task taxonomy blijft onduidelijk of de lift komt uit codegeneratie, tests, refactoring, documentatie, debugging, repository discovery, dependency upgrades, incident response, of infrastructure-as-code. Dit is cruciaal voor generaliseerbaarheid en kostenallocatie.

Organisatieconflict

Alle auteurs werken bij Microsoft en onderzoeken een Microsoft-product in een Microsoft-omgeving. Dat maakt de studie niet ongeldig, maar verhoogt de noodzaak voor externe replicatie, openbare analysecodes, en onafhankelijke peer review. De paper is bovendien een arXiv v1-preprint van 1 juli 2026, niet noodzakelijk al formeel peer-reviewed.

Privacy, governance en werknemersmonitoring

Een onderbelicht aspect is dat de studie individueel identificeerbare tooltelemetry, HR-data, carrièrelevel, diensttijd, PR-activiteit, managerrelaties en professionele netwerkstructuren combineert. Dat levert methodologisch rijke data op, maar vormt in een Europese context een zwaar governancevraagstuk.

Dergelijke analyses kunnen onder de AVG betrekking hebben op werknemersprofilering, performance monitoring, gedragsanalyse, social graph analysis, geautomatiseerde segmentatie, en indirecte beoordeling van productiviteit. Belangrijke waarborgen zijn: strikte doelbinding, minimale granulariteit, een DPIA, transparantie richting medewerkers, scheiding tussen onderzoek en performance management, bewaartermijnen, pseudonimisering, toegangscontrole, een verbod op individuele ranking, medezeggenschap via de ondernemingsraad, en onafhankelijke ethische toetsing.

De grootste governancefout zou zijn om deze methodologie rechtstreeks te vertalen naar een managementdashboard met "AI productivity scores" per werknemer.

De juiste aggregatieniveaus zijn team, capability, workflow en productstroom — niet individuele beoordeling.

De diepere systeemles

De paper lijkt over developer productivity te gaan, maar de diepere bijdrage betreft organizational complementarity. Het effect van een coding agent wordt niet alleen bepaald door het model. Het ontstaat uit een systeem van wederzijds versterkende elementen:

AI-waarde = modelkwaliteit × workflow fit × gebruikerscapaciteit
          × contextkwaliteit × governance × verificatie

Wanneer één factor vrijwel nul is, stort de enterprisewaarde in. De resultaten ondersteunen vier principes:

1. Adoptie is sociaal. Collega's en leidinggevenden bepalen mede of een tool wordt geprobeerd.
2. Retentie is functioneel. Engineers blijven wanneer de tool aantoonbaar past bij hun dagelijkse werkzaamheden.
3. Productiviteit is complementair. Bestaande skills en werkvolume bepalen hoeveel waarde wordt gerealiseerd.
4. Harness alignment domineert modelvergelijking. Een theoretisch sterker model kan organisatorisch minder rendement opleveren wanneer context, tooling en integraties slechter aansluiten.

Consequenties voor enterprise-rollouts

Een volwassen rollout moet niet starten met "iedereen een licentie", maar met capability- en workflowsegmentatie in vier fasen.

Fase A: Identify. Selecteer taken met hoge frequentie, lage tot middelhoge foutimpact, goede testbaarheid, duidelijke acceptance criteria, beschikbare repositorycontext, en beperkte production privileges. Voorbeelden: testgeneratie, documentatie, dependency-updates, controlled refactoring, CI-failureanalyse, boilerplate, migration assistance.

Fase B: Instrument. Meet niet alleen adoption, maar: activatie, 30- en 90-dagenretentie, task success, human rework, tokens per successful task, PR cycle time, review latency, defect escape, security findings, en rollback rate.

Fase C: Govern. Implementeer sandboxing, least privilege, default-deny egress, secrets isolation, signed tool en skill registries, policy-as-code, human approval voor high-impact changes, provenance en audit trails, en SBOM met dependency controls.

Fase D: Scale socially. Gebruik champion networks, pair prompting, interne demonstrations, reusable skills, repository instructions, benchmark tasks, en team-level communities of practice. De paper ondersteunt nadrukkelijk zo'n sociaal diffusieontwerp.

Wat de paper niet beantwoordt

De belangrijkste onbeantwoorde vragen:

• Wordt de software kwalitatief beter of alleen sneller geproduceerd?
• Hoeveel extra review- en herstelwerk ontstaat?
• Wat is de netto ROI na token-, licentie-, platform- en governancekosten?
• Welke taken verklaren de gemeten lift?
• Verandert de architectuurkwaliteit?
• Neemt technische schuld toe of af?
• Wat gebeurt er met junior skill formation?
• Wordt werk werkelijk bespaard, of verschoven naar reviewers en operators?
• Hoe generaliseerbaar zijn de resultaten buiten Microsoft?
• Wat gebeurt er na zes, twaalf en vierentwintig maanden?

De auteurs benoemen kwaliteit zelf als de urgente open onderzoeksvraag.

Eindconclusie

Deze paper is een sterke correctie op twee extreme narratieven:

• "AI-coding agents leveren alleen hype en geen aantoonbare output."
• "AI-coding agents verhogen softwareproductiviteit automatisch met 24 procent."

Beide conclusies zijn onjuist.

De juiste interpretatie is: binnen Microsoft hing het gebruik van agentic CLI-tools samen met een substantiële en gedurende vier maanden aanhoudende stijging in gemergede pull requests. De krachtigste adoptiedriver was sociale blootstelling. Duurzaam gebruik hing vooral samen met werkelijk programmeerwerk en workflow fit. De studie bewijst echter nog niet dat softwarekwaliteit, businesswaarde of netto productiviteit evenredig stegen.

De strategische kern is niet "koop meer coding-agentlicenties." De kern is: bouw een socio-technische operating model waarin agents veilig zijn ingebed in workflows, zichtbaar worden gebruikt door geloofwaardige peers, meetbaar echte taken uitvoeren en door onafhankelijke quality- en securitysignalen worden beoordeeld.

Dat is precies het verschil tussen AI-tooladoptie en AI-enabled engineering transformation.

---

Dit artikel is gebaseerd op: Murphy-Hill, E., Butler, J., & Savelieva, A. (2026). Adoption and Impact of Command-Line AI Coding Agents: A Study of Microsoft's Early 2026 Rollout of Claude Code and GitHub Copilot CLI. arXiv:2607.01418.