Stille samenspanning: hoe AI-biedagents in elektriciteitsmarkten tacit collusion leren zonder ooit af te spreken

Collusie in elektriciteitsmarkten verwijst naar een overeenkomst tussen concurrerende bedrijven om hun acties te coördineren richting het vermijden van concurrentie en het verhogen van hun winsten. Het is schadelijk voor consumenten die supra-competitieve prijzen zien en voor de economische efficiëntie van de markt in het algemeen. Terwijl collusie wordt geassocieerd met kartelachtige praktijken en daardoor strikt verboden is door de wet, is het moeilijkere geval wanneer collusie tacit is.

De paper AI Agents in Algorithmic Electricity Markets: On the Emergence of Tacit Collusion onderzoekt een specifieke hypothese: in een elektriciteitsmarkt waar de acties van deelnemers worden gecontroleerd door autonome leergedreven algoritmen, kan tacit collusion ontstaan. De auteurs modelleren strategisch bieden als een herhaald spel met imperfecte publieke monitoring, en modelleren het emergente gedrag van deelnemers met multi-agent reinforcement learning (MARL).

De uitkomst is een alarmbel. Er zijn gevallen waarin agents leren om supra-competitieve uitkomsten te handhaven die voldoen aan drie onafhankelijke indicatoren van tacit collusion, zelfs wanneer de agents nooit de opdracht kregen om samen te spannen. Maar de paper toont ook het tegenovergestelde: vergelijkbare supra-competitieve uitkomsten kunnen voortkomen uit structurele marktmacht in plaats van gecoördineerd gedrag, en die twee zijn niet te onderscheiden op basis van prijsniveaus alleen.

Mijn hoofdstelling luidt:

Tacit collusion door AI-biedagents is geen theoretische mogelijkheid maar een empirisch aangetoonde emergentie onder bindende netwerkbeperkingen. Voor ACM-toezicht en EU AI Act art. 5(1)(a) betekent dit dat supra-competitieve prijzen alleen niet volstaan als bewijs van collusie, en dat toezicht een multi-dimensionale beoordeling van gedrag nodig heeft, niet alleen van uitkomsten.

1. Het probleem: autonome collusie zonder overeenkomst

De definitie van tacit collusion is cruciaal. Het verwijst naar het vermogen van een groep oligopolisten om te coördineren, zelfs zonder expliciete overeenkomst, om prijzen te verhogen of winsten te vergroten ten nadele van consumenten. De afwezigheid van een expliciete overeenkomst maakt het mogelijk dat tacit collusion "autonoom" ontstaat.

Dit is direct relevant voor de nieuwe realiteit van elektriciteitsmarkten, waar deelnemers hun marktparticipatiestrategieën steeds vaker uitbesteden aan autonome leergedreven algoritmen, algemeen aangeduid als AI-agents. Ervaring uit andere domeinen toont dat reinforcement learning agents vaak het vermogen vertonen om hun voorgeschreven beloning (lees: winst) te maximaliseren op manieren die hun ontwerpers niet voorzagen.

De paper citeert het baanbrekende werk van Calvano et al. (2020), dat aantoonde dat onafhankelijk ontworpen reinforcement-learning prijsalgoritmen kunnen leren om supra-competitieve prijzen te handhaven in algemene contexten. In de woorden van de auteurs: "We vinden dat de algoritmen consistent leren om supra-competitieve prijzen te vragen, zonder met elkaar te communiceren. De algoritmen leren deze strategieën puur door trial and error. Ze zijn niet ontworpen of geïnstrueerd om samen te spannen, ze communiceren niet met elkaar, en ze hebben geen voorkennis van de omgeving."

Naar elektriciteitsmarkten vertaald, kunnen dergelijke agents aanleiding geven tot tacit collusion, zelfs zonder de intentie of het bewustzijn van de bedrijven. Bovendien maakt het feit dat elektriciteitsmarkten historisch oligopolistisch zijn en herhaalde interactie tussen deelnemers kennen, ze bijzonder kwetsbaar voor de emergentie van tacit collusion.

2. Formele definitie van het marktmodel

De paper modelleert een single-timeslot elektriciteitsmarkt over een set bussen \(N\), die wordt gecleared door het standaard DC optimal power flow (OPF) probleem. Een bus \(n \in N\) heeft een inelastische vraag \(D_n\) en een set \(I_n\) van energie-leverende resources. De actieve vermogensstroom van bus \(n\) naar bus \(m\) wordt genoteerd als \(f_{nm}\) en is onderworpen aan lijncapaciteitsgrenzen:

\[ -F_{nm} \le f_{nm} \le F_{nm}, \quad \forall (n, m) \in N^2 \]

De output van een generator \(i \in I_n\) wordt genoteerd als \(q_i\), en de vermogensbalans op een knoop luidt:

\[ \sum_{i \in I_n} q_i - \sum_{m \in N} f_{nm} = D_n, \quad \forall n \in N \]

De markt wordt gecleared door het DC-OPF probleem op te lossen:

\[ \min_{q_i, q_{i,s}, f_{nm}, \phi_n} \sum_{i \in I} \sum_{s \in S_i} c_{i,s} q_{i,s} \]

onderworpen aan de netwerkbeperkingen, generatorbeperkingen en de vermogensbalans. De optimale duale variabele \(\lambda_n\) van de vermogensbalansbeperking instantieert de Locational Marginal Price (LMP) van knoop \(n\).

Na elke markt-clearing instantie \(t\) is de stage-winst \(\pi_i[t]\) van generator \(i\):

\[ \pi_i[t] = \lambda_{n(i)}[t] q_i^[t] - C_i(q_i^[t]) \]

De eerste term is de omzet van de generator, met \(\lambda_{n(i)}[t]\) de LMP op de bus waar \(i\) zich bevindt. De tweede term is de werkelijke kost van het genereren van de gedispachte hoeveelheid \(q_i^*[t]\).

3. De drie tacit collusion criteria

De paper stelt dat supra-competitieve winsten alleen niet voldoende zijn om tacit collusion vast te stellen. Verhoogde winsten kunnen ontstaan om redenen die niets met collusieve coördinatie te maken hebben. Omgekeerd, omdat realistische marktmodellen zelden convergeren naar een stage-game Nash-evenwicht, is de afwezigheid van dergelijke convergentie op zichzelf evenmin informatief over of collusie heeft plaatsgevonden.

De paper definieert daarom drie criteria die indicatoren zijn van een emergente gezamenlijke strategie \(\sigma^*\) die tacit collusief is.

Criterium 1: Punishment of Deviation. Dit criterium controleert of een agent die afwijkt van de gezamenlijke strategie \(\sigma^*\) en terugkeert naar een expliciet competitieve strategie, een bestraffende reactie van andere agents zal ondervinden. Een deviator die terugkeert naar een competitieve strategie begint zijn korte-termijn winsten agressief te optimaliseren. De test is positief als de post-deviation dynamiek het kwalitatieve patroon van punish-and-forgive strategieën vertoont: onmiddellijk na de afwijking schakelen concurrenten tijdelijk naar meer competitieve biedingen, waardoor prijzen en het marktaandeel van de deviator dalen; na een bestraffingsfase keren concurrenten geleidelijk terug naar hun pre-deviation strategieën, terwijl prijzen herstellen.

Criterium 2: Unsustainability under Shortsight. Twee elementen faciliteren over het algemeen tacit collusion: agents die het lange spel spelen door een hoge discount factor aan te nemen, en agents die geheugen hebben van eerdere acties en beloningen. Dit criterium controleert of het verminderen of elimineren van deze elementen het substantieel moeilijker maakt voor agents om gecoördineerde strategieën te leren. In de praktijk wordt dit geïmplementeerd door het MARL-algoritme uit te voeren onder een zeer lage discount factor terwijl het geheugen van eerdere acties en beloningen ernstig wordt ingekort.

Criterium 3: Short-term Profitability of Deviations. Gegeven dat collusieve uitkomsten geen Nash-evenwichten van het stage game zijn, heeft een of meer agents een winstgevende unilaterale strategie-afwijking. Toch wordt de collusie in stand gehouden wanneer agents zich onthouden van het overschakelen naar opportunistische strategieën, ondanks dat dit op korte termijn winstgevend is, vermoedelijk omdat ze begrijpen dat dit op de lange termijn tot minder winstgevende trajecten zou leiden. Dit criterium controleert of agents winstgevende ongerealiseerde afwijkingen hebben, en of die, indien gerealiseerd, gezamenlijke adaptatiedynamiek zouden triggeren die inderdaad tot minder winstgevende trajecten leidt.

4. De experimentele opzet

De experimenten gebruiken een gestileerde zeven-bus elektriciteitsmarkt, aangepast van de case study van Esmaeili Aliabadi en Chan (2022). De markt bevat vier strategische generatoren op bussen N1, N2, N5 en N6. De nodale vraag is perfect inelastisch en de markt wordt bij elke instantie gecleared door het DC-OPF probleem.

Het experimentele ontwerp is een volledige factoriële combinatie van drie assen: netwerkrepresentatie (Grid/NoGrid), vraagniveau (Laag/Midden/Hoog) en marginale-kost heterogeniteit (Laag/Midden/Hoog). Dit geeft 2 × 3 × 3 = 18 marktomgevingen. De geselecteerde scenario-dimensies komen overeen met marktkenmerken die in de tacit collusion literatuur worden besproken als factoren die de emergentie en duurzaamheid van collusieve uitkomsten beïnvloeden: netwerktopologie, vraagomstandigheden en kostheterogeniteit.

De agents worden getraind met een multi-agent implementatie van TD3 onder het centralized-training/decentralized-execution paradigma. Elke generator wordt vertegenwoordigd door een deterministische actor die zijn private geschiedenis mapt op de biedparameter. Tijdens de training mogen critics conditioneren op gezamenlijke marktinformatie om het leren in de niet-stationaire multi-agent omgeving te stabiliseren. Tijdens uitvoering en evaluatie worden echter alleen de gedecentraliseerde actors gebruikt. De agents communiceren dus niet bij het indienen van biedingen.

Elk van de 18 scenario's wordt getraind voor 100.000 marktinstanties, georganiseerd als 50 episodes van 2.000 instanties. De eerste 4.000 instanties worden gebruikt als opwarmfase. De discount factor is 0,99 en de replay buffer is 50.000.

5. De resultaten: collusie-consistente emergentie

De screening toont dat markups over het algemeen bescheiden zijn in de NoGrid-gevallen en geen duidelijke ordening vertonen over vraagniveaus of kostheterogeniteit. In de Grid-gevallen daarentegen produceren de agents substantieel hogere supra-competitieve markups en vertonen ze een systematisch patroon waarin hogere vraag en lagere marginale-kost heterogeniteit worden geassocieerd met hogere markups. Dit geeft aan dat transmissiebeperkingen marktmacht materieel versterken.

De screening laat drie niet-grens Grid-gevallen over voor gedragsvalidatie: Grid-LowDemand-HighCostDiff, Grid-LowDemand-MediumCostDiff en Grid-MediumDemand-HighCostDiff.

Punishment of Deviation. In Grid-LowDemand-HighCostDiff triggert de afwijking van G1 een uitgesproken reactie van de overige agents, die tijdelijk hun biedhellingen verlagen en vervolgens terugkeren naar hun pre-deviation strategieën, wat een duidelijk punish-and-forgive patroon produceert. Een vergelijkbaar patroon ontstaat in Grid-LowDemand-MediumCostDiff, hoewel de reactie asymmetrisch is: G5 en G6 reageren sterk, terwijl G2 dicht bij zijn pre-deviation strategie blijft. In Grid-MediumDemand-HighCostDiff induceert de afwijking van G5 geen vergelijkbare gecoördineerde verlaging van de biedhellingen van concurrenten, en wordt geen duidelijk punish-and-forgive patroon waargenomen.

Shortsight Ablation. In beide LowDemand-scenario's verdwijnen de uitgesproken punishment-and-forgiveness reacties onder de shortsight-ablatie, met biedhellingen van concurrenten die grotendeels onveranderd blijven na de gedwongen afwijking. Het verwijderen van geheugen elimineert de informatieve basis voor het conditioneren van huidige acties op een eerdere afwijking, terwijl de bijna-myopische discount factor veel van de prikkel verwijdert om een korte-termijn bestraffingskost te dragen om een winstgevender toekomstig regime te herstellen. In Grid-MediumDemand-HighCostDiff, waar geen duidelijke bestraffingsreactie aanwezig was onder de baseline, produceert de ablatie evenmin bewijs van een handhavingsmechanisme.

Iterative Best Responses. In Grid-LowDemand-HighCostDiff bieden unilaterale best responses korte-termijn winstmogelijkheden, maar de daaropvolgende IBR-dynamiek beweegt de agents naar beloningsniveaus die over het algemeen lager zijn dan die onder MARL worden gehandhaafd. Het patroon is nog duidelijker in Grid-LowDemand-MediumCostDiff, waar de aanvankelijk winstgevende afwijkingen worden gevolgd door lagere beloningsniveaus voor alle agents ten opzichte van hun MARL-benchmarks. In Grid-MediumDemand-HighCostDiff vertonen de IBR-trajecten niet dezelfde combinatie van winstgevende korte-termijn afwijkingen en een systematisch minder winstgevend daaropvolgend regime.

6. Synthese: twee mechanismen, één prijsniveau

De synthese van het gedragsbewijs is de kern van de paper. Tabel IV vat de drie criteria samen:

Scenario	Punish.	Shortsight	IBR	Interpretatie
Grid-LowDemand-HighCostDiff	Ondersteunend	Ondersteunend	Ondersteunend	Collusie-consistent
Grid-LowDemand-MediumCostDiff	Ondersteunend	Ondersteunend	Ondersteunend	Collusie-consistent
Grid-MediumDemand-HighCostDiff	Niet ondersteunend	Niet ondersteunend	Niet ondersteunend	Structurele marktmacht

De drie gedragstests leveren onderling consistent bewijs dat de twee LowDemand-leerregimes een herhaald-spel component bevatten die consistent is met tacit collusion. De persistentie van supra-competitieve on-path biedingen na de shortsight-ablatie geeft echter aan dat deze uitkomsten niet alleen door herhaald-spel prikkels worden gedreven, maar ook worden ondersteund door structurele, netwerk-geïnduceerde marktmacht.

Grid-MediumDemand-HighCostDiff biedt het contrasterende geval: ondanks een supra-competitieve marktuitkomst vertoont het noch een bestraffingsreactie, noch een ablatie-gevoelig handhavingsmechanisme, noch een IBR-patroon dat consistent is met de collusiecriteria. De verhoogde markup is daarom plausibeler toe te schrijven aan structurele marktmacht dan aan tacit collusion.

De centrale methodologische les is dat vergelijkbare supra-competitieve uitkomsten kunnen voortkomen uit kwalitatief verschillende strategische mechanismen, die niet kunnen worden onderscheiden op basis van prijsniveaus alleen.

7. Publieke-sector translatie: ACM-toezicht en EU AI Act art. 5(1)(a)

De bevindingen raken direct aan de inrichting van markttoezicht en AI-governance in Nederland.

EU AI Act art. 5(1)(a) (verbod op manipulatieve AI). Artikel 5(1)(a) verbiedt AI-systemen die manipulatietechnieken gebruiken om het gedrag van een persoon te verstoren op een manier die aanzienlijke schade veroorzaakt. De paper toont een verwant maar onderscheiden risico: niet manipulatie van personen, maar emergent gecoördineerd gedrag van autonome agents dat de mededinging ondermijnt. Voor een toezichthouder betekent dit dat de beoordeling van AI-biedsystemen niet kan stoppen bij de intentie van de ontwerper. Een systeem dat nooit is geïnstrueerd om samen te spannen, kan toch collusie-consistent gedrag produceren.

ACM-toezicht op algoritmische markten. De paper levert een methodologische bijdrage die direct bruikbaar is voor ACM-toezicht: supra-competitieve prijzen alleen zijn niet voldoende om collusie te bewijzen. De drie criteria (punishment of deviation, unsustainability under shortsight, short-term profitability of deviations) bieden een multi-dimensionale beoordeling die onderscheid maakt tussen gecoördineerd gedrag en structurele marktmacht. Voor een toezichthouder die algoritmische biedstrategieën beoordeelt, is dit de kern van een evidence-based benadering.

NIS2/BIO2 en systeemrisico. Voor NIS2-organisaties in de energiesector is de les dat tacit collusion een systeemrisico is dat niet in standaard BIO2/NIS2-risicobeoordelingen zit. De paper toont dat het risico emergent is en onbewust kan ontstaan, wat betekent dat risicobeoordelingen die alleen kijken naar expliciete intentie of communicatie dit missen.

8. Falsifieerbare hypotheses en beperkingen

De paper is methodologisch sterk maar kent beperkingen die de conclusies begrenzen.

H1: "Tacit collusion kan emergeren in elektriciteitsmarkten met autonome leergedreven biedagents." Deze hypothese wordt ondersteund in de twee LowDemand-scenario's, waar de drie criteria onderling consistent bewijs leveren. De ondersteuning is echter scenario-afhankelijk: Grid-MediumDemand-HighCostDiff toont geen collusie-consistent gedrag.

H2: "Supra-competitieve uitkomsten impliceren tacit collusion." Deze hypothese wordt gefalsificeerd. Grid-MediumDemand-HighCostDiff produceert een supra-competitieve uitkomst die niet voldoet aan de collusiecriteria en plausibeler wordt toegeschreven aan structurele marktmacht.

Beperkingen. (1) De auteurs zelf benadrukken dat de resultaten niet als conclusief moeten worden genomen maar als een alarmbel die uitgebreid onderzoek aanmoedigt. (2) De parameterisatie van de biedvector via een lineaire supply function reduceert de dimensionaliteit van de actieruimte van \(|S_i|\) naar 1, wat de rijkheid van mogelijke policies vermindert en mogelijk collusieve gezamenlijke policies uitsluit. De auteurs merken op dat als collusieve policies niet worden ontdekt met dit model, dit niet noodzakelijk betekent dat ze niet bestaan. (3) De markt is gestileerd (zeven bussen, vier strategische generatoren) en generaliseert mogelijk niet naar grotere, realistischere markten. (4) De auteurs onderzoeken niet de leer-mechanica die tacit collusion emergent maakt, noch marktontwerp-tegenmaatregelen, die beide als toekomstig werk worden aangemerkt.

9. Conclusie

De paper levert een zeldzaam stuk empirisch bewijs dat de emergentie van tacit collusion door AI-biedagents in elektriciteitsmarkten aannemelijk maakt. De kernbijdrage is methodologisch: supra-competitieve uitkomsten alleen zijn niet voldoende om collusie te bewijzen, en toezicht vereist een multi-dimensionale beoordeling van gedrag.

Voor de publieke sector is de operationele les concreet. Een toezichthouder die algoritmische biedstrategieën beoordeelt, moet verder kijken dan prijsniveaus en de drie criteria toepassen om gecoördineerd gedrag te onderscheiden van structurele marktmacht. Een NIS2-organisatie in de energiesector moet tacit collusion opnemen in haar risicobeoordeling, niet als een theoretische mogelijkheid maar als een empirisch aangetoonde emergentie onder bindende netwerkbeperkingen.

De paper eindigt met een terechte waarschuwing: de resultaten zijn een alarmbel, geen definitief bewijs. Het onderzoeken van de leer-mechanica die tacit collusion emergent maakt, en het onderzoeken van marktontwerp-tegenmaatregelen, zijn de volgende stappen. Voor toezichthouders en energiesector is de boodschap echter al duidelijk: autonome leergedreven agents kunnen samen spannen zonder ooit af te spreken, en het toezicht moet daarop worden ingericht.