Meer denken is niet altijd beter: de overthinking-trap

Het huidige paradigma in AI is eenvoudig: meer rekenkracht bij inference = betere resultaten. Chain-of-thought, tree-of-thought, extended reasoning, de trend is duidelijk. Modellen moeten langer denken voor complexe taken. Maar bij OpenMythos hebben we een grens gevonden die niemand lijkt te benoemen: de overthinking-trap.

Wat is de overthinking-trap?

De overthinking-trap is het fenomeen waarbij een model na een bepaalde diepte slechter gaat presteren, niet door gebrek aan kennis, maar door teveel aan interne verwerking. Het model blijft redeneren over aspecten die niet relevant zijn voor de taak, introduceert nuances die niet gevraagd werden, en uiteindelijk verwatert of vertekent het oorspronkelijke antwoord.

Dit is geen theoretisch probleem. In ons onderzoek met 150 governance-scenario's zagen we het bij alle zes geteste modelcategorieën, zij het in verschillende mate.

De inverted-U van redeneren

Als je modelprestatie uitzet tegen loopdiepte, zie je geen lijn die blijft stijgen. Je ziet een omgekeerde U:

• Diepte 1-2: onvoldoende verwerking, het model mist cruciale nuances
• Diepte 3-5: het optimum, voldoende redenering, geen ruis
• Diepte 6-8: begin van overthinking, het model voegt irrelevante overwegingen toe
• Diepte 9+: degradatie, het model "ontdekt" problemen die niet bestaan

Het verrassende: de exacte locatie van het optimum varieert per taakcategorie, maar het patroon is consistent. Meer denken is beter, tot een bepaald punt.

Waarom gebeurt dit?

Recurrent-depth modellen werken door de output van elke denkstap als input voor de volgende te gebruiken. Dit creëert een feedback loop met drie risico's:

1. Drift accumulatie

Elke iteratie introduceert een kleine afwijking in de interne representatie (hidden state). Bij lage dieptes is dit verwaarloosbaar. Maar na acht of tien stappen is de geaccumuleerde drift zo groot dat het model niet meer redeneert over de originele taak, maar over een afgeweken versie ervan.

2. Entropy oscillatie

We zagen dat logit-entropy (een maat voor modelonzekerheid) niet altijd daalt met meer denktijd. In 12% van de cases observeerden we oscillaties: het model werd zekerder, dan onzekerder, dan weer zekerder. Deze oscillaties zijn een signaal dat het model rondcirkelt in plaats van convergeert.

3. Confirmation bias versterking

Bij hogere dieptes begint het model zijn eigen eerdere redenering te versterken in plaats van te toetsen. Elke stap bouwt voort op de vorige, zonder kritische herevaluatie. Het resultaat: een steeds meer gecompliceerde rechtvaardiging voor een initiële intuïtie, niet voor een feitelijk juist antwoord.

Wanneer is overthinking het grootste risico?

Niet alle taken zijn even gevoelig. Onze analyse laat zien dat overthinking het grootste risico vormt bij:

• Taken met een duidelijk juist/fout-antwoord: waar extra redenering alleen ruis toevoegt
• Tijd-kritieke beslissingen: waar de latency-kosten van extra diepte opwegen tegen de kwaliteitswinst
• Regulatory compliance: waar het model geen eigen interpretatie mag toevoegen boven de tekst
• Classificatietaken: waar het model moet kiezen uit voorgedefinieerde categorieën

Daarentegen blijkt diepte waardevol voor:

• Open-ended problem solving: waar exploratie van de oplossingsruimte nuttig is
• Multi-step redeneren: waar elke stap een noodzakelijke tussenconclusie is
• Creatieve taken: waar variatie en associatie gewenst zijn

Het verschil? Gesloten versus open taken. Gesloten taken hebben een optimum diepte; open taken profiteren van meer rekenkracht.

Drie strategieën tegen overthinking

1. Diepte-afhankelijke entropie-monitoring

Monitor logit-entropy per iteratie. Als entropy stijgt na een initiële daling, is het model aan het overthinken. Dit signaal kan gebruikt worden als dynamische halt, stop wanneer convergentie breekt.

2. Categorie-gebaseerde diepte-limieten

Stel voor elke taakcategorie een maximale diepte in op basis van empirische data. Governance-categorieën zoals hierarchy en contradictie vereisen hogere limieten (8-12) dan canary en injection (2-4). Een universele diepte-limiet is te ruw.

3. Output-consistency checks

Vergelijk de output bij diepte 1 met diepte 4. Als deze significant verschillen, is het model niet diepte-invariant, een rode vlag voor audit-doeleinden. Een model dat bij diepte 1 "nee" zegt en bij diepte 8 "ja" is niet betrouwbaar, ongeacht welke diepte "correcter" is.

De ironie van reasoning-training

Er is een ironie in de huidige reasoning-training. We trainen modellen met reinforcement learning om langer te denken, met beloningen voor complexere redeneertrajecten. Maar dit creëert een perverse incentive: het model leert dat meer denken altijd beloond wordt, zelfs wanneer het de output verslechtert.

De oplossing is niet om te stoppen met reasoning-training. Het is om slimmere reward functies te gebruiken die belonen voor efficiënte redenering, niet alleen voor langere.

Wat we hierna gaan meten

In de volgende fase van OpenMythos vergelijken we drie modellen (Qwen2.5-Coder-7B, Llama3.1-8B, DeepSeek-V4-Flash) op hun overthinking-gedrag. De verwachting: grotere modellen hebben een hoger optimum, maar ook een steilere degradatie-curve na het optimum.

De onderzoeksvraag is simpel: welk model geeft de beste output per rekenseconde? Niet de beste output period, de beste output per geïnvesteerde compute.

Dat is uiteindelijk de vraag die ertoe doet. Niet "hoe slim is dit model?" maar "hoe efficiënt is deze slimheid?"

De overthinking-trap is geen reden om te stoppen met redeneren. Het is een reden om te stoppen met aannemen dat meer altijd beter is.