Thinking mode uitgelegd: wat het model echt doet

Leuk dat je weer luistert naar een korte aflevering van AIToday Live. Mijn naam, Joop Snijder, Head of AI bij Info Support. En we gaan het vandaag hebben waarom thinking mode een misleidend woord is wat het eigenlijk ook doet. Want je stelt een AI-model een lastige vraag en in plaats van meteen te antwoorden, krijg je dan de melding: het model is aan het denken. Thinking, denkmodus staat het dus. En dat vind ik echt een ontzettend irritante term. Daarom wil ik het vandaag over hebben. Want het lijkt alsof ergens een brein even achterover leunt en jouw probleem overweegt. En dat woord denken, dat klopt niet. Een taalmodel denkt niet. Het rekent. Het verschil tussen die twee bepaalt hoe je deze functie uiteindelijk het beste inzet en wanneer je haar beter uit kunt laten. En ook let op wie dat woord kiest. Niet jij, niet ik. Het zijn de leveranciers van de modellen die er menselijke taal op plakken. Denken, nadenken, redeneren dat praat natuurlijk makkelijk. Maar het is misleidend en het wakkert onze fantasie aan over wat er in zo'n machine gebeurt. Zo'n woord stuurt je verwachting en in dit geval is dat wel de verkeerde kant op. Wie gelooft dat er wordt nagedacht, gaat de uitkomst vertrouwen als de mening van een deskundige. Dat is precies de fout die ik hier vandaag help voorkomen. Want wat gebeurt er dan echt? Het taalmodel werkt door steeds het volgende woord te voorspellen. Superkrachtig, dus woord voor woord op basis van kansen die het het meest heeft opgepikt uit enorme hoeveelheden tekst. Elk woord dat het teruggeeft is de uitkomst van een gigantische som. Geen begrip, geen bedoeling, alleen rekenwerk dat verrassend goed is geworden in gokken wat er volgt. En wat is die thinking mode dan. Voordat het model zijn eindantwoord geeft, schrijft het eerst een reeks tussenstappen op. Zie je het als een soort kladblaadje. Het noteert eerst dit dan dat. Dus het antwoord is waarschijnlijk zus. Die tussenzinnen zijn geen inkijkje in een innerlijke gedachte ofzo. Het is extra tekst die het model produceert. En precies die extra tekst, dat is de truc. Want waarom helpt dat? Elk woord kost het model een vast beetje rekenwerk. Een moeilijk probleem, heeft soms meer rekenwerk nodig dan in één keer past. Wanneer het model eerst stappen uitschrijft, geeft het zichzelf in die zin meer ruimte om te rekenen. En elke stap die het opschrijft, wordt onderdeel van wat het weer inleest voor de volgende stap. En zo bouwt het voort op zijn eigen aantekeningen. Het gesprek met zichzelf is dus geen overpeinzing, maar een manier om de berekening over meer stappen uit te smeren. Laten we kijken naar dat kladblaadje. Want stel, iemand vraagt jou nu om 17 keer 24 uit het hoofd te doen. Meteen zonder pen. Grote kans dat je dat niet meteen zo allemaal voor je hebt. Maar geef diezelfde persoon en ik geef jou een kladblaadje en dan lukt het bijna wel altijd. Niet omdat het blaadje iemand slimmer maakt, maar omdat je de som in stukjes kunt hakken en tussenstappen kunt vastleggen. Dus denkmodus is dat kladblaadje. Het model schrijft zichzelf een spoor van tussenstappen en gebruikt dat spoor om tot een beter eindantwoord te komen. Het brein leunt niet achterover. Er wordt er eigenlijk gewoon langer en meer gerekend met de tussenresultaten en die worden netjes uitgeschreven. Let op wat dit betekent: het kladblaadje verandert niets aan wie de som maakt. Een kind met een kladblaadje maakt nog steeds kinderfouten, alleen wat minder vaak. Het model wordt door thinking mode niet plotseling een expert. Het krijgt meer werkruimte, meer niet. Nu wordt het interessant, want je kunt namelijk het model bijsturen op hoeveel op dat kladblaadje geschreven, gerekend kan worden. En vrijwel elk groot model heeft daar tegenwoordig een knop voor. ChatGPT, Gemini, Claude, allemaal hebben dat, alleen heet het hier en daar net iets anders en heeft de één iets meer standen dan de ander. Maar de naam maakt uiteindelijk niet zoveel uit. Het idee is vaak hetzelfde. Je hebt een soort van laag, gemiddeld, hoog. Laag betekent weinig tussenstappen, snel en goedkoop. Hoog uiteraard betekent dan veel stappen, langzamer, duurder. Je stelt in feite een budget in. Hoeveel woorden mag het model aan zichzelf besteden voordat het jou een antwoord geeft. En anders dan denken, wordt het uitgedrukt in het woord effort. En dat effort vind ik wel een eerlijk woord. Want het benoemt namelijk geen innerlijke gedachten of zo, maar echt een hoeveelheid inspanning die het model mag inzetten. En die inspanning is gewoon te meten. Tijd en in tokens. Ja, maar meer is dus altijd beter. Maar zo werkt het niet. Meer denkstappen betekent meer rekenwerk en dus meer tijd en meer kosten. En de grap is, er zit ook nog een plafond aan. Voorbij een bepaald punt helpen extra stappen nauwelijks nog. En soms praat het model via dat kladblaadje zichzelf juist een fout antwoord in. Het schrijft dan lange, geloofwaardige redeneringen die onderweg toch aan het ontsporen zijn. En onderzoekers zoeken al een tijd naar de beste manier om die inspanning te sturen. Kun je een model met een simpele instructie zuiniger of juist grondiger laten rekenen, kun je een hard plafond op het aantal denkstappen zetten en toch een goed antwoord houden. Wat daaruit naar voren komt. Het is nu nog wat nuchter, zou je kunnen zeggen. Er is geen stand die overal het beste werkt. Voor de ene taak levert doorrekenen winst op en dan voor de andere verspilt het alleen tijd. En die winst die vlakt ook af. De sprong van laag naar gemiddeld helpt vaak meer dan de sprong van gemiddeld naar hoog effort. Dus die knop is dus geen kwaliteitsschuif die je zomaar naar maximaal draait. Het is echt een afweging, dus nauwkeurigheid aan de ene kant, snelheid en kosten aan de andere. Dus voor de ene vraag. Voor de andere loont het om het model even door te laten rekenen. En de kunst zit dan dus in het herkennen van het verschil en dat is werk dat jij doet, niet het model. Nu komt er iets wat ik echt hoop dat je dat je onthoudt. Want die tussenstappen lezen als een redenering. Netjes, logisch, overtuigend. Maar ze zijn geen betrouwbaar verslag van hoe het model werkelijk aan zijn antwoord kwam. Het is gegenereerde tekst die de vorm van redeneren heeft. Geredeneerde tekst. Het is gegenereerde tekst die de vorm van redeneren heeft. Geen weergave van een innerlijk proces. Waar komt dat vandaan? Het zit in de manier waarop het model is getraind. Tijdens dat trainen krijgt het model alleen een beloning als het eindantwoord klopt. En als het de afgesproken vorm aanhoudt. De tussenstappen zelf worden niet nagekeken en worden dus ook niet beloond. Het model leert dus stappen te schrijven die helpen om bij een goed eindantwoord uit te komen. En niet stappen die eerlijk verslag doen van wat er onderweg gebeurt. Het spoor is afgestemd op de uitkomst en niet op de waarheid van elke losse stap. Een model kan een prachtige redenering opschrijven en er toch naast zitten. Of andersom, dus via stappen die niet kloppen, toch bij het juiste antwoord uitkomen. En de vorm en de juistheid staan dus los van elkaar. Dat voelt misschien wat gek. Want bij ons mensen nemen we juist een nette uitleg. Het zien we als een teken dat iemand het snapt. Bij een taalmodel gaat die aanname helaas niet op. Voor jou in de praktijk betekent dat het volgende: behandel dat denkspoor dus niet als bewijs. Het is een hulpmiddel voor het model, maar geen garantie voor jou. Controleer de uitkomst alsof er helemaal geen stappen bij stonden en wees juist extra alert wanneer de redenering verdacht goed klinkt. Overtuigingskracht en correctheid zijn twee verschillende dingen. Nu is de vraag, wanneer zet je nou die denkmodus aan en op welk niveau? Bij problemen die echt uit meerdere stappen bestaan. Neem een analyse met een paar voorwaarden of een berekening. Ik vind berekening eigenlijk helemaal niet zo handig om te doen met een taalmodel, maar een hele goede dataanalyse bijvoorbeeld. Een plan waarbij stap 3 afhangt van stap één. Logica die je zelf op papier zou gaan uitschrijven, daar betaalt dat extra rekenwerk zich echt terug. Wanneer niet? Nou ja, dan bij eenvoudige dingen. Een samenvatting, iets herschrijven, snelle opzoekvraag. Daar kost die thinking mode vooral extra tijd en geld zonder een beter antwoord. Je betaalt dan voor een kladblaadje dat je niet nodig hebt. En in organisaties telt dat best wel op in kosten. Zet je standaard alles op hoog, dan lopen je rekening en je wachttijden op zonder dat er evenveel waarde tegenover staat. Mijn advies is simpel: zet het standaard laag, draai je het alleen omhoog waar de vraag het verdient. Behandel dat rekenbudget als een uitgave die zich ook moet verantwoorden. Net als elke andere uitgave. Nog even terug dan kort naar het knopje. Dus thinking mode prima naam voor marketing voor die leveranciers, maar een slechte naam om het te begrijpen. Er is geen brein die daadwerkelijk aan het denken is. Er is een machine die wat langer rekent en ertussen de resultaten uitschrijft, zodat ze meer ruimte heeft voor moeilijke vragen. Vat je het zo op als bijstelbaar rekenwerk en niet als gedachte, dan beslis je in ieder geval een stuk beter wanneer het de moeite waard is en blijf je kritisch op de uitkomst hoe overtuigende stappen ook klinken. Dat was het weer. Bedenk AI is niet de oplossing voor elk probleem, maar onmisbaar waar het past. Leuk dat je weer luisterde naar deze korte aflevering. Vergeet je niet te abonneren via je favoriete podcast app en mis je geen aflevering. Tot de volgende keer.