Modelknop vs. effortknop: wanneer draai je aan welke?

Helaas is Joop ziek, maar we gaan toch verder waar we vorige week gebleven zijn. Daarom vandaag de korte aflevering met Niels. Hoi en leuk dat je weer luistert naar een korte aflevering van AIToday Live. Mijn naam is Niels Naglé, Area Lead Data & AI bij Info Support. En in deze aflevering gaan we het hebben over twee knoppen waar we vaak aan draaien waaruit blijkt dat we vaak aan de verkeerde draaien. In deze aflevering ga ik verder waar Joop vorige week het stukje thinking mode heeft ontleed. Namelijk wat een taalmodel werkelijk doet wanneer het meldt dat het aan het nadenken is, namelijk rekenen. En legt hij uit waarom denken daar een misleidend woord voor is. En deze aflevering bouw ik daarop voort. Want naast de effortknop staat de modelknop. En de vraag welke van die twee moet je draaien is een interessante vraag waar ik in deze aflevering graag met jullie verder induik. Laten we even een voorbeeld pakken. Wie weet herken je dit. Je vraagt een AI-model om iets uit te zoeken in je werk, een contract na te lopen, een foutmelding uit te pluizen, een berekening te controleren. Je krijgt het antwoord terug. Klinkt gedegen, ziet er goed uit, maar is fout. Het model heeft een bepaling overgeslagen of een conclusie getrokken die nergens in de stukken staat. En dan is de vraag: wat doe je dan? Bij de meeste mensen die ik hierover spreek, gaat de hand naar dezelfde knop. Het uitklapmenu met modellen. Het kleinere model deed het niet. Dus we schakelen over naar het grootste en het duurste dat we mogen gebruiken. En daarnaast zit vaak ook de effortknop met standen als laag, gemiddeld en hoog en die draaien we voor de zekerheid ook maar helemaal open om te komen tot het antwoord en de uitleg die we willen. Vandaag wil ik het hebben over die twee knoppen. De modelknop en de effortknop. Ze staan bijna in elke interface vlak naast elkaar en ze lijken hetzelfde te doen. En ze doen eigenlijk volstrekt iets anders. En in deze aflevering gebruiken we daar een artikel voor vanuit Anthropic die ze gepubliceerd hebben ter inspiratie. Deze publiceerden ze begin juli en is een uitleg van de verschillende knoppen waaraan gedraaid kunnen worden, geschreven door Lydia Hallie van hun technische staf en we zullen de link ook opnemen in de show notes. Dat is dus wel één leverancierssperspectief die daarin wordt meegenomen, maar hetzelfde principe geldt ook bij OpenAI, bij Google en bij elke leverancier die deze twee instellingen voorschotelt. Goed, laten we beginnen bij de eerste knop, namelijk de modelknop. En we gaan er iets verder in dan de aflevering van vorige week. En we gaan dus even kijken naar het taalmodel. Die bestaat uit gewichten, miljarden getallen vastgelegd tijdens het trainen. Daar zit het belangrijke punt. Op het moment dat jij je vraag verstuurt, staan de getallen al vast. Niets in jouw opdracht, niets in de documenten die je meestuurt, verandert iets aan die getallen. Alles wat in het model zit zit vast in die bevroren getallen. Nu zal je afvragen: wat betekent dat? Dat betekent wanneer je een ander model kiest, wissel je welke verzameling bevroren getallen jouw vraag behandelt. Je kan het vergelijken als dat je wisselt van vakgenoot of het vraagt aan een andere collega. Die heeft andere ervaring en is anders getraind. En hier zit een onderscheid dat in de praktijk vaak door elkaar loopt. Namelijk je kunt een model bijsturen met de juiste stukken. Dus zet de handleiding van jouw systemen erbij en het model werkt er netjes mee en aan voor. Maar het leert er niets van. Het is bijsturen, geen bijleren. Zodra het gesprek voorbij is, is die kennis weg. Denk bijvoorbeeld aan iemand die voor een opdracht inhuurt, een tijdelijke opdracht. Je geeft hem een dossier van jouw organisatie waar die verstandig mee omgaat om het werk te doen. Maar de ervaring die hij meeneemt uit eerdere klussen die verander je niet met een dossier. Die ervaring heeft hij al en daar bouwt hij op voort. Dan de tweede knop, de effortknop. Vorige week noemde Joop effort de hoeveelheid inspanning die het model mag inzetten, gemeten in tijd en in tokens. Dat blijft staan. Maar zijn omschrijving was wel wat smal en we gaan in deze net wat verder en de uitleg van Anthropic helpt me daarbij. Hij hield het bij redeneertokens, dus de lengte van het spoor dat het model aan zichzelf schrijft voordat het jou beantwoordt. En een enkel antwoord in het chatvenster is dat precies wat het is. Maar zodra een model gereedschap heeft en zelfstandig stappen zet, stuurt effort veel meer aan. Namelijk hoeveel bestanden het openslaat, hoe vaak het zijn eigen werk nakijkt, hoe vaak en hoe ver het doorgaat met stappen om de taak te behalen. En hoe vaak de stappen uitgevoerd mogen worden voordat het bij jou terugkomt. Bij een lage stand zegt het model eerder: ik heb te weinig om op op te gaan. Geef me meer context. Bij een hoge stand gaat het zelf op zoek, controleert het en komt het later terug met meer zekerheid. En Anthropic geeft één voorbeeld waarin dezelfde opdracht, dus dezelfde opdracht wordt op de hoogste stand en op de laagste stand uitgevoerd. En bij de hoogste stand ongeveer werden er ongeveer zeven keer zoveel tokens verbrand. Dus wat hier belangrijk is, zijn de twee dingen die ik hier scherp wil houden. Namelijk effort stuurt het verbruik, maar begrenst het niet. De enige harde grens is een maximaal aantal tokens per antwoord. En dat kapt een antwoord midden in de zin af. Taakbudgetten zijn een advies waar het model naar luistert. Geen muur waar het tegenaan loopt. Laten we het nu wat praktischer maken. En Anthropic geeft één diagnostische vraag mee die ik echt goud waard vind en die ik aanraad om voor jezelf te hanteren. Namelijk wanneer het antwoord niet klopt, vraag je jezelf dan het volgende af. Wist het te weinig of deed het te weinig. Deed het te weinig, dan hoor je aan wat er ontbreekt, namelijk het sloeg een bijlage over. Het liet de controle achterwegen. Het stopte halverwege een klus die af moest. Dan hebben we met de effortknop te maken. Wist het te weinig? Dat merk je weer aan iets anders. Het had namelijk alles wat het nodig had voor de opdracht. Het deed keurig zijn werk. Er kwam toch een antwoord uit dat aantoonbaar niet klopte. Dan gaan we richting de modelknop. Dan wil je misschien een capabel model, een groot model, een ander model. En zo'n model gaat ook beter om met opdrachten die niet helemaal helder zijn. Terwijl een klein model prima gedijt bij hele precieze instructies. Dus weten hoort bij het model, doen bij de effort. Dus als we die twee onthouden, dan kunnen we daarin de afweging maken naar de knoppen. Het aardige is ook dat de vraag ook de andere kant op werkt. En dat is een hele waardevolle. Namelijk doe je al een week routinewerk op het grootste model, stap dan een keertje naar beneden naar een klein model. Sneller, goedkoper en mogelijk zelfs zonder dat de kwaliteit inzakt. En dan het advies dat het meest beviel, omdat het ook nog eens van een leverancier kwam en tegen zijn eigen omzet in gaat. Wanneer het misgaat is je eerste stap niet gelijk naar de knop toe. Je eerste stap is je eigen opdracht. Was je vraag te vaag, had het model wel toegang tot de juiste systeeminformatie, ontbrak er een stuk informatie dat voor jou vanzelfsprekend was, maar nog niet meegegeven was in de context. Ga eerst naar die stap toe. Draai je dan de effortknop open voor een taak die dat niet nodig zou hebben, dan ligt de oorzaak bijna altijd een stap eerder. Namelijk wat je meestuurde en hoe scherp je de klus had afgebakend. Dus een hele belangrijke. Want de reflex om aan de knoppen te draaien, kost geld. En om het maar even heel blunt te zeggen: een slechte opdracht wordt niet beter van een grote motor om het op te lossen. Over geld gesproken. Dat is ook wel een belangrijke. Want bij routinematig werk verbruikt het grotere model meer tokens, want het controleert meer. En daarnaast is ook elke token nog eens duurder. Je betaalt het al dus twee keer voor hetzelfde resultaat, namelijk meer tokens. Tegen ook wel eens een hoog tarief. Dus wees je bewust van wat je daar kiest. Bij zwaar meerstapswerk kan dat best wel kantelen. Het kleinere model dat ploetert tegen de grens van zijn kunnen aan en verbrandt beurt na beurt tokens. Dan is het misschien interessant om te kijken naar het grotere model. Die haalt dezelfde lat in minder stappen. Per afgeronde taak kan het dan goedkoper uitpakken, ook al betaal je per token individueel meer. Dus zo is het goed om die afweging te maken welk model je moet gaan gebruiken. In de column van Joop over tokenmaxxing had hij het over organisaties die tokenverbruik gaan meten als bewijs van productiviteit. Dat is de andere kant van de medaille. Het verbruik zelf zegt nog niets. Wat iets zegt is of je je knop paste bij het soort fout dat je hebt gemaakt. Als we kijken naar een team, wat betekent dat voor drie afspraken? De standaardinstelling voor dagelijks werk laat je staan. We pakken een capabel model wanneer een probleem echt taai blijkt. En iemand die houdt in het team in de gaten en weet ook aan welke knoppen hij of zij moet draaien bij welke fout. De modelknop en de effortknop zijn dus geen twee standen van dezelfde regelaar. De modelknop bepaalt hoeveel je vakgenoot weet. De effortknop bepaalt hoe grondig die vandaag te werk gaat. Klopt het volgende antwoord niet? Begin dan bij je eigen opdracht en daarna wist het te weinig of deed het te weinig, want weten is het model, doen is de effort. Dat scheelt je geld en scheelt je een hoop gepruts. Wil je nou meer op de hoogte blijven van dit soort ontwikkelingen zonder daar zelf helemaal in te overduiken, volg dan AIToday Live in je podcastapp, dan mis je geen aflevering en bedenk zoals Joop altijd zo mooi zegt: AI is niet de oplossing voor elk probleem, maar onmisbaar waar het past.