"Hallucineer niet" zeggen lost niets op. Dit wel!

Hoi, leuk dat je luistert naar de korte aflevering van AIToday. Mijn naam is Joop Snijder, head of AI bij Info Support. en ik ga je vandaag meenemen in de vragen over hallucinaties. Want laatst krijg ik tijdens een workshop een vraag die ik inmiddels wel vaker hoor. en dat is echt een hele leuke vraag, want iemand stak een hand op en zei: Joop, waarom schrijf je niet gewoon in je prompt dat het taalmodel niet mag hallucineren? Dan is dat hele hallucineren opgelost. En ik snap die vraag volledig. Want taalmodellen zijn tegenwoordig natuurlijk heel goed in het opvolgen van instructies. Je zegt schrijf formeel en het schrijft formeel. Je zegt antwoord in het Nederlands en het antwoordt in het Nederlands. Dus waarom niet gewoon zeggen hallucineer niet. Ik ga je zo direct uitleggen waarom dat niet werkt, maar laten we eerst kijken wat voor soorten instructies wel werken. Want er zijn natuurlijk genoeg dingen die een taalmodel prima kunt verbieden. Je kunt zeggen, gebruik geen opsommingstekens. En het model schrijft dan in een lopende tekst. Je kunt zeggen, geef geen medisch advies. Het model zal het netjes weigeren. En je kunt zeggen, schrijf niet langer dan 200 woorden en dan houdt het zich redelijk aan, gebruik geen Engelse woorden. Dat soort beperkingen, verboden, kun je prima opgeven. Waarom werken die instructies zo goed? Omdat het allemaal keuzes zijn die het model kan maken op het moment dat een tekst gegenereerd wordt. Het model kiest woord voor woord en bij elk woord kan het als het ware checken. Past dit bij de instructie, moet ik hier een opsommingsteken plaatsen? Nee, dat mag niet. Moet ik hier een Engels woord gebruiken. Nee, de opdracht zegt Nederlands. Dat zijn stuurbare beslissingen over de vorm en de stijl van het antwoord. Maar hallucinatie is geen stijlkeuze. Het is geen formatting optie die je aan of uitzet. En hier zit echt dat verschil in. Een taalmodel voorspelt woord voor woord wat het meest waarschijnlijke vervolg is op de vorige tekst. Het heeft geen apart mechanisme dat tussendoor zegt. Wacht even, is dit wel waar. Het heeft simpelweg geen besef van waarheid. Het heeft sowieso helemaal geen begrip. Het weet niet wanneer het iets verzint, want het ervaart geen verschil tussen een feit en iets wat het fabriceert, hallucineert. Dus voor het model is alles hetzelfde proces. Het meest waarschijnlijk volgende woord kiezen. En daarom blijft wat mij betreft de analogie met rekenmachine zo treffend. Stel, je zegt tegen je rekenmachine, maak geen afrondingsfouten. En de rekenmachine weet niet wat een afrondingsfout is. Die voert je gewoon berekeningen uit volgens vaste regels. Een afronding is een gevolg van hoe de machine werkt en niet een bewuste keuze die je kunt uitschakelen. Bij een taalmodel is dat net zo. De hallucinatie is een bijproduct van het proces zelf. Het model kiest het meest waarschijnlijke volgende woord. En soms leidt die keten van waarschijnlijke woorden naar een overtuigend klinkend antwoord dat niet klopt. Het model heeft op geen enkele wijze of op geen enkel moment, moet ik zeggen, besloten om te gaan hallucineren. Er is geen kruispunt waar het links kon gaan voor waarheid en rechts voor verzinsel. Het kent dat kruispunt gewoon niet. Vergelijk het met de instructie: schrijf geen Engels. Daar kan het model bij elk woord controleren. Is dit Engels? Ja of nee. Bij hallucineer niet, zou het model bij elk woord moeten controleren, is wat ik hier beweer feitelijk correct. En dat kan het niet, want het heeft geen toegang tot een waarheidstoets. In een eerdere aflevering over de waarheid achter AI-hallucinaties heb ik al eens uitgelegd dat de term hallucinatie dat ik die eigenlijk misleidend vind. We lenen een woord uit de menselijke psychologie voor iets dat puur statistisch is. En dat maakt het verleidelijk om te denken dat je met een menselijke oplossing doe het gewoon niet vanaf bent. Uiteindelijk is een hallucinatie namelijk een fout. Wat wel helpt. Want dat is misschien wel handig. Kijk, je kunt dan niet een taalmodel vragen om te stoppen met hallucineren. Maar er zijn wel een aantal dingen die je wel kan doen om in ieder geval te zorgen dat het minder gebeurt. En gelukkig zijn dat er best veel. En de eerste en meest effectieve aanpak is: geef het model bronmateriaal mee. Zeg expliciet baseer je antwoord alleen op de aangeleverde tekst. Dit is het principe achter RAG, Retrieval Augmented Generation. Waarbij je het model koppelt aan jouw eigen documenten en data. En onderzoek laat bijvoorbeeld zien dat RAG hallucinaties. Dat RAG, zou ik moet zo zeggen, onderzoek laat zien dat deze vorm RAG, hallucinaties met zo'n 71% kan verminderen als het goed wordt ingezet. Ten tweede vraag om bronvermelding. Geef de instructie dat het model bij elk antwoord moet aangeven waar de informatie vandaan komt. Anthropic, de maker van Claude adviseert zelfs om het model elke bewering te laten onderbouwen met een citaat uit de bronnen en beweringen in te trekken waarvoor geen onderbouwing te vinden is. En dat maakt het voor jou als gebruiker veel gemakkelijker om te controleren of iets klopt. En ten derde kun je het model stap voor stap laten redeneren. Dat heet chain-of-thought prompting. In plaats van direct naar een eindantwoord te springen, vraag je het model om zijn denkstappen te laten horen. En dat verkleint in die zin de kans op fouten, omdat het model dan minder snel een sprong maakt naar een conclusie die nergens op gebaseerd is. In aflevering 72 van vorige seizoen over promptingtechnieken heb ik laten horen hoe dat in de praktijk werkt. Dus die kan je even terugluisteren als je zou willen. En dan is er nog een hele simpele: dat is namelijk als je de mogelijkheid hebt om web search aan te zetten. Veel modellen gebruiken standaard alleen hun eigen interne kennis, maar dat vergroot juist de kans op hallucinaties, vooral rondom actuele onderwerpen. En met websearch erbij haalt het model recente informatie op en krijg je vaak ook links erbij, die je kunt controleren, maar die je taalmodel ook zelf kan gebruiken om dingen te controleren. Een andere mogelijkheid is dat je bijvoorbeeld een tweede model taalmodel als controleur zou gebruiken. Je laat de output van het ene model beoordelen door een ander model met instructie om te controleren op feitelijke fouten. Dus wat je kan vragen is welke claims zitten hierin en controleer of die claims waar zijn. Dat zijn structuren. Die het complexer maken, maar wel uiteindelijk de hallucinatie kunnen verminderen. Het is een beetje hetzelfde als bij menselijk werken. Een collega die meeleest, vangt fouten op die je zelf over het hoofd hebt gezien. En dan nog iets. En dit is wel waar veel mensen niet bij stilstaan is houd je context window in de gaten. Dus elk model heeft een limiet aan hoeveel tekst het tegelijk kan verwerken. De grote modellen adverteren tegenwoordig het enorme van dit soort vensters van honderdduizenden woorden. Dat zeg maar een miljoen tokens. Maar in de praktijk presteert het model het beste bij misschien wel de helft maar ervan. Ga je daar overheen, dan neemt de kwaliteit af en daarmee ook dus die kans op fouten, de kans op hallucinatie. Maar ook te veel context binnen die limiet, dus wat je meegeeft. Dus hoe meer tekst je het model voorschotelt, hoe meer ruis kan ontstaan. Het model moet dan een berg aan informatie er doorheen worstelen om de relevante stukken eruit te halen. Kijk, als je een speld wil zoeken in hooiberg, kan die hooiberg maar zo klein mogelijk. Als je als je die zo klein mogelijk maakt, heb je zo snel mogelijk uiteindelijk die speld gevonden. Dus werk je aan een lang document of een uitgebreid gesprek, begin dan een nieuwe sessie of knip je document op in stukken en verwerkt die dan apart. Als we het even afsluiten, dan is de les van deze aflevering eigenlijk heel simpel: namelijk een taalmodel houdt zich aan je instructies over vorm, taal en structuur. Want dat zijn de keuzes die het model woord voor woord kan maken. Maar een instructie over waarheid, ja dat werkt niet, omdat het model geen verschil tussen feit en fictie kent, dat onderscheid, blijft mensenwerk. Dus het zou heel mooi zijn als je zou kunnen zeggen, hallucineer niet, maar helaas kan dat niet. Dankjewel weer voor het luisteren naar deze korte aflevering. Wil je niets missen van AIToday Live, druk dan op de volgknop in je podcast app en je hebt iedere week een nieuwe aflevering klaarstaan. En bedenk zoals altijd: AI is niet de oplossing van elk probleem, maar onmisbaar waar het past. Tot de volgende keer.