Vibe citations: waarom de waarschuwing niet genoeg is

Hoi, welkom weer bij de korte aflevering van AIToday Live. Ik ben Joop Snijder, Head of AI bij Info Support. Vandaag gaan we het hebben over vibe citations. En om duidelijk te maken wat dat is, ga ik je eerst even meenemen naar een rapport. En wel een rapport van een van de meest gerespecteerde adviesbureaus ter wereld met een titel die er niet om liegt. Redefining Excellence in the Age of Agentic AI. Een wereldwijde studie naar klantbeleving. En achterin 45 bronverwijzingen netjes genummerd met auteur, titel en jaartal. Alles wijst op degelijk werk. Op één ding na, namelijk van die 45 bronnen kloppen er vijf. Vijf. De rest niet. Veertig titels bleken verzonnen. Sommige verwijzingen plakken de schrijvers van het ene stuk op de titel van een ander stuk. Eén verwijst naar een persbericht uit 2019. Over een technologie die in 2019 nog niet eens bestond. GPTZero heeft dit uitgezocht. GPTZero die bouwt naar eigen zeggen verantwoorde AI-producten, waaronder een tool die dus verzonnen bronnen opspoort. En met die tool haalden ze dit boven tafel. En die conclusie is moeilijk te ontkennen. Hier heeft een AI-tool de bronnen verzonnen en niemand heeft het gecontroleerd. Niks nieuws, zou je denken. Maar ik wil wat dieper zo directe induiken van. Wat is hier nou aan de hand. Het leuke is: GPTZero noemt dit vibe citations. Best wel een mooie term. Je kent misschien vibe coding, programmeren op gevoel. De AI laten doen en dan hopen dat het klopt. Vibe citations is laten we zeggen het bronnenbroertje hiervan. Dus een verwijzing die de juiste vibe heeft. Hij heeft de vorm van een echte bron auteur, titel, jaartal, uitgever. Daardoor voelt hij betrouwbaar. Tot je hem echt nakijkt. En dan blijkt de titel net iets anders. De auteur verwisseld of de hele bron bestaat niet. Het is een citaat dat klinkt als een citaat zonder de inhoud van het citaat. Maar hier wordt het interessant. Want dit bureau is niet het enige. GPTZero vond hetzelfde patroon bij Deloitte en Ernst & Young. Ik moet er wel even bij zeggen: die andere is van KPMG waar we het over hebben. Dus drie van de vier grootste adviesbureaus ter wereld. Die hebben hier last van gehad. Deloitte moest in Australië zelfs een deel van een overheidsopdracht terugbetalen. Nadat een onderzoeker had vastgesteld dat een rapport verwees naar boeken die niet bestaan en een rechter citeerde die dat nooit had gezegd. En daar moeten we toch even bij stilstaan. Want dit zijn dus bedrijven, organisaties die bestaan bij de gratie van hun reputatie. En daar gaan ze echt niet lichtzinnig mee om. Dat betekent dat zo'n rapport waarschijnlijk is gelezen door derden, nagekeken, gecorrigeerd, misschien zelfs in meerdere rondes. En toch heeft niemand die bronnen goed gecontroleerd. En we weten dit allemaal. Je krijgt overal te horen: misschien heb je dat nu net al ergens of zo tegen hardop geroepen met dit verhaal: controleer je bronnen. Een taalmodel verzint dingen. Die waarschuwing wordt zo vaak herhaald dat hij bijna obligaat is geworden. Het begint te klinken als die opdreunende stem onder een reclame van een financieel product in het verleden behaalde resultaten bieden geen garantie voor de toekomst. We horen het aan, knikken en gaan over tot de orde van de dag. En dan komen we eigenlijk bij de echte vraag. Want tot zover is dit gewoon een fout, foutje bedankt, kan iedereen gebeuren. Wat mij betreft is dat het saaie deel van het verhaal. Het interessante deel is de vraag erachter. Waarom kan dit nou zo gemakkelijk gebeuren? Niet bij een student die om twee uur 's nachts een deadline haalt, maar bij wat ze zelf in ieder geval vinden, de top van de top. Dus met alle reviewrondes, alle reputatie, alle expertise die je kunt voorstellen. Want als het hier gebeurt op dit niveau, dan gebeurt het overal. En dan hebben we geen incident. Wat mij betreft hebben we dan een patroon. Een patroon los je niet op met controleer je bronnen. Want die boodschap is al lang doorgekomen. Blijkbaar ligt er iets anders aan de grondslag. En ik denk vier dingen die er zijn die elkaar daarin versterken. Laten we die eens even aflopen. Eén. We vertrouwen de machine. Het eerste heet namelijk automation bias. De neiging om te leunen op een geautomatiseerd systeem en de uitkomsten ervan te vertrouwen in plaats van zelf nog scherp na te kijken. Onderzoek laat zien dat we daarbij minder vaak controleren dan zou moeten. En dat de uitkomst van de machine onze eigen waakzaamheid vervangt. En dat effect wordt sterker onder precies de omstandigheden waarin een adviesrapport ontstaat: gezag, werkdruk, deadlines. En er speelt iets bijzonders mee. De AI-tool was niet ongehoorzaam. Hij was juist te gehoorzaam. Hij kreeg de opdracht om voorbeelden te vinden van bedrijven met agentische AI en die werden geleverd, ook waar ze niet bestonden, vragen een model om voorbeelden en het komt met voorbeelden, of ze nou kloppen of niet. Controleren voelt als zelfsabotage. Dit patroon zit dieper. Een groot onderzoek van Microsoft en Carnegie Mellon, onder ruim 300 kenniswerkers vond iets ongemakkelijks. Hoe meer je op AI vertrouwt, hoe minder kritisch je zelf nadenkt. Let op de richting en juist wie veel vertrouwen heeft in de tool, denkt het minst kritisch mee. En dat klinkt als luiheid, maar het is logischer dan dat. Een AI-tool bestaat juist om je werk uit handen te nemen, om moeite te besparen. En dan is controleren, moeite, dus. Precies het ding dat het nut van de tool lijkt te ondergraven. Waarom zou je een assistent inhuren en daarna al zijn werk overdoen? Zo zit er een rem op de verificatie ingebouwd, in de tool en in onszelf. En ik moet je eerlijk zeggen, ik zeg dit niet als buitenstaander, ik merk het zelf ook. Dat verschil tussen iets fijn uit handen geven en de moeite die het kost om het echt na te lopen, dat blijft gewoon lastig. Ik probeer zorgvuldig te zijn. En eerlijk gezegd vind ik het ook leuk om me in zo'n bron helemaal te verdiepen. Dat kost tijd en die tijd neem je niet altijd. Ik heb vast ook fouten gemaakt en ik zal ze nog maken. Dit is geen makkelijk punt. Het is echt een belangrijk punt. Het verschil tussen gemak en de moeite die je er alsnog in moet steken. Dan nummer 3. Een nepbron met de juiste vibe. Derde patroon verklaart waarom die verzonnen verwijzingen door de controle heen glippen. Ons brein gebruikt namelijk gemak als signaal voor waarheid. Wat vlot en moeiteloos binnenkomt, voelt waar. Onderzoeken hebben dit keer op keer aangetoond. Zelfs dezelfde tekst, maar dan in een nette, goed leesbare opmaak, komt geloofwaardiger over dan diezelfde tekst in een rommelige opmaak. En AI-tekst is het toppunt van gemak. Vlot, zelfverzekerd en bij die bron in exact de juiste vorm. Auteur, titel, jaartal, uitgever. Een nepbron heeft daardoor precies dezelfde gladde buitenkant als een echte. Wie het dan vlug doorneemt, die merkt niet. Vorm klopt. Dus we nemen aan dat de inhoud ook klopt. De vibe doet de rest. En nummer vier. Dat is ook wel een hele interessante, dat is namelijk iedereen wijst naar iemand anders. Het vierde patroon gaat over de pijnlijkste vraag. Het rapport ging waarschijnlijk door zoveel handen en juist daardoor controleerde niemand de bron. Psychologen noemen dit het omstanderseffect. Onderzoekers toonden al in 1968 aan. Hoe meer mensen erbij zijn, hoe kleiner de kans dat iemand ingrijpt. Niet uit onverschilligheid, maar omdat de verantwoordelijkheid zich uitsmeert over de groep. Twee dingen maken dit concreet voor binnen een kantoorsetting. Ten eerste, verantwoordelijkheid verdwijnt in een wolk van gedeelde mails, vage rollen, eindeloze cc's. Iedereen gaat ervan uit dat een ander wel aan de bel trekt, dus trekt niemand aan de bel. En ten tweede, we nemen aan dat wie meer status heeft ook meer verantwoordelijkheid draagt. De junior denkt. Ja, die senior partner keurt dit vast goed. De partner denkt de analist heeft dit vast nagekeken. De reviewer die denkt weer. Dit komt van een gerenommeerd team. Dus het zal wel kloppen. Iedereen wijst naar iemand anders. De bron controleert niemand. En dan het mooiste van allemaal. KPMG voerde samen met de Universiteit van Melbourne het grootste onderzoek ter wereld uit naar vertrouwen in AI. 48.000 mensen, 47 landen. En een van de uitkomsten, het is misschien gek voor woorden. Tweederde van de mensen gebruikt AI-output zonder de juistheid te controleren. En meer dan de helft maakt door AI-fouten in het werk. Laat het even bezinken. Dus KPMG heeft dit zelf onderzocht. Hij heeft dat dus uiteindelijk ook gewoon in een rapport geschreven, gepubliceerd het. En liet het vervolgens precies zo gebeuren in het eigen rapport. Het patroon dat ze documenteerden voltrok zich binnen de muren van de organisatie die het documenteerde. Dit is geen verhaal over één slordig bureau. En je zou erom kunnen lachen, maar het is eerder een spiegel. Het is een spiegel van wat wij allemaal zelf ook doen. Laatste is natuurlijk: ja, maar wat doe je dan hier aan? En dat is niet nog een keer een waarschuwing, want dat werkt niet. Dat is juist het hele punt wat ik hier wil maken. Je moet je werk veranderen. Maak het controleren goedkoop en automatisch, zodat het geen wilskracht meer kost. Er bestaan inmiddels tools zoals bijvoorbeeld GPTZero. Of je maakt zelf iets. Maar maak het nakijken ook iemands expliciete taak met een naam erin. Dus in plaats van iets wat in de cc's verdampt. En natuurlijk stem je vertrouwen af op wat de tool echt kan. Voor het vlot opschrijven van een verhaal is een taalmodel echt wel heel handig, voor het opleveren van kloppende bronnen is het gewoon zwak. Dat is geen falen van de techniek. Dat is weten waar je hem voor inzet. Dus direct na deze aflevering. Voordat je iets anders doet, pak je één document dat je organisatie recent met AI heeft gemaakt. En stel één vraag. Wie heeft de bronnen echt gecontroleerd en kunnen we dat ook aantonen? Kan niemand die vraag beantwoorden, heb je een gat in je review te pakken. Bedenk sowieso natuurlijk zoals altijd. Onmisbaar waar het past. Leuk dat je weer luisterde. Tot volgende week.