Wat als je chatbot teveel chat?

Het creëren van je eigen chatbot of AI assistent is verrassend eenvoudig geworden met tools zoals Custom GPT van OpenAI en Copilot van Microsoft. Zij openen de deur naar ongekende mogelijkheden. Maar terwijl we ons haasten om deze digitale assistenten te omarmen, stuiten we op een cruciale vraag. Hebben we wel voldoende nagedacht over de grenzen van wat ze zouden mogen zeggen? Leuk dat je weer luistert naar een korte aflevering van AIToday Live. Mijn naam is Joop Snijder, CTO bij Aigency. Het is eenvoudig om je eigen chatbot of AI assistent te maken. Een CustomGPT is bij OpenAI zo gemaakt. Je geeft de bot een naam, voert instructies in hoe de bot moet antwoorden en je kunt zelfs documenten toevoegen die gebruikt worden voor het geven van antwoorden. Ook Microsoft heeft een soortgelijke oplossing met Copilot Studio waarbij je zelf eenvoudig extra data kan ophalen uit bijvoorbeeld back-office systemen en zelfs workflows kan inrichten. Omdat het zo eenvoudig is om een chatbot te maken is de verleiding groot om hier snel mee te beginnen. Met als logische gevolg dat je nadenkt over het doel van de bot en welke vragen de bot allemaal moet gaan beantwoorden. Maar er is een grote maar. Je moet ook nadenken over welke vragen de bot niet mag beantwoorden. Want vaak mag een bot meer niet beantwoorden dan wel. Hoe bedoel je? Vraag je je nu misschien af? Laten we eens kijken naar een echt voorbeeld. Pakketdienst DPD heeft in het Verenigd Koninkrijk in de UK een chatbot gebouwd die vragen van klanten beantwoordt. Deze chatbot heeft echt live gestaan. Ze hebben veel werk aan veelgestelde vragen en hoe logisch is het dan dat je deze vragen door een chatbot wil laten beantwoorden. Vooral nu met de huidige taalmodellen die niet zo houterig communiceren als die ouderwetse chatbots. Deze chatbot had een korte levensduur en werd razendsnel offline gehaald. Waarom? Een klant werd ongelooflijk gefrustreerd omdat hij niet goed geholpen werd door de bot en liet vervolgens de bot vloeken en zelfs een gedicht schrijven over de slechte service van DPD. En dat deed hij feilloos. Dus hij maakte hier een video van en die zette hij op internet en dat ging viral. DPD haalde als resultaat van snel deze bot offline. Hier was duidelijk niet goed nagedacht over wat de bot juist niet mag zeggen en niet mag antwoorden. Toch lijkt dit wat als een open deur en misschien een ridicule blunder. Maar voordat je het weet vergeet je in je eigen enthousiasme om hierover na te denken. Of dat je denkt, nou ja dan alleen een interne bot. Daar kan toch minder fout gaan? Laten we nog een voorbeeld nemen. Een chatbot die antwoord kan geven op veelgestelde vragen die gesteld worden aan personeelszaken, HR, Human Resource of hoe het in jouw organisatie ook mag heten. Je weet wat ik bedoel. Zij worden overladen met vragen die werknemers ook kunnen vinden. Die antwoorden zouden kunnen vinden in een CAO of HR handboeken. Maar omdat deze documenten vaak groot zijn, onleesbaar voor een gemiddelde medewerker, vanwege de bijna waterdichte juridische beantwoording, of dat ze moeilijk vindbaar zijn. Nou ja, als dat het geval is, dan kom je met je vragen snel weer uit. Per personeelszaken. Deze CAO's en handboeken zijn voor iedereen toegankelijk, dus ze kunnen prima ontsloten worden met een chatbot. Vragen over ziektmeldingen, begrafenissen of onkostenvergoedingen kunnen zo eenvoudig door de chatbot worden beantwoord. En dan ook nog in een voor de medewerker leesbare vorm. Want taalmodellen zijn zeer goed in het vertalen van complexe zinnen naar juist eenvoudig te begrijpen taal. Tot zover geen veldje in de lucht. Maar laten we teruggaan naar de kern van deze aflevering. Wat mag je bot niet zeggen? Heb je zelf al een idee? Uiteraard mag het geen feitelijke onjuistheden schrijven. Dit kun je eventueel ondervangen door disclaimers te plaatsen bij de antwoorden en zelfs bronvermelding aan te bieden, zodat de medewerker zelfverantwoordelijk blijft voor het exact uitzoeken van de feitelijkheid van een antwoord. Maar zeg nu eerlijk, hoeveel mensen zullen dit doen? En als je dat wel doet, val je weer met je neus in de formele stukken. Maar wat mag de bot nog meer niet zeggen? Stel een medewerker meldt zich ziek. "Ik heb een barstende koppijn en ik kom vandaag niet op het werk." En de bot antwoordt met "Je kunt je ziek melden bij je manager. Kruip onder een dekentje, neem een paracetamol en dan zien we je morgen weer." Geen ondenkbaar scenario. Maar wil je dat de bot dit antwoord geeft? Nee, sterker nog, het mag niet eens. En je mag geen medisch advies geven. Dus we moeten chatbots expliciet beknotten in wat ze niet mogen zeggen. Of wat ze wel mogen zeggen. Expliciet beknotten in wat ze mogen zeggen. Maar hoe doe je dat dan? Ten eerste moet je zoals gezegd nadenken wat je bot niet mag zeggen. Dat je dat in ieder geval grotendeels helder hebt. Dit doet natuurlijk nooit één persoon. Je hebt hier meerdere personen nodig met verschillende expertise's en met een verschillende kijk op wat zo'n bot niet zou mogen zeggen. Ten tweede heb je technologie nodig waarbij je regie hebt over zowel de documenten die je aanbiedt, de vragen die je gebruiker mag stellen en laten we het vangreels noemen die ervoor zorgen dat je bot geen ongewenste antwoorden geeft. En als laatste heb je zoiets nodig als geautomatiseerde testen op die ongewenste antwoorden. Dat als je bij nieuwe versies van het model je steeds weer kan kijken. Houdt hij zich aan de restricties die je hem gegeven hebt? Hoe je dat doet is wel iets voor een volgende aflevering. Dat gaat nu te ver. Maar goed. Even afrondend. Wat mij betreft kijken we niet alleen met opwinding naar mogelijkheden van chatbots en AI-assistenten. Maar ook met een diep besef dat onze verantwoordelijkheid om deze op een verantwoorde manier te gebruiken. Dus wordt geen DPD UK. En denk na over wat je bot niet mag zeggen. Dank je wel weer voor het luisteren naar deze aflevering van AIToday Live. Abonneer je via je favoriete podcast-app en mis geen aflevering. [Muziek] [Muziek]