Wat leer je in deze aflevering?
In deze aflevering van AIToday Live delen Joop Snijder en Niels Naglé een intrigerend inzicht in de complexiteit van kunstmatige intelligentie door een recente fout van Joop met het gebruik van ChatGPT te bespreken. Ze ontleden hoe een poging om een hoogwaardig artikel te produceren onbedoelde lessen over de valkuilen van AI en het belang van inhoud over vorm opleverde.
Dit persoonlijke verhaal dient als basis voor een breder gesprek over de kritische houding die nodig is bij het werken met AI-technologieën zoals ChatGPT. Luisteraars worden aangespoord om mee te denken en hun eigen ervaringen te delen, om zo van elkaars fouten te leren en samen de uitdagingen die AI met zich meebrengt, beter te begrijpen.
Kernbegrippen
- Taalmodel
- AI-systeem dat tekst genereert op basis van patronen in trainingsdata, zonder inhoudelijk begrip.
- Prompt engineering
- Het formuleren van instructies voor AI om gewenste output te krijgen.
- Hallucinatie
- Wanneer AI plausibel klinkende maar onjuiste of irrelevante informatie genereert.
- Kritische evaluatie
- Het controleren en beoordelen van AI-output op juistheid en bruikbaarheid voordat publicatie.
Transcript
Hoi, leuk dat je weer luistert naar een nieuwe aflevering van AIToday Live, de korte versie. En nu heb ik deze keer een bekentenis te maken. Ik ben in de flinke valkuil van ChatGPT getrapt. Een valkuil waar ik juist voor waarschuw in presentaties, maar ook aan collega's en zelfs in verschillende afleveringen, juist van deze podcast. En daar ben ik dan zelf in getrapt. Met open ogen en dat vind ik eigenlijk nog het ergste. Nou wat is er gebeurd en wat ging er vooraf? In de vorige aflevering heb ik het gehad over de nieuwe taalmodellen van Entropic. Zij maken soort van GPT versies en uit vergelijkbare, vergelijkende testen moet ik zeggen, lijken ze beter te werken dan GPT-4. Nou dit zou een prestatie zijn, waren het niet dat ik die vergelijkende testen, wantrouwen en nadelen daarvan inzie. Luister die aflevering als je daar meer over wilt weten. Ik denk dat het een mooie en inzichtelijke aflevering is die helder het probleem schetst. Tot zover, niets aan de hand. Je moet weten dat ik van iedere aflevering een transcriptie maak. De spraak wordt dan omgezet naar tekst. Omdat sommige podcast apps de mogelijkheid bieden om de podcast zo te ondertitelen om de toegankelijkheid te verbeteren. En als je tekst hebt, kunnen we met je GPT er nog veel meer mee. Dat is juist zo interessant. Dus voor lange afleveringen laat ik bijvoorbeeld opzoeken waar een gast boeken, artikelen of papers deelt die wij dan als show notes aan jou kunnen tonen. Dat scheelt ons heel wat zoekwerk. Een andere mogelijkheid is om de ondertiteling om te zetten naar een artikel. En daar ging het mis. Ik dacht, wat ik gezegd heb is interessant voor een brede publiek, dus ik maak een Engelstalig artikel. Oh ja, ik gaf GGPT daarbij ook de opdracht om dat in de stijl te doen van de New York Times. Daar kwam, althans dat vond ik, een mooi artikel uit. Eigenlijk vooral mooie Engelse zinnen. Dit is mijn verhaal in mooi Engels zoals ik het zelf nooit zou kunnen schrijven, dacht ik. Dus mijn eigen trots werd lekker gestreeld. Maar het advies is natuurlijk nooit tekst zomaar 1 op 1 gebruiken wat uit ChatGPT komt. Dus ik ging het nalezen en met Grammarly, een tool die ook nog wat AI-zaken ondersteunt, kon ik hier en daar zinnen aanpassen waarmee de zinnen nog mooier werden. Wat was ik blij met mezelf. Dus, hup. Meteen eigenlijk, 's avonds, laat, het artikel gepost op LinkedIn in de hoop dat met het tijdsverschil ook Amerikanen het konden lezen. Maar toen ik 's morgens wakker werd, had ik een klein stemmetje in mijn achterhoofd van 'ja, dat ging wel erg snel van omzetten naar publicatie'. Maar ja, niets meer aan te doen. Kreeg ik even later een bericht van een hele bekende AI-spreker die ik hoog heb zitten. Die zei 'Joop, mag ik je twee ongevraagde tips geven?' Nou, nadat ik positief had geantwoord, fileerde hij, op vriendelijke wijze, mijn Engelstalig artikel. Moeilijk leesbaar door complex Engels en geen taal aan vastknopen, wat ik nou precies wilde zeggen. Ging het nu over vergelijkende testen of toch wat anders? Nou ja, zijn boodschap was in ieder geval wel helder en ook raak. Wat natuurlijk al duidelijk is, is dat ik me heb laten verleiden om vooral naar de vorm te kijken. Dus van 'zie mij nu dat mooie Engels schrijven'. Ik denk dat dat er wel redelijk dicht bovenop ligt. En dodelijk. Want ik wil juist een eenvoudige taal-AI toegankelijk maken. Maar er was ook nog wat anders gebeurd. Aan de korte aflevering werk ik zodat ik een idee, opinie of concept kort kan uitleggen. Daarmee schrap ik overbodige tekst. En met het omzetten van mijn tekst naar een Engels artikel herschrijft ChatGPT niet alleen de tekst, maar heeft het ook de neiging om deze in te korten. Daardoor waren belangrijke ondersteunende uitleg weggevallen, bruggetjes verdwenen en daarmee de zorgvuldige structuur van het origineel verdwenen. Had ik dat kunnen opmerken? Zeker weten. Maar ik was te zeer onder de indruk van de vorm en vergat de inhoud. En inhoud is waar het om draait. Dus laat jou dit niet overkomen en wees kritisch over de uitkomsten van taalmodellen zoals ChatGPT en wees ook kritisch op jezelf. Soms moet je je hoofd stoten in een valkuil trappen om ervoor te zorgen dat je alert blijft. Ik heb mijn hoofd gestoten en in een valkuil gestapt. Hopelijk blijft deze jou nu bespaard. Dankjewel weer voor het luisteren. Durf jij een bekentenis te delen? Ben je heel erg benieuwd? Zet ze in de comments of LinkedIn en dan reageer ik sowieso. [Muziek] [Muziek]