De toekomst van ChatGPT na de hype

Leuk dat je weer luistert naar een nieuwe aflevering van de AIToday Live. Mijn naam is Joop Snijder, CTO bij Aigency. En mijn naam Niels Naglé, chapter lead, Data & AI bij Info Support. En we hebben een deel 2 met Marc van Meel, vriend van de show noemde ik hem in het eerste deel. Dus als je die nog niet geluisterd hebt, luister daar terug. We hebben het over ChatGPT en dan niet eigenlijk over de huidige hype. Maar we proberen daar juist overheen te kijken. En wat nou als die hype is gaan liggen? Waar komen we dan op uit? Heb je deel 1 nog niet geluisterd? Doe dat absoluut. We praten door met Marc. Nou Mark, we hadden al een aantal dingen besproken, maar waar ik nog wel benieuwd naar ben, is, zie jij ontwikkeling op dit gebied, waarbij ChatGPT bijvoorbeeld ook veel meer uitleg gaat geven over hoe die tot een bepaalde redenatie gaat komen. Ja dat vind ik een goede. We hebben nu al voorbeelden gezien dat ChatGPT ook bronnen kan verzinnen. Ja zeker. Hij kan papers verzinnen, scientific citations die niet bestaan. In die zin is hij niet betrouwbaar, zou je kunnen zeggen. En dat heeft natuurlijk te maken, Misschien voor de meer technische luisteraars dat het in principe een model is wat niks anders doet dan voorspellingen maken over welke woorden naar jouw prompt zouden moeten komen. Dus heel kort gezegd, het vult gewoon woorden eigenlijk voor je in. Het nadeel is, is dat niet alle combinaties van woorden te vinden zijn op het internet. Hij is getraind op het internet, dat is heel veel data. En als je googelt wat is 2+2, dan ga je legio voorbeelden vinden van 4 als antwoord. woord maar alle combinaties van woorden of misschien een combinatie van 10 woorden, alle mogelijke combinaties dat is al meer dan het aantal atomen in het universum. Dus daarom gebruikt het een model wat voorspellingen doet over welke tekst gaat volgen. Ook al is die tekst nog nooit, heeft die tekst nog nooit de revue gepasseerd in de menselijke geschiedenis. Ja, dus het is al heel erg... Ja, daar kleeft een klein gevaar aan, om het zo maar te zeggen. Ja, en het gevaar zit er met name in de gebruik, wat mij betreft, namelijk het aannemen voor waarheid. Klopt, ja dat komt dat, ze noemen dat hallucineren, zo hebben ze dat gedoped. Dat die inderdaad heel overtuigend met antwoorden op de prop komt die niet per definitie waar zijn. Ik had hem bijvoorbeeld Ik was een weekendje weg naar Düsseldorf en ik vroeg aan Chachipiti wat zijn de beste parkeergarages. Waar kan ik het beste parkeren? En drie van de vijf bestonden niet. Maar ik kon wel zien waar hij de data vandaan had gehaald. Want het waren een soort van samenraapsels van parkeergarages die wel bestonden of niet meer bestonden. In dat soort geval kan ik jullie aanraden nog wel even een quality check te doen voordat je gaat vragen waar je het beste kan parkeren of hoe laat je vliegtuig vertrekt. ook even googelen. Ja laten we daar inderdaad een ander model voor gebruiken of inderdaad even zelf naslaan en de kwaliteit controleren. Ja en wat ook interessant is, we hadden het in de vorige aflevering al even over die super prompts, dus die heel erg ingewikkelde prompts die je meegeeft. Chachapiti is, je zou het creatief kunnen noemen. Het is een zeer creatief model. Dat heeft voor- en nadelen. Kijk bijvoorbeeld wetenschappelijke feiten, 2+2=4, kan je vrij makkelijk controleren. Maar ik heb hem ook wel eens prompt meegegeven met de vraag, geef mij een filosofische beschouwing van deze en deze filosoof op dit en dit onderwerp. Bijvoorbeeld, wat vindt Jean-Paul Sartre van de metaverse bijvoorbeeld. Dat kan niemand weten, want die persoon is laast overleden en hij weet niet wat de metaverse is, dat was het toen nog niet. Maar maar dan komt hij met een antwoord op de propel dat heel erg moeilijk te controleren is. En dat is geen wetenschappelijk antwoord natuurlijk. Dus dan moet je al redelijk gespecialiseerd zijn in filosofie of psychologie om überhaupt vast te kunnen stellen of dit antwoord ergens op slaat. Ja. Nou en als je... We hebben natuurlijk ook al een klein beetje gehad over hoe zou je het toe kunnen passen in het bedrijfsleven. Wat ik daar ook nog wel zie is van... Juist omdat die... Kijk, bij de vraag die je stelt krijg je niet altijd hetzelfde antwoord. Dat kan een dingetje zijn. Maar ook het formaat om te dwingen om een bepaald formaat terug te krijgen. En zeker als je iets wil automatiseren is het wel fijn als je iets in eenzelfde formaat krijgt. Daar moet je echt heel erg je best voor doen. En hopen dat er niet iets bijgetraind wordt, anders getraind wordt, dat dat model verandert. Dat daarmee ook het hele formaat verandert van je antwoord. En dat bedoel ik niet zeg maar in technische termen. Een aantal lengtes. Ja, de Jason die je terugkrijgt, die kan je wel uitlezen. Maar de ene keer... Voor onze podcast vraag ik bijvoorbeeld een overzicht. Mark die geeft misschien zo direct een geweldige tip voor een boek. Die mensen kunnen lezen. Om niet de hele podcast terug te hoeven luisteren, heb ik chat GPT, vraag ik op onze transcript. Wat wordt allemaal genoemd aan boeken, dat soort dingen. Zet dat in een tabel. De ene keer krijg ik wel een tabel, de andere keer niet. De andere keer krijg ik gewoon een lijstje, een bullet list. Je kan het op de gekste manieren. Als ik op een gegeven moment denk van deze prompt heb ik en nu doet hij het echt in een tabel. En de volgende keer word ik weer verbaasd en dan staat hij weer op een hele andere manier. Herken je dat? Ja, dat is eigenlijk ook de kracht van het model. Ik zei al eerder dat hij probeert een zin af te maken, zou je kunnen zeggen. En het woord waarmee die op de proppen komt is tegelijkertijd weer de input voor het volgende woord. Voor de woordzetting van de tekst. Hij is een soort van autogeneratief zou je kunnen zeggen. En hij pakt inderdaad niet altijd hetzelfde woord. Hij is dus niet deterministisch. Dat kan je voor de data scientist reguleren met die temperatuur setting. Temperature noemen ze dat. En daarmee kan je zeggen hoe creatief die is. Heel simpel voorbeeld. Ik laat mijn puntje puntje uit. Dat zal misschien 9 van de 10 keer hond zijn. Dat zal vaak in de trainingsdata voorkomen. Maar af en toe wil je misschien ook wel iets anders. Misschien ik laat mijn kavia uit ofzo, of mijn kat. Met die temperatuur setting kan je eigenlijk de kans aanpassen. Je kan de kans groter of kleiner maken dat die voor een wat creatiever of minder vaak voorkomend wordt gaat. En dat bouwt zich natuurlijk op. Omdat die output ook weer de input is voor het vervolg. En op die manier kan je radicaal andere outputs genereren. Ik denk persoonlijk dat dat juist de kracht is van dit model. Dus daar moet je hem ook juist voor gebruiken. Om even een connectie te maken naar het bedrijf. Ik denk dat dit uitermate geschikt is voor bijvoorbeeld trainingsdoeleinden. Om een voorbeeld te geven bij KPMG en natuurlijk ook andere organisaties. We hebben redelijk veel trainingen. Een groot deel daarvan zijn compliance trainingen bijvoorbeeld. Niet je laptop aan laten staan, dat soort dingen. En ik zat ook wel eens te denken, zou het niet elegant zijn, want die trainingen zijn in principe voor iedereen hetzelfde. Iedereen moet ze doen, ongeacht je niveau, ongeacht of je de antwoorden nog weet van volgend jaar, ongeacht of je partner bent. - Van vorig jaar denk ik, of niet? Ja, sorry, dat zei je? - Volgend jaar. Je zit zo in de voorspellingen dat je zei, de antwoorden van volgend jaar. Oh, sorry. Nou ja, dan kan ik verklappen dat het vaak dezelfde is. Maar ja, je verneemt de antwoorden natuurlijk een beetje. Dus daarom is het goed dat ze die trainingen doen. Maar de een wat meer dan de ander. Dus zou het niet elegant zijn als je eigenlijk gepersonaliseerde trainingsroutines kan maken? Dus dat op basis van de input die jij geeft, dat je eigenlijk andere scenario's voorgeschetst krijgt. Je zou het zeggen getailored, aangepast op jouw niveau waar jij je bevindt. Dit is natuurlijk een grote probleem in het onderwijs algemeen. Dat iedereen in de klas op dezelfde snelheid dezelfde materie krijgt. Maar je hebt natuurlijk altijd mensen die zijn wat sneller, anderen zijn wat langzamer, anderen weten het al. Daarom geloof ik heel erg in het gebruik van dit soort modellen voor gepersonaliseerde trainings- en coachingsdoelheinden. Ja. En een andere is over die hype kijken. Wat ik zie is dat er best wel wat open source nu aan het ontstaan is. Ik denk dat die ook overblijven zo direct naar de hype. Wat denk jij? Gaan we naar grotere modellen? Gaan we naar kleinere modellen? Welke ontwikkeling zie jij? Volgens mij had ik vorig jaar de voorspelling gemaakt dat we juist kleinere modellen zouden krijgen. Trouwens, een heel leuke discipline of een leuke tak van sport, het prunen van neurale netwerken. Als je in de praktijk kijkt... Snoei hè, voor de luisteraars. Dus echt het kleine maken. Dus je traint het model en dan ga je de stukjes eruit halen die uiteindelijk niks bijdragen aan je uitkomst. Ja, klopt. Het is een van de minst sexy, underrated velden vind ik in machine learning. Maar als je in de praktijk kijkt naar van die grote modellen, dan zijn het vaak kleinere subsets. van de neurale netwerken die daadwerkelijk het overgrote gedeelte bijdragen aan het voorspelresultaat. Dus je hebt heel veel neuronen die zou je in principe kunnen wegnippen. En er is een spocht natuurlijk om dit soort modellen kleiner te maken. Ik moet wel constateren dat over de afgelopen maanden, afgelopen half jaar de modellen alleen maar grotere zijn geworden. Ik weet niet, volgens mij heeft Chatty Tepidina 175 miljard programma's. Ja, maar dat was GPT-3. Van 4 weten we het niet. Dat is niet bekendgemaakt. Volgens mij heeft de CEO wel gezegd dat hij wel groter is, maar zeker niet... Ze hadden het over toen die 1000 miljard of zo... wat op social media gezegd werd. Daarvan heeft hij gezegd dat dat niet is. Dus het zal ergens daartussenin zitten. Ja, het lijkt toch een beetje bigger is better te zijn de afgelopen... Ja, maar ik ben wel betwijfeld dat het echt zo blijft. Het is natuurlijk fijn dat je één model hebt die heel veel voor jouw zaken zou kunnen oplossen. Maar of we daarmee één mega, one model to rule them all, zeg maar, gaan krijgen, ik denk het niet. Ik zie wel meer heil in kleinere modellen voor specifieke zaken die je wil bereiken. Met misschien een façade daarvoor, waarin je logica hebt wanneer je wat het beste kan gebruiken. Zodat we ook kostenefficiënt en ook voor het dilemma en het intent wat we hebben... terechtkomen bij het juiste model dat we daarvoor vertrouwen en willen inzetten. Daar zie ik meer de toekomst in. Je ziet natuurlijk al wat open source initiatieven. En omdat zij niet zoveel data hebben, niet zoveel rekenkracht en dat soort zaken, dat ze al in ieder geval redelijke performance kunnen halen. Redelijk ten opzichte van bijvoorbeeld GPT-3. Met veel minder parameters, veel minder groot, grotere dataset die ze dan nodig hebben ook voor de training. En ik denk dat dat een goede ontwikkeling is. En dat bedrijven zijn die ongeveer hetzelfde willen bereiken... dat moeten we ook zeker mogelijk blijven maken in de maatschappij met elkaar. Want daarmee challengen we hoe groot moeten we het maken. En is dat ook echt nodig? Het kan dus ook kleiner voor bepaalde doeleinden. Dus ik denk dat een hele belangrijke ontwikkeling is... dat die open source zaken ook diezelfde performance willen... en zo veel mogelijk bij die resultaten komen... maar met kleinere of andere technieken daarin de toepassing willen gaan ontwikkelen. Ik ben het helemaal met jullie eens. Want als je erover nadenkt, dan zijn die parameters natuurlijk... Je zou het kunnen vergelijken met knoppen waar je aan kan draaien. Je zou het zelfs allemaal mini-regressie knopjes kunnen noemen in de context van een raal netwerk. Natuurlijk, de taal is tot op zekere hoogte eindig. Dus je kan natuurlijk het argument maken dat we niet oneindig parameters nodig hebben. En zeker als je toegaat naar een toepassing van bijvoorbeeld een taalmodel... voor een gespecialiseerde vorm van gebruik. Waarom zou je dan zoveel miljarden parameters nodig hebben? Daar maak je een heel goed punt. En volgens mij is het een leuke tak van sport, inderdaad ook marktgedreven, om te gaan naar modellen die kleiner zijn, maar misschien net zoveel, misschien ook wel meer kunnen in een bepaalde afgebakende context. Volgens mij is dat nog een goed iets. Ook een van de ethische dilemma's die je nou ziet is, wat zijn de kosten van een trainingsiteratie, van een chat GPT. Dus wat is de impact op sustainability, op een ESG factor. Wat is een ESG factor? Dat is een vorm van reporting. Dus je hebt organisaties die rapporteren niet alleen financieel, maar ook op wat het creëren van hun producten bijvoorbeeld, of het verlenen van hun diensten, hoe dat scoort op social responsibility. Oh ja, Environment, Social Goals, iets in die hoe danigheid. Ik moet het nog even opzoeken. Ik pin me er niet op vast, maar die hoedanigheid zien we ook inderdaad. Ook in de huidige cloud-ontwikkelingen zien we ook steeds meer rapportages daarop komen. Van, goh, wat is eigenlijk de footprint van de oplossingen die we neerzetten... waarbij dat ook meegenomen wordt. Ik denk in deze wereld dat dat ook heel erg van belang gaat zijn in de toekomst. Nou, en zeker natuurlijk het trainen van deze modellen. En zodra je dit gaat fine-tunen binnen je organisatie... Dus dat je mee gaat trainen op data van jezelf, zal dat inderdaad wel impact gaan hebben. Ja, inderdaad. En kijk, als je het één keer groots traint en dan veel kan gebruiken, dan is dat nog één ding. Maar als je hem continu van grote hoeveelheden veel laat trainen, dan heb je dus best wel wat impact die je maakt. En is dat nodig om je doel te bereiken. Mark, wordt jouw taak als auditor makkelijker of moeilijker? Dus je komt ergens en deze technologie heeft een bedrijf geïmplementeerd. Wat betekent dat voor jou als ordertor? Ja, dat is een spannende ontwikkeling. We hadden het al even gehad over de AI-act natuurlijk, in de vorige aflevering. Dat er heel veel organen zijn die op versneld rap tempo ook iets moeten vinden van generatieve AI. Wat natuurlijk al lang bestaat, maar niemand zag het aankomen dat het zo hard zou gaan. Ik merk in de praktijk dat heel veel van onze klanten, organisaties die wij helpen, maken in de praktijk al vaak een afweging tussen een uitlegbaar model en een onuitlegbaar model. Dus als jij iets moet uitleggen aan een auditor, een accountant, of misschien is jouw stakeholder wel de politiek of burgers dan zal in de praktijk vaak een keuze of een voorliefde wil ik niet zeggen maar voorkeur misschien ja een voorkeur zijn voor een iets uitlegbaarder model dus echt de de norale netwerken die die kom je weinig tegen buiten natuurlijk de bekende settings Image recognition, dat soort zaken. Ik denk wel dat, stel jij gebruikt bijvoorbeeld een chatbot. De chatbots van nu of tot op heden zijn niet zo goed. Meestal als je op een website een vraag stelde, dan leidt het alleen maar tot frustratie. Ik denk wel dat de komst van dit soort taalmodellen, laten we het zeggen, de bar hebben verhoogd op dat gebied. Ik denk niet dat je meer als website kan wegkomen met een slechte chatbot. Ik denk wel dat je ervoor moet zorgen dat die chatbot jouw klanten niet gaat beledigen. En ook omdat de CEO van OpenAI ook had opgeroepen tot externe audits, daar zie ik daar wel een leuke tak van sport voor ons ook weggelegd. Ja, absoluut. En vanuit jouw persoonlijke gedachte, zouden er dingen zijn waarvan jij vindt dat die verboden zouden moeten worden? In algemene zin of even specifiek op taalmodellen? Ja laten we naar generatieve AI dan. Dus dan kunnen ook plaatjes, muziek, ja geen idee. Alles wat daar binnen valt. Ja het is een interessante discussie. Je ziet nu eigenlijk al volgens mij wat rechtzaken op het gebied van artiesten. Volgens mij was er een song van Drake of zo gegenereerd die niet echt Drake was. Volgens mij had David Guetta al M&M stem gebruikt in een van zijn liedjes, wat niet M&M was natuurlijk. Of niet zelf. Volgens mij zijn er op heel veel horen ook al restricties. Je mag niet pornografisch materiaal genereren natuurlijk met dit soort image recognition of image generation tooling. Ik denk dat het lastig is om het, ja je kan het wel verbieden, maar het wordt heel lastig om het tegen te gaan. Zeker als jij een lokale versie bijvoorbeeld gebruikt, dan ben je vaak niet gebonden aan de restricties die de online versie wel kan opleggen. Met betrekking tot de input, het prompt dat jij meegeeft. Er zijn een taal van zaken waarvan ik liever niet zie waar ze voor gebruikt worden. Ik wil niet dat criminelen dit soort tooling gaan gebruiken. Maar ik zie meer in de handhaving een uitdaging eigenlijk. En ook de plagiat discussie is heel erg interessant. In het verleden, als jij plagiaat pleegt, dan pak je iets van een ander en je doet alsof het van jezelf is. Maar met het gebruik van chat GPT, ja je doet alsof het van jezelf is. Als je bijvoorbeeld een opstel inlevert, maar dan krijg je de discussie, heb je het wel gestolen van iemand? Of niet? Volgens mij was er ook een tijd terug iemand die een boek had geschreven met behulp van Generative AI. En daarbij is wel gezegd van, ja sorry, maar het intellectual property is toch niet van jou? Er is te weinig van jezelf toegevoegd om dat eigen te maken. Ja, ik zie ook in het bedrijfsleven, om even terug te komen, op het bedrijfsleven een interessante uitdaging. Als je daar niet transparant over bent, bijvoorbeeld jij wordt ingehuurd voor een duur uurtarief of misschien een fixed price en je gaat dit soort tooling gebruiken. En misschien heb je het in de helft van de tijd klaar. Dan denk je dat is mooi verdiend. Maar wat als de klant daar achter komt bijvoorbeeld? Misschien gebruikt de klant ook wel dat soort tooling. op een gegeven moment zijn ze ook bij en die komt erachter van "hé, wat zullen we nou krijgen? Ik heb dezelfde output met mijn eigen model. Ze hebben me een stuk gegeven wat door een AI is gegenereerd." Wat op zich niet erg hoeft niet erg te zijn, maar als je daar niet transparant over bent, zou je je best bekocht kunnen voelen. Dat soort vragen worden heel erg relevant. Ja, een leuke opmerking inderdaad. Die laat ik even resoneren inderdaad. Dan kom ik op een tijdje nog eens even terug. Ja, dat is wel een belangrijk element. Als jij nou mensen, de luisteraars van ons, een tip 1, 2, 3 zou willen geven van hoe bereiden we ons voor na de hype? Heb je daar een idee bij? Post hype. Ja, de post hype tip. Ja, maar iets wat toekomstbestendig is, laat ik het zo zeggen. Ik denk niet dat dit soort modellen weggaan. Ik zie juist een hele grote kans om dit soort, dan heb ik het even over taalmodellen, heel bijzonder, te integreren in je dienstverlening. Ik zou bedrijven of organisaties, maar ook individuen, We willen aanraden om eens te kijken wat zijn de CRTs in jouw werk. En daarmee bedoel ik Cognitive Repetitive Tasks. Oh ja. Dus dat zijn bijvoorbeeld slides maken, e-mails versturen. Kan je dat niet op de een of andere manier automatiseren of laten ondersteunen door dit soort tooling? Tegelijkertijd moet je denk ik ook nadenken over wat je kan verwachten als input van andere organisaties, wat ik net ook aangaf. Misschien een leuk voorbeeld te noemen, een leuke use case zou kunnen zijn zo'n tool bouwen die voor jou in beroep gaat. Misschien heb je al een bekeuring gekregen of je bent het ergens niet mee eens. Die tool kan natuurlijk heel erg efficiënt de voorwaarden doorspitten. En een lege team grond vinden om jouw geld terug te krijgen. Dan kan je als organisatie die dit soort tickets binnenkrijgt, misschien kan je wel veel meer tickets gaan verwachten. Nou ben je daar überhaupt op ingesteld? Ik denk bijvoorbeeld aan de overheid. Is de overheid wel ingesteld op een overbloed aan bezwaarschriften die bijvoorbeeld binnen gaat komen? Misschien gaan ze zelf dan ook wel eens een soort taalmodel daarvoor moeten integreren. Dit zijn fundamentele vraagstukken. Vind ik wel een hele mooie. Dat je inderdaad ook nadenkt van niet alleen hoe je je in het in kan zetten, Maar ook, zeg maar, hoe het jou kan gaan beïnvloeden, wat daar op je af gaat komen. Ja, mooi. Er wordt natuurlijk vaak gedacht aan wat kan ik de deur uit doen. Maar ik zou ook eens nadenken over wat je allemaal binnen kan gaan krijgen. Natuurlijk hadden we het al even kort over spam natuurlijk. Je kan ook veel betere spam nu gaan verwachten. Maar ik denk dat we de luisteraar mooi achter kunnen laten. Dat je ze direct eens even nadenkt van, ja, wat kan je inderdaad binnen krijgen? binnen jouw organisatie. Een hele mooie afsluiter. Dank je wel, Mark. - Dank je. Dank je wel dat je weer onze gast wilde zijn. Mis geen aflevering van ons. Abonneer je met je boel in je favoriete podcast-app. En mis geen aflevering. Je krijgt vanzelf een seintje zodra je geabonneerd bent, als er een nieuwe aflevering online staat. Nogmaals, Mark, dank je wel. Leuk dat je weer aanwezig wilde zijn. Geniet er altijd van jouw input.