Bevooroordeelde AI examensoftware: Het gevecht van Robin Pocornie

Hi, leuk dat je weer luistert naar een nieuwe aflevering van AIToday Live. Mijn naam is Joop Snijder, CTO bij Aigency. Mijn naam Niels Naglé, Chapter Lead Data & AI bij Info Support. En we hebben vandaag de gast Robin Pocornie. Robin, dank je wel dat je de gast wilde zijn. Ik had al een hoop over je gelezen. Maar voordat we daarover beginnen, zou je jezelf willen voorstellen? Ja, nou super bedankt dat ik hier mag zijn vandaag sowieso. Mijn naam is Robin en ik ben student bio-informatica aan de VU, Vrije Universiteit Amsterdam. En daar ben ik eigenlijk nog steeds mee bezig met die master. Door samen te lopen van omstandigheden, waar we het zeker nog wel even over zullen hebben vandaag. En ik ben dus een klein beetje uitgefaseerd uit de wetenschap momenteel. En ik werk nu als creatief producent voor evenementen. En daarnaast spreek ik ook over AI en ethiek voornamelijk. Ja, want we hebben het hier ook best wel redelijk vaak over ethiek. Ja. - In deze podcast. En wat je dan ziet is dat dat mensen zijn die aan de kant zitten, zeg maar, van advies geven, dat soort zaken. Jij hebt heel nadrukkelijk aan de andere kant van de streep gezeten, dat je heel erg last hebt gehad van wat er mis kan gaan als dingen ethisch niet op de juiste manier zijn geïmplementeerd. Klopt en daar is dus dan ook dat interessante juxtaposition er ook bij, dat ik natuurlijk zelf ook een computer science achtergrond heb, wat het ook gewoon een interessante zaak maakt. Dus ja, bij de VU is er, en bij verschillende universiteiten tijdens corona, software gebruikt om tentamens in remote te kunnen afleggen, laten afleggen door studenten. En wat er bij die software moest gebeuren, is dat je moet inloggen. Net als bij een echt examen op locatie, heb je dan een surveillant. En in dit geval is de surveillant vervangen door een software die heet Proctorio. En die checkt of studenten spieken of niet. En dat doet die software door middel van image data. Kijken of je lang wegkijkt of juist niet. Een klik-klik behavior. En in mijn geval, om daar dus in te kunnen loggen, moet je dan je gezicht scannen. En in mijn geval, ik ben een zwarte vrouw, kon ik niet in die software. En dat viel me eigenlijk al best wel vroeg op. En nu denk ik dat dat voornamelijk komt door dus... toen wat minder, nu wat meer kennis van AI en hoe dat werkt, hoe we dat bouwen, hoe we dat trainen, modellen, dat soort dingen. En... -Hoe merk je dat het niet werkte? Nou, je hebt natuurlijk de fase waar je bijvoorbeeld je studentenpas moet scannen. en de computer of in ieder geval de software kan dat op dat moment wel herkennen als een pas. Dus de drie of de vier hoeken van een pas. Maar mijn gezicht dus dan niet. Dus er is in dezelfde omstandigheden, namelijk in die kamer, is er dus wel de mogelijkheid om mijn pas te scannen, maar niet mijn gezicht. En dan zijn er ook dat soort... Kreeg ik een notificatie van 'room too dark', 'face not detected', dat soort gevallen. Dus dan merk je dus dat je je gezicht niet kan scannen. En toen heb ik een lamp op mijn gezicht geschenen en toen werkte het wel. Maar wat bijzonder hier is, het is gewoon overdag en het waren... eigenlijk gewoon realistische levensomstandigheden waar ik in zat. Dus dat niet een te donkere kamer, het was niet 's avonds laat, het was gewoon 's middags. Met goed verlichten, niet achter verlichten, maar echt van voren, raamlicht. Dus dat is wel... - Je had vrijstand in de gaten, dit gaat om mijn huidskleur. Nou, niet per se meteen mijn huidskleur, maar meer van dat ik dacht, oh, dit algoritme kan waarschijnlijk gezichten gewoon niet goed detecteren. - Ah, zo ja. - Dus ik was best wel, misschien naïef of zo, wel willen vertrouwen dat het niet aan mijn zwarte huidskleur ging. Maar deze software werd op dat moment al heel veel gebruikt in de Verenigde Staten, dus veel grotere groep gebruikers had je daar al. En daar was al een anekdotische bewijs van studenten dat het was gewoon heel evident dat zwarte studenten daar last van hadden. Op die manier zoals ik daar ook last van had. En toen was het eigenlijk nog meer gewoon een beetje onderzoek doen naar empirical evidence, of in ieder geval kwantitatieve bewijs. En daar was al reverse-engineerd geweest door een andere wetenschapper. Je weet in ieder geval op welke datasets het getraind is. Dan kom je er al wel snel achter dat het dus wel komt... door niet kunnen detecteren van mijn huidskleur. Maar dan heb je volgens mij een heel helder, duidelijk probleem. Ja. -Zou je zeggen, die is makkelijk oplosbaar. Ja, dan denk je toch eigenlijk, perfecte situatie. Je maakt iets mee, je gaat op onderzoek uit, je vergaart de bewijs. Je gaat door dat hele pakketje naar de universiteit. En dan zou je denken dat die zou zeggen... 'Hé, goed dat je dit eigenlijk voor ons gedaan hebt. Dank je wel.' 'En we gaan hiermee aan de slag en we zetten dit niet meer in... voor onze volledige studentenpopulatie die ook student van kleur heeft.' Dus tijdens een pandemie waar we weer op een eerlijke manier moeten kunnen studeren. Zeker. Maar... Dat is niet geweest. Nee, dat was... Nee. Nou weet je, had het ook al snel klaar geweest dit gesprek. Ja, ja. Volgende maanden hadden we kunnen gaan. Nou ja, misschien ook juist... Misschien niet hè. Dan kunnen we het juist hebben over hoe we vooruit zijn gegaan. Ja, precies. Ja. Dus... Nee, maar het is verbazingwekkend. Dus weet je, blijf luisteren. Want het is... Je hebt echt een heel bizar proces. gemaakt want het klinkt allemaal heel... ja we zitten er nu om te lachen maar het is natuurlijk heel bizar. Want je denkt van nou ja je komt inderdaad met zo'n pakketje, je komt bij de universiteit. Bij de faculteit Beta wetenschappen ook waar de mensen die dit maken. Ja, weten hoe. En wat was hun reactie? Eigenlijk de reactie die je vaak krijgt, althans ik vaak krijg als persoon van kleur die racisme meemaakt. En dat is wat vervelend dat je het meemaakt, maar we gaan er eigenlijk niets aan doen. Of dat is aan jou, dat is jouw probleem en dat is niet het systeem. Nou, dus dat is de korte versie. En de lange versie is dat ik natuurlijk uiteindelijk van eerst gewoon klein begon. Dus eerst docent en toen naar studentenraad en toen naar de studentenadviseur. En toen naar de studentenombudsman. En overal kreeg ik geen gehoor. Dus dat ik niet verder ben gegaan omdat ik het leuk vond, maar meer omdat ik dacht deze persoon kan mij niet helpen. Die wijst mij weer naar de volgende, dus daar ging ik dan weer naar de volgende. En uiteindelijk ben ik, heb ik een soort regenbrief geschreven, een regenklachtbrief geschreven naar het college van de bestuur, de ombudsman en examencommissie. - Van de universiteit. Van de universiteit, ja. En gewoon gezegd, hier is wat er gebeurd is, dit is al het bewijs dat ik heb dat dit, Dat dit programma, dat deze software niet werkt. Het systeem moet niet ingesteld worden op een publieke instelling zoals onze universiteit. En jullie moeten daar nu onderzoek naar doen, want het wordt nog steeds gebruikt. Het was niet alleen dat je niet kon inloggen... maar tijdens het examen had je er ook last van, toch? Ja, dus dat is ook het vage van deze software. En nog steeds in het proces, drie jaar later, is het nog steeds onduidelijk hoe het werkt. Maar ja, dat is vaak bij dit soort ontwikkelingen, dat je natuurlijk als je product, als je daar geld mee verdient, dan ga je niet vertellen hoe het precies werkt natuurlijk. Maar inderdaad, ik werd uit het systeem gegooid. En dan moest ik dan weer inloggen met datzelfde proces. Met mijn gezicht die niet gedetecteerd werd. En daarnaast ben je een student en je probeert gewoon goed je best te doen en goede zaken te halen. - Precies, tuurlijk. Dus je bent nerveus, ik was nerveus dat het niet zou lukken, dat ik niet in mijn examen zou komen, dat ik dan niet mijn examen zou kunnen doen. En het is ook niet even alternatief inloggen, niet dat het minder erg zou maken, maar het is niet even een workaround en alles was klaar. Nee, je werd gewoon echt gehinderd in het uitvoeren van je examens. Ja, dus in de beginfase. Als ik er eenmaal in was, dan was het zweet van mijn voorhoofd, afdeppen van de stress en dan gewoon een examen maken. Dus de universiteit gaf geen gehoor aan mijn klacht. En mijn klacht diende ik in vanuit mijn eigen ervaring, maar ook vanuit de zorg dat andere studenten dit meemaken zonder deze achtergrondkennis. en daar misschien wel, misschien geen lamp in hun gezicht hebben weten te schijnen, want dat je weet van de camera hoe dat een beetje werkt enzo. En dat ze dan misschien daar nog grotere consequenties aan hebben gehangen, dus dat ze misschien hun studie niet hebben kunnen afmaken, of nog meer vertraging hebben opgelopen. Precies. Want waren er ook meer van de universiteit die bij jou aangesloten, Met hetzelfde probleem, dezelfde uitdaging? Er is niemand bij mij aangesloten, maar ik weet wel dat meerdere studenten dit hebben meegemaakt. En ik snap dat niemand bij mij zich heeft aangesloten, omdat dat gewoon een heel erg vermoeiend en lang proces is. En ook sommige studenten zitten er echt niet op te wachten om... Ja, ik ben uiteindelijk wel sterk in het nieuws met mijn naam. Ik ben makkelijk te vinden nu, veel makkelijker dan hiervoor. En dat is wel iets wat ik zelf niet had gewild, maar ik daar wel voor in durf te zetten. En dat ook belangrijk vind voor de volgende generatie en de volgende mensen die dit meemaken. Heel goed, heel goed. Sterk ook van je, want het is net wat je zegt. Je bent tegen iets aan het vechten. Als je geen erkenning krijgt van het probleem, dan ben je wel heel ver van de oplossing af. Ja. Waren er mensen die jou hierin hielpen? Ja, zeker. Uiteindelijk ben ik naar het College voor de Rechten van de Mens gestapt, omdat er bij de universiteit geen gehoor was voor dit probleem. En dit probleem is natuurlijk ook groter dan alleen het gebruik van deze specifieke software. Maar het gaat ook over software die later door de universiteit wordt aangeschaft. En als daar niet met zorg en een ander oog naar wordt gekeken, dan blijft dit probleem zich voortduren binnen de universiteit. En toen ben ik bij het Ways and Men Technology Center. Ik kende daar een van de oprichters van. En daar zijn we bij elkaar gekomen om die zaak, die klacht, bij het College voor de Rechten van de Mens in te dienen. Want ik heb verder geen juridische achtergrond en ik weet allemaal niet hoe dat werkt. Dus daar heb ik hun hulp bij gekregen. En dat is echt super geweest, want zonder hun had ik dat niet kunnen doen. Maar dat is dus eigenlijk toen de universiteit ging overstijgen? Ja. En binnen de universiteit, zeg maar, in dat traject is er niemand met je mee gedacht of gewerkt? Nee, nee. Alle hulp die ik heb gehad, heb ik van het Racism Technology Center gehad. En dat is dus een organisatie buiten de universiteit, helemaal volunteer run, door de oprichters daarvan die zich inzetten tegen de invloeden van onze oneerlijkheid in de maatschappij, in ons technologie heeft heel makkelijk gezegd. Ja, we zullen ook even dat linkje opnemen. Ik had ook de website zitten kijken. Zij maken ook een heel mooi overzicht van waar technologie uit de bocht vliegt. Op dit gebied. Dus dat is echt wel handig om eens na te kijken. Want er zaten gevallen tussen. Wij bespreken er best wel regelmatig wat die ik ook nog niet kende. Ja, en ook op een begrijpbare manier. Want je hebt dan de technologie, zoals ik dat noem, de wetenschappers. Ik zie mezelf daar ook onder. Ik zie mezelf een beetje als een vertaler tussen die twee, de maatschappij en de wetenschap. Want ik ze allebei snap, maar de verbinding daarin, daar zijn nog heel weinig platforms, mensen die daar echt op een begrijpbare manier de verbinding in maken. En ook zien en ook dat uiteen kunnen zetten. en ik denk dat dat dat de Racism technology center dat heel erg goed doet. Hans de Zwart, hij is de voormalige directeur van Bits of Freedom. Hij is een van de oprichters van het race and make technology center en hij schrijft daar ook heel goed over voor die. Dat is echt een interessante platform. Ja en ook gewoon complimenten aan jou en mooi dat je het verhaal ook deelt, want ik denk dat het heel waardevol is, maar ook wel voor jou een spannende tijd als ik het zo hoor. Inderdaad zonder hulp, alles wat er op de universiteit is al zoveel. Laat staan daar buiten dan de hulp. Terwijl je ook nog studeert. Ja, want hoe lang heeft het tussen gezeten, zeg maar, tussen als het ware je eerste klacht... en dat je bij het College van de Rechten van de Mensen terecht kwam? Mijn eerste ervaring was in september 2020. Dus dat is op het moment dat ik meemaakte dat de software mijn gezicht niet kon detecteren. En ik heb in juli 2022, dus ongeveer anderhalf jaar later, die klacht ingediend. En nu zitten we dus in september 2023, of oktober. En over een paar weken komt dat eindoordeel. Oké, die heb je ook nog niet. Die heb ik nog niet, nee. Maar die komt er aan. Oh, wat goed. Dus waarschijnlijk als deze podcast live gaat, is dat misschien het eindoordeel. Dat zou wel... - Drie jaar. Ja. - Ja. Alleen dat is al bizar. Maar dat is dus drie jaar vanaf het moment dat ik het heb geconstateerd. Dus ervaring en nu is drie jaar. Maar dat is wel je reis, toch? - Ja, zeker. Maar omdat mensen soms aan het verwarren met de procedure. Nee, tuurlijk. Nee, echt gewoon van... In het begin ga je ook niet gelijk uit van zo'n proces gaat te volgen natuurlijk. Dat is ook een reis die eigenlijk niet van tevoren start. Nee, echt niet. Ik ben blij dat ik dat allemaal niet weet. Precies. Soms moet je niet gehinderd worden door enige kennis. Precies, hoe noemen ze dat? Ignorance is bliss toch? Ja, precies. Oké, ik was er al even van uitgegaan dat je überhaupt gelijk had gekregen. Nou, ik heb dus in december 2022 een tussenoordeel geveld... waarin er werd de, ja, ik ken veel Engelse termen hoor, maar hoe noem je dat, dat je zeg maar de... - Je mag het even... - Burden of responsibility. - Ja. - Dat werd op de vuur gelegd. - Ja. - En dat is best wel, ja, een heel belangrijk ding in onze jurisprudentie binnen technologie en discriminatie en ongelijkheid. want in Nederland is dat dus de eerste keer dat iemand aanneembaar heeft kunnen maken dat software heeft gediscrimineerd. Dus dat is in december al, dat is voor ons al een win. Want dat was in Nederland, kon je dat nog niet doen op die manier. En nu is het college ook gezegd dat de verantwoordelijkheid ligt bij de persoon die het aankoopt. Dus dat maakt ook in ons... - Oh, zodat ze het niet kunnen afschrijven op die leverancier. Dat zou kunnen, maar dat maakt het dus wat fijner voor de consument als het ware, of de mensen die daar van gedupeerd worden, omdat dan bijvoorbeeld de overheid, als die overheid iets aanschaft, dat die wordt verantwoordelijk gehouden en niet de leverancier van het product. Want als we alleen achter de leverancier zouden aangaan, dan zouden we makkelijk kunnen zeggen, oké, Proctorio gebruiken we niet meer. Dan gebruiken we wel een ander product die precies hetzelfde werkt. Dan heb je eigenlijk een probleem daarmee niet. - Nee, precies. - Ja, opgelost is het sowieso nog niet. Maar in ieder geval de verantwoordelijkheid houden op de persoon die dat aankoopt... en niet van tevoren checkt en niet van tevoren dat in acht neemt. Dat is al een hele stap vooruit, vind ik zelf. - Absoluut. - In onze... Ja, als we het hebben over AI en ethiek. Het gaat natuurlijk ook heel vaak over die mensen die de producten maken. Dat zijn vaak witte oude mannen en daar ben ik het mee eens. Maar dat idee van datasets, trainen en modellen, dat is nog best wel gecompliceerd. Ontzettend gecompliceerd voor mensen die daar nul ideeën van hebben. Maar het idee van wat je aankoopt, daar ben je verantwoordelijk voor, dat is veel makkelijker te snappen. En dat kan ook veel sneller leiden tot veranderingen, denk ik, bij de leverancier, bij de ontwikkelaars. Heb je van die leveranciers wel eens een reactie gehad? Indirect. Dus de VU heeft in december dus, we hebben een tussenoordeel gehad, waarin de burden of responsibility dus bij hen lag. En toen moesten zij gaan bewijzen dat de software van Proctorio niet discrimineerde. Dus dan moesten ze bewijzen dat dat niet zo was. En dan ga je natuurlijk wel bij de leverancier aankloppen voor data en verschillende bewijsstukken. Indirect heb ik van de leverancier, de bewijsstukken vanuit de VU, wat Proctorio heeft aangeleverd bij de VU. Als bewijs dat hun product helemaal goed is. Ja. Ja. Oké. Een beetje dan. En dat kan ik inhoudelijk nog niet helemaal uitgemaakt doen tot het eindoordeel. Maar wanneer dat allemaal wrapped up is, dan ben ik wel van plan om daar wat meer inhoudelijk over uit te wijden. Maar we wachten nog even af totdat eindoordeel er is. Zodat we daar gewoon nog in kunnen... Mocht er nog iets komen dat we nog iets tegen moeten zeggen of zo, weet ik veel. Dan zijn we daarvoor ingedekt. Maar key takeaway voor mij dan even, burden of responsibility. Dus waar ligt de verantwoordelijkheid, als we het even zo vertalen? Ligt dus bij de UVA of degene die eigenlijk het pakket selectie gedaan heeft. Keus gemaakt heeft bij de VU. Omdat... Oké. Ja en dat is niet heel veel anders dan dat jij nu iets koopt in de winkel, dat zij verantwoordelijk zijn dat het een goed product is. Zij mogen niet doorverwijzen naar wie er allemaal in de keten achter zit. Ik denk dat dat een soort van analogie is. Maar ook super in het Nederlandse systeem is dat dus nog niet. Volgens mij ook over de wereld nog niet, maar dat moet ik nog even goed checken. Maar zover heb ik dit dus nog niet gezien in andere scenario's waar de persoon die aanklaagt uiteindelijk dus niet verantwoordelijk is voor het leveren van bewijs. Ja, mooi. Helemaal mooi. Ik ben ook niet gewijs van het geleefd hoor. Maar mooi dat we het hier over hebben en dat er verandering komt. Want die verandering is natuurlijk wel heel belangrijk. Want de grote techleveranciers hebben natuurlijk ook allemaal gezichtsherkenningssoftware. Waar trouwens al eerder van duidelijk was dat die, laten we zeg maar, als je het heel eufemistisch zegt, nogal in disbalans was qua trainingsdata. Ja, zeker. Als je kijkt naar het werk van de Algorithmic Justice League, Ja, de dokter, oh dan moet ik het altijd goed zeggen. Joy Buolamwini. Joy. Zij doet hier natuurlijk ook heel goed werk op. Zij heeft heel erg laten zien dat die trainingsdata van bijvoorbeeld de Microsoft, van Amazon, dat je juist als vrouw van kleur, dat je echt wel, dan heb je een soort van dubbelachterstand, want er zitten al minder vrouwen in de trainingsdataset. En nog minder van kleur. En ja, Helaas Niels, wij en ik zitten daar heel veel in. En dat zorgt ervoor dat dat gewoon uit balans is. Ja, en daarnaast heb ik dus ook op natuurkundige basis... ...proberen te bewijzen of bewezen dat de cameratechnologie... ...überhaupt ook nog niet daar is om de... ...het heeft te maken met lichtreflectie. Dat lichtreflectie van mijn huid anders is dan dat van jullie. En dat daarom camera's überhaupt de zwarte gezichten niet kunnen detecteren. Dus als je daarnaast nog een algoritme erop mag gooien, dat het dus nog moeilijker wordt. Daar heb ik dus op die manier ook. O, daar was ik me nooit bewust van. Dat was vooral heel veel trainingsdata. Het is natuurlijk ook de training daarbij. Dus dat is niet om totaal de verantwoordelijkheid af te halen. Er zijn meerdere variabelen die het gewoon maken dat dit moeilijker mogelijk is. Ja, niet niet mogelijk. Nee, precies. Ja, interessant. Had jij van haar case gehoord? Nee, nee. Ja, de naam kwam natuurlijk voorbij voor de podcast en toen ben ik even gaan kijken inderdaad. Maar nee, ik had hem dus niet groot in het nieuws voorbij zien komen. Als ik het verhaal hoor, verbaast mij dat dat dan niet op mijn radar is waar ik toch wel kijk. Je bent echt veel gevraagd, hè? Ja. Veel media bij je verschenen. Ja, ook wel groot inderdaad. Maar ik denk dat het net te niche is of zo. Soms mensen dat niet helemaal... Het is ook wel een lastige case, omdat die AI daarin zit. En AI is toch wel een onderwerp waar heel veel mensen denken, "Oh, snap ik niet. Hoe werkt dat nou?" "Laat me handen er maar van af." Ja, het wel. Dit soort cases, ja, ze zijn niet prettig, zeker niet in jouw verhaal. Maar het zijn wel de cases die we met elkaar juist moeten bespreken. Dus die juist wel breder inderdaad. En daarom verbaas ik dat ik hem zelf ook niet veel had zien komen inderdaad. Dat we dit soort dingen moeten bespreken, ja. Wij hebben onze virtuele co-host. Als je me nog niet kent, ik ben Aisha. De AI van deze podcast mag ik je een vraag stellen. Als je me nog niet kent, ik ben Aisha. De AI van deze podcast mag ik je een vraag stellen. Als je me nog niet kent, ik ben Aisha. Als je me nog niet kent, ik ben Aisha. Als je me nog niet kent, ik ben Aisha. Als je me nog niet kent, ik ben Aisha. Als je me nog niet kent, ik ben Aisha. De AI van deze podcast, mag ik je een vraag stellen? Jazeker. Kun je meer vertellen over hoe jullie psychologische inzichten gebruiken... bij het ontwikkelen van deze AI-toepassing? Oeh, dat is wel een... Psychologische... Wat was dat? Psychologische instellingen? Hoe je psychologische inzichten zou kunnen gebruiken... bij het ontwikkelen van AI-toepassingen. Vertaal hem eventjes. Nou, ik vind dat wel een grappige vraag... Ik heb wel een master in neurowetenschappen. Dat is mijn eerste... Ik ben eigenlijk bioloog. Kijk, oké. Zo leer je wel. Eerst bioloog, daarna computerwetenschapper. Of nu is het een beetje gemixt, bio-informatica. Dus dat vind ik altijd wel een grappige vraag. Die krijg ik best wel vaak. Gaan we het brein nou nabootsen? Als jij als neurowetenschapper, leg ons nou eens uit hoe je het brein nabootst in een AI. Ik weet niet of dat helemaal de vraag beantwoord, maar ik vind dat altijd wel een grappige vraag. Maar psychologische inzichten, wat bedoelt ze eigenlijk daarmee precies, denk je? Welke inzichten? Ik denk wel wat jij zegt, psychologische inzichten gaat natuurlijk inderdaad over ons menselijk brein. En de vraag is, zouden we dat überhaupt moeten toepassen? Ik heb er zelf wel een mening over. We kunnen misschien alle drie, maar ik kan wel eerst gaan. Ik denk dat AI een hulpmiddel zou moeten zijn om ons leven makkelijker te maken, zodat wij meer plezier uit het leven kunnen halen. En ik denk dat bijvoorbeeld AI die kunst nabootst of kunst maakt, en dat is muziek of visual art, noem maar op heel breed, daar ben ik persoonlijk niet een fan van, omdat ik denk dat kunstmaken, muziek maken, dat dat een menselijke enjoyment is. Dat is waar we veel geluk uit halen. Dus om dat dan te laten vervangen door AI, dat zou ik dan zelf dus niet heel erg aan het goede inzet vinden van zo'n systeem. En verder ben ik van mening dat sommige, bijvoorbeeld prediction models, die bijvoorbeeld een soort van futuristic, van hé, hoe gaat dit, wat is de uitkomst van deze actie bijvoorbeeld, een menselijke actie, dat dat ook een beetje, ja dat vind ik ook een beetje jammer ofzo, dat ik denk van hé, we moeten nog wel leven met dat idee dat er, dat alles kan gebeuren, hè? Dus dat het... - Ja, precies. Dus dat zou mijn antwoord zijn daarop. Mag ik daar op reageren? - Jazeker. Over dat van die muziek, daar ben ik het gedeeltelijk mee eens. Gevoelsmatig ja, maar ik weet ook, synthesizers werden ook al een soort van elektronische muziek. Dat is waar. En ik moet zeggen, ik ben al ietsje ouder dan jullie. Ik vond dat verschrikkelijk, dat op een gegeven moment in de jaren 80 alleen maar synthesizer... Ja, dat bedoel ik. Dus ik kan me zo voorstellen dat een volgende generatie de normaalste zaak van de wereld vindt. En dan zou je het gebruiken als middel voor je creativiteit. En dan zie ik het wel. Als je alleen maar, laten we zeggen, zoutloze muziek er mee gaat genereren. Nee, liefst niet. En qua psychologische toepassingen, als dat gaat over dingen als emotieherkenning of dat soort dingen, daar hoop ik ook niet aan toe te gaan. Dat je, weet ik veel, dat het optrekken van één wenkbrauw, dat er een of andere klassificatie aan zit. Dat is ook cultureel heel verschillend. Dat kan je bijna, ja, zou ik denken dat het wel heel lastig is, of één systeem dat dan zou moeten. Ja, ik denk dat het op termijn wel zou kunnen. De vraag is of we moeten willen. Ik wil er nog wel even op aanhaken, inderdaad. Wat mij betreft, zeker ook in het creatieve proces, mag voor mij ook prima AI toegepast worden, maar als ondersteuning van. En niet de vervanging van. Dus qua ondersteuning zeker, zowel muziek. Maar toen Joop jij dan over muziek ging, had ik ook even een linkje naar een radio-uitzending over boeken. Hoeveel boeken er op dit moment op Bol, Amazon en dat soort zaken volledig op de chat-gpt geschreven zijn. Daar moest ik ervan denken. De muziek moet niet van zichzelf gecreëerd worden en maar uitvloeien. Moest ik even aan dat artikel of naar de radio-hits die luisteren, denken van hoeveel boeken er eigenlijk al zijn. Dat schrok ik echt. Hoeveel waren dat dan? - Ja, echt duizenden, als het niet meer is inderdaad. Op bol.com alleen al? - Ja, Amazon volgens mij die erbij kwam. En sommige waren dan nog geredigeerd, tot een bepaalde zin. Maar sommige waren volledig. En er was er eentje, daarom bleef hij hangen bij mij, dat was een boek geschreven over veilig verkeer in Amsterdam. En dan moest je weten hoe je uit een auto moest komen, die volgens mij in de sloot op zijn kop terecht was gekomen. Anders kon je je rijbewijs niet halen. Zo iets was eruit gekomen. Klok, slepel, hallucinaat. Wat hebben we hier aan? Om even terug te pakken op de originele vraag. Ik denk inderdaad dat het steeds meer kan. En dat we met elkaar moeten kijken waar we het voor willen inzetten. En ook als het iets wel kan, hebben we nog steeds zelf de keuze om het ervoor in te zetten. Dus in die hoedanigheid, prima als die emotie kan herkennen. Of ik dat wil gebruiken? Nee, ik denk het niet. Want er zit vaak in de middel van context omheen. En ja, laat ook gewoon een gesprek met elkaar aangaan. Hoe voel je je echt? Ik zie dat je inderdaad nu fronst of lacht. Ik kan niet eens één mijn brouw optrekken. Nee, ik ook niet. Ik kan alleen één mijn brouw optrekken. De andere kant kan ik niet. Het is goed dat we nog geen camera's of hebben. Je antwoord op mijn vraag is zeer verhelderend. Dank voor je bijdrage. Alsjeblieft. Ik denk dat dat ook voor ons geldt, Robin. Dank je wel dat je dat verhaal wilde delen. Wat ik in het begin al zei, we hebben echt wel veel mensen gehad die advies geven hierover. Maar als je leidend voorwerp bent in dit verhaal, is het wel even wat anders en komt het toch wel heel erg dichtbij. Dank je wel. Dank je wel dat ik hier mocht zijn. Leuk dat je weer luistert naar een nieuwe aflevering van AIToday. Live moet ik zeggen. En vergeet niet om je te abonneren via je favoriete podcast app, zo dan mis je geen aflevering.