Hoe starten met Ethiek en AI - Jonne Maas - TU Delft

Welkom, leuk dat je weer luistert naar het nieuwe seizoen van de AI Today Live. Alweer het vierde seizoen en we hebben er weer zin in. Ik ben Niels Naglé, chapter lead, Data&AI en samen met Joop Snijder, CTO van Aigency beginnen we met een dosis energie en een mooie lijst van gasten aan het nieuwe seizoen. Het was rooie draad, weet je hem nog Joop? Zeker, hoe dan? Inderdaad, #hoedan. #HoeDan. Goed, fijn om weer na de vakantie aan tafel te kunnen zitten. #HoeDan, het thema van seizoen 4. Maar we hebben ook nog afgesloten, Joop, als je je nog goed herinnert, voor de vakantie met een summer challenge voor de luisteraars. Ja, zeker. Wat was hem ook alweer? Wat ben je aan AI tegengekomen in de vakantie, toch? Was de summer challenge. Zeker. Wat heb jij in de vakantie meegemaakt waar je dacht van AI hier? Nou dat kan ik je wel vertellen. Ik was naar Frankrijk op vakantie en ik neem altijd mijn honden mee. Ik heb twee honden. En de oudste is 13 jaar en die werd heel ziek. En op een zondag moesten wij in Frankrijk een dierenarts vinden. Mijn Frans houdt ongeveer op bij Je n'est comprend pas Dus ik belde de assistente en ik vroeg of zij Engels sprak. En het antwoord was heel duidelijk, non! Maar ik was erop voorbereid. Dus ik belde met de telefoon van mijn vrouw. Op mijn eigen mobiel had ik de app DeepL. Dat is een andere vertaalapp dan Google. Dat doet heel goed. tekst opnemen, krijg je live vertaald wat de receptionist tegen mij zei. Want dat ging natuurlijk in een 'ooww'-vorm van Frans. En daar haalde ik uit hoe laat we langs konden komen. Dus dat scheelde heel erg. - Ah, mooi. Mooi voorbeeld inderdaad. - Ja toch? Dus dat was echt speech-to-text. - Ja, eigenlijk wel bijzonder dat we dat toch zo kunnen inzetten en dat het eigenlijk ons zoveel helpt in het dagelijkse leven inderdaad. Ja, ikzelf was het een vakantie voor mijn laptop uit af en toe Netflixen, want daar kom ik vaak niet aan toe. En daar kwam voorbij mij The Future of… en dat was The Future of Pets. Ik heb zelf geen huisdieren, ik ben allergisch en mijn zoontje ook. Dus we hebben daar geen huisdieren en zelf ervaring mee op dit moment. Maar dat ging dus over de toekomst van honden en de samenleving tussen mens en hond. En hoe dat in de toekomst zou kunnen gaan. Want ze zijn namelijk bezig met het trainen van modellen om te weten hoe het met de hond gaat. Ja, cool. Dus als je tegen ze praat, dat ze denken van "ja, ik vind het ook echt leuk" in plaats van alleen kwispelen en dat soort zaken. En dat doen ze op basis van oorbeweging, kwispelen, maar met name ook geur. Dus ze zijn er echt bezig om dat allemaal in kaart te brengen, een soort van honden-internet maken om eigenlijk allemaal punten te verzamelen over het gedrag van honden. En dat ze volgens om te kunnen gaan zetten dat we meer kunnen leren van hoe ze het eigenlijk vinden met ons. Het is net alsof we dit hebben afgestemd. We doen dat expres helemaal niet. En we hebben een gast vandaag. Een speciale gast. Ja, Jonne Maas. We hebben elkaar leren kennen op de AI Just Got Bigger event van Aigency. Klopt, inderdaad. En daar sprak je over je PhD van de TU Delft University, wat je momenteel aan het doen bent. Ja. En ik was echt geïntrigeerd door je verhaal en past ook mooi in het thema 'Hoe dan?' Maar voordat we verder gaan, zou je even kort voor willen stellen voor de luisteraars? Zeker. Nou, ik ben dus Jonne inderdaad. Ik doe een promotieonderzoek aan de TU Delft. En ja, nou ten eerste super bedankt voor de uitnodiging. Heel leuk om zo over mijn onderzoek te kunnen praten met twee AI-experts. Ja, en mijn onderzoek gaat over de verantwoorde ontwikkeling van kunstmatige intelligentie. Waarbij ik kijk naar kunnen we democratische theorieën gebruiken voor de ontwikkeling, echt specifiek voor de design, development fases. Dus ja, het is een PhD die vanuit de filosofie eigenlijk ethiek bekijkt, dus politieke filosofie. En mijn eigen achtergrond is, mijn bachelor is in kunstmatige intelligentie aan de UvA. En toen kwam ik erachter dat het programmeren toch wel lastig was. En misschien toch niet helemaal iets voor mij. Dus toen ben ik filosofie van technologie in Twente gaan doen, aan de Universiteit van Twente. En ja, dus nu doe ik eigenlijk een beetje een combinatie van beide in deze PhD. De ethiek van kunstmatige intelligentie. En waarom heb je specifiek voor ethiek gekozen? Kan je dat uitleggen? Een soort van levensvraag, dat is niet iets wat ik met deze pitch zie gaan oplossen. Maar hoe kan je het rechtvaardigen om technologieën de maatschappij in te sturen... waarvan je weet dat er nadelige effecten gaan zijn... die je niet van tevoren kunt anticiperen. En bij kunstmatig intelligentie, dat is natuurlijk zo groot, zo overal wordt dat gebruikt. Dat heeft zo'n significant effect op de maatschappij. Dus ik denk, daar moeten we mee. Daar kan je niet zomaar dat loslaten in de maatschappij. Dat wordt dan vanzelf wel iets. Nee, daar moet je inderdaad wel kijken naar. Oké, wat zijn die effecten die het heeft op de maatschappij? En dat is eigenlijk die interesse in ethiek. Hoe gaan we daarmee om? Hoe gaan we dit voor de maatschappij op zo'n fijn mogelijke manier ontwikkelen? Zie je dat er ook meer, hoe zeg ik dat, meer aandacht komt voor de ethische vraagstukken? Ja, zeker. Ik was toevallig gisteren bij de nationale AI en ethiek cursus, de lancering van die cursus, onder andere door Jim Stolzen, dankzij wie ik jullie heb ontmoet. En inderdaad, daar hadden we het ook heel erg over, het wordt duidelijk steeds meer een ding in eigenlijk elk sector, zowel academisch als in bedrijven, als in non-profit, wordt het nu echt wel duidelijk van oké, nee, we moeten hier ook wat mee. Dus er was ook een professor Maarten de Rijcke, dat is hoogleraar kunstmatige intelligentie aan de UvA, en die zei ook van ja, we zagen om ons heen dat heel veel landen al een soort van strategie hadden om met AI om te gaan, maar dus dit was rond 2018, een paar jaar daarvoor. Maar Nederland miste dat eigenlijk nog. Dus toen is daar ook heel veel support vanuit de overheid voor gekomen. En ja, je ziet het aan de hoeveelheid ethical guidelines die er nu online steeds meer en meer en meer worden gepost. Ja, nee, dus absoluut. Ik denk ethiek, dat is ondertussen wel, zowel in het publiek als in private domeinen, een topic, En dat is een hot topic. Heb je wel eens naar die ethical guidelines gekeken? Van de verschillende... Ja, ze komen... Want het is als paddenstoelen uit de grond, zou je al zeggen. Want het is deze tijd van het jaar. Maar het is echt onwaarschijnlijk hoeveel van dat soort ethical guidelines er verschijnen. Ja, je ziet dat ze eigenlijk allemaal heel erg samenkomen over hoe gaan we om met... Of hoe kunnen we de preventie van harm voorkomen. Dus van het kwaad doen. En dat komt eigenlijk allemaal samen. Dus je hebt de bioethische principes, hoe je een experiment moet opzetten. Benvolence, non-malefence, autonomy respecting. Dat zijn vijf van die richtlijnen. Wij komen er niet zo uit, zou je dat kunnen toelichten? Ja, nee, sorry. Ja, nee, dus eigenlijk wat je ziet is dat de meest voorkomende richtlijnen nu van de ethische guidelines, die gaan er inderdaad om dat je goed moet doen, je moet niet harm doen, je moet privacy respecteren, het moet transparant zijn, deze systemen. Het moet autonomie, dus eigenlijk democratische waarden, die wij hier in Westerse landen erg hoog hebben zitten, die moeten voornamelijk ook worden gesupport. Dus vrijheid, autonomie, et cetera. En dat is dus ook inderdaad interessant aan deze guidelines, dat ze dus voornamelijk in de Westerse landen, Je hebt ze ook wel in niet-westerse landen, maar het grootste deel komt toch wel echt uit westerse landen. Dus het heeft ook hele erge westerse principes die in die guidelines zitten. Ja, en dat gaat dus eigenlijk allemaal om 'how to prevent harm'. Ja, duidelijk. En wat ik me dan afvraag is van, wat is dan harm? Hoe classificeer je harm in dit verhaal? Ja, ik denk dat dat op verschillende manieren vaak wordt besproken. Een voorbeeld is duidelijk het niet discrimineren, want dat heeft een effect op een mensenrecht, dat iedereen gelijk staat voor de wet natuurlijk. Of dat je niet privacy zomaar mag... Violaten? Sorry, ik zeg af en toe wat Engelse woorden. Dit is natuurlijk allemaal in het Engels in mijn dagelijkse werkdag. Dus dat soort ideeën zitten daar heel erg in. En wat ik zelf dan heel interessant vind om naar te kijken is, want wat mij opvalt aan deze guidelines is dus, ze worden al bekritiseerd omdat het dus eigenlijk allemaal gaat dat de bedrijven zelf, en de mensen die die systemen zelf ontwikkelen, dat dan maar moeten navolgen. Het is niet duidelijk in hoeverre dat verplicht wordt. Het zijn guidelines, maar het is nog geen wet. We zien natuurlijk wel dat er nu ook wetten komen. De Europese Commissie is daarmee bezig. Maar dat vind ik dus inderdaad interessant, want in hoeverre gaat het dan over... Wat ik mis in die guidelines is een beetje het gesprek over de machtsongelijkheid. Want wat ik al zei, een KI-systeem heeft natuurlijk heel erg veel effect op de maatschappij. Dus ook de mensen die dat ontwikkelen, die door de keuze te maken van... 'hé, wij vinden dat hier een KI-systeem voor nodig is en dat gaan we toepassen.' Dat heeft wel een effect op mensen. En dat is iets wat ik zelf in de guidelines nog mis. Dat daar ook expliciet aandacht voor wordt gevraagd. En ik neem aan dat dat onderdeel is van je onderzoek... wat je aan het uitvoeren bent voor de TU Delft. Ja, klopt inderdaad. Hoe kunnen we beter... Hoe kunnen we kijken naar die machtsverhouding? Hoe komt die machtsverhouding tot stand? En vervolgens, hoe kunnen we zorgen dat die machtsverhouding gebalanceerd is? Zou je iets over die machtsverhouding kunnen vertellen? Hoe ziet die machtsverhouding eruit? Ja, dus hoe ik dat zelf zie, is dat als jij een systeem ontwikkelt, maak je bepaalde keuzes. Dus het is niet alleen de programmeur, het is vanaf al het businesslevel waarvan dus wordt besloten, we gaan dit systeem doen. Dat is ook keuzenummer, ja eigenlijk question zero, hoe dat wordt genoemd. Maar goed, dat systeem komt er en dan ga je dus kijken naar, oké het systeem moet rechtvaardig zijn. Maar hoe definieer je rechtvaardig? En afhankelijk van hoe jij rechtvaardigheid definieert, heeft dat een effect op hoe het systeem werkt. Absoluut. En daarmee heeft dus een effect op hoe het systeem de eindgebruikers van het systeem beïnvloedt. Dus weliswaar indirect, maar er is dus een relatie tussen de ontwikkelaars van het systeem en zij die een systeem vorm geven en dus de eindgebruikers van het systeem. Ja dus dan heb je eigenlijk al drie hele grote groepen, die je onderscheidt waarbij je zegt, daar zit een verschil in machtsverhouding. Ja, Dus wat is voor jou de derde groep? Je zegt, zoals ik het interpreteer, je hebt de business, of degene die besluit van ik wil dit systeem hebben. Dat zijn een soort van opdrachtgevers, noem ik het maar eventjes. Je hebt de bouwers en je hebt de gebruikers. Ja, en dan kan je zelfs dan nog, als je het op zo'n manier zegt, ik zelf doe dat samen als de developing site. Maar inderdaad, dat kan je wel echt als verschillende groepen zien. Maar je kan daarbij dus ook nog differentiëren tussen de gebruiker en de eindgebruiker. De eindgebruiker is echt het individu waar het systeem een effect op heeft. Ja, is een hele goeie. Ja, en de gebruiker dus inderdaad, stel je voor een bank kiest ervoor om een systeem te maken, maar wil dat niet zelf ontwikkelen, dan is de bank niet de developing, maar misschien meer de gebruiker. Ja, en de klant van de bank is eigenlijk wat jij noemt de eindgebruiker, dat is wel over wie het gaat. Waar de besluit over wordt genomen of de voorspelling over wordt gedaan. Dus dit zijn dan de groepen de developers, de users en de end users die ook in de Europese Commissie zo worden gedifferentieerd. Ja en kijk naar je onderzoek. Wat zijn de takeaways die je je daaruit hebt kunnen opdoen. Ja, tot nu toe heb ik dus in ieder geval één paper geschreven over hoe dus die machtsverhouding tot stand komt. Dus dat is eigenlijk wat ik net zei, er is een afhankelijkheid van eindgebruiker op het systeem en daarmee indirect ook op de ontwikkelaar van het systeem. En dan wil ik nu in het vervolg van mijn onderzoek gaan kijken van oké, want voor de duidelijkheid Ik kijk dus vanuit een bepaalde politiek-filosofische theorie. En volgens die theorie is op dit moment de machtsverhouding moreel problematisch. Dat houdt in dat de machtsverhouding... Het is lastig voor eindgebruikers van een systeem... om verantwoording te kunnen krijgen voor waarom een bepaald besluit is genomen. Zowel door technische limitaties van een systeem... alswel door het ontbreken van wetten of ander soort manieren. Een technische limitaat is denk ik dat je bedoelt op uitlegbaarheid, -transparantie, dat soort zaken. -Ja, precies. Ja, en ook, want ik kijk voornamelijk naar machine learning, dus dat het ook zelf leert en zelf connecties maakt. Waardoor je dus wel... Daardoor ontstaat er een verantwoordelijkheid, hoe dat wordt genoemd in de literatuur, de responsibility gap. Ja. Ja, in hoeverre kan je dan nog echt iemand, als je niet alles terug te herleiden is naar keuzes, van wie is er dan eigenlijk verantwoordelijk? Dus wie kan je niet alleen wettelijk, maar ook moreel verantwoordelijk houden voor hoe het systeem werkt? Ja. Dat wordt lastig. Zeker. En voor mij is dit dus een reden om te kijken naar echt het ontwikkelingsproces ook, omdat ik dus denk van ja die nadat het systeem is ontwikkeld is het dus lastig want misschien wordt het nog wel transparant maar in ieder geval denk ik ja als zo'n systeem effect heeft op mij dan zou ik eigenlijk van tevoren ook al input willen geven over die beslissingen die daar aan vooraf gaan dat is een eigen gevoel eigen intuïtie wat ik zelf heb dat is wel iets wat je steeds meer ziet ook de Europese Commissie heeft natuurlijk de EU social pillar of human rights waarin ook ook echt steeds meer nadruk wordt gelegd op autonomie en als iets jou beïnvloedt, dan is daar een reden voor dat jij dan ook iets te zeggen moet hebben. Ja, als ik het voor mezelf even vertaal of ik je goed begrijp hoor. Ik hoorde zeggen dat er dus eigenlijk meer invloed is als je eerder in dit proces dus iets van invloed of betrokkenheid kan creëren voor de eindgebruikers, omdat tijdens het design nog meer invloed toe te passen is op het systeem. Dat waarom het design van SCO belangrijk is om daar al te doen? Ja. Heb je een soort van beeld, droom, hoe dat eruit zou zien? Er zijn bepaalde manieren, methodes, die worden Design for Values approach genoemd. Dat is hier bij de TU Delft ongeveer het ding. We hebben de Design for Values instituut. En dat is afgelopen april, of mei geloof ik, officieel was de launch. is er nu ook een Delft Digital Ethics Center, waarbij dus inderdaad wordt gekeken naar de manier waarop dat moet. En deze approaches, Design for Values, dat gaat vaak over... We willen ontwikkelen voor een bepaalde waarde, dus je wil iets ontwikkelen voor de waarde privacy, bijvoorbeeld. Nou, hoe kunnen we dat doen? En ik wil dus eigenlijk ontwikkelen voor de waarde van die machtsverhouding. En dan zijn er inderdaad in die theorieën, oké, dan heb je bijvoorbeeld de meest bekende, is denk ik value-sensitive design. Value-sensitive design bestaat uit drie stappen. Je hebt de conceptual, de empirical en de technical investigation. En in elke, zeg maar, de conceptual investigation, empirical investigation, bijvoorbeeld kijk naar wat stakeholders belangrijk vinden. Waar zijn stakeholders mee bezig? En hoe definiëren stakeholders bepaalde waarden? En welke waarden vinden zij belangrijk dat worden meegenomen? Zoiets zit ik dus aan te denken. Hoe kunnen we dit doen? Door die stakeholders mee te nemen. En dan niet alleen de stakeholders aan de kant van de ontwikkeling, maar dus met name specifiek de eindgebruikers. van hoe zou jij het vinden als dit systeem zou worden ontwikkeld? Wil jij door een KI-systeem worden gemonitord in een ziekenhuis? Dat soort vragen. En wat zou dat voor jou betekenen? Dat er dus vanaf het begin af aan al inspraak is van de eindgebruiker in de ontwikkeling. Ja, mooi. Ik denk dat dat heel waardevol zou zijn. Uiteindelijk geldt dat natuurlijk voor, denk ik, alle software systemen dat dat zo zou moeten. Wat je ziet is dat er op de een of andere manier bij kunstmatige intelligentie natuurlijk nog meer aandacht aan wordt besteed. Juist misschien wat jij zegt, door de zelflerendheid. Maar ik denk dat het een hele goede ontwikkeling is. Ja, want uiteindelijk gaat het over jou als persoon, er worden besluiten genomen, dus dan is het wel fijn als je daar gevoel bij hebt, Dat je ook snapt en weet wat er gebeurt en wat de impact is. Maar ook wat als het niet goed gaat. Dat je de risico's daarvan begrijpt. Ja, en het zou wel helpen als je ergens een loket hebt. Ook als het nog niet gedaan is, maar er is nu wel een oplossing. Dat je daar terecht kan. Heel vaak is het niet bekend van "dit gebeurt er met mij" of "dit heeft dat effect op mij". Maar hoe kan ik daar vervolgens bij iemand terecht? Over waarom is dit eigenlijk? Nou, ik zie daar wel de vergelijking bij. Stel als jij een operatie krijgt en je zit bij de arts in de wachtkamer. In de wachtkamer? In de behandelkamer. Anders praat hij niet tegen je. Eerst even wachten. Ja, altijd wachten. Je bent uiteindelijk in die behandelkamer en die zegt dat je een operatie nodig hebt. Dan wordt er ook verteld dat er een risico aan zit. Dit kan misgaan, dat kan misgaan. En dan betekent dat op een gegeven moment ligt er een keuze bij jezelf. Van ga ik dit aan, ja of nee? En zoiets zou ook meer, denk ik, moeten bij sommige systemen. Het zal niet bij alle KAI-systemen zo zijn. Dat je ook bewust bent van, nou ja, daar kunnen ook dingen niet goed gaan. Aanvaard je die risico's? Nou ja, precies. Het is niet aan... vind ik dus, het is niet aan anderen om dat voor jou te beslissen. Want jij bent er vervolgens de dupe van. Ja. Als jij ineens als fraudeur wordt bestempeld omdat je... Dit is wel een moeilijk geval, hè. Want als er wordt gevraagd, zou je getoetst willen worden als fraudeur? Nee, doe maar niet. Het lijkt me een goed signaal. Nee, maar inderdaad dat je die vragen krijgt. En ik denk dat dat ook belangrijk is, de question zero van moet dit systeem überhaupt worden ontwikkeld. Want KI heeft heel veel mogelijkheden. Dus ik denk inderdaad helemaal niet dat we per se bang moeten zijn en alleen maar negatief gaan denken. Want dan mis je dus ook de benefits die het wel kan hebben. Je ziet ook in de geneeskunde hoe ontzettend handig het kan zijn en hoe erg het kan helpen bij de diagnoses. Ja, zeker. Ja, dus inderdaad. Het is een beetje lastig, dus het is iets wat ik over twee jaar duidelijker hoef te beantwoorden. Dit is wel oké en dit is niet oké. Waar richt je je op dit moment op? Wat zijn de vraagstukken waar je je vandaag, morgen over buigt? Ik ben nu bezig met het schrijven van een paper wat gaat over hoe kunstmatige intelligentie is binnengeslopen in de maatschappij. Dus met het idee van de move fast, break things mentaliteit van, oh ja, maakt niet uit. Ik bedoel, er was ook helemaal geen regulering en dat komt nu pas allemaal een beetje op gang. En ja, in de literatuur horen we veel over legitimate AI. Is er iets nodig om... Dus er wordt namelijk wel echt zeker erkend dat er dus zo'n macht is bij de developers. En dat is ook een van de dingen die ik heel erg ben benieuwd. Ik denk dat het ook een beetje een vraag is, hoe kan je dat dan ook in de realiteit kunnen ontwikkelen? En dat is ook een van de dingen die ik heel erg ben benieuwd. En dat is ook een van de dingen die ik heel erg ben benieuwd. En dat is ook een van de dingen die ik heel erg ben benieuwd. En dat is ook een van de dingen die ik heel erg ben benieuwd. En dat is ook een van de dingen die ik heel erg ben benieuwd. En dat is ook een van de dingen die ik heel erg ben benieuwd. En dat is ook een van de dingen die ik heel erg ben benieuwd. dat het voor een tijdje niet meer nodig is. En dat is ook een van de redenen waarom ik het zo wil doen. Ik denk dat het ook een beetje een verantwoordelijkheid is. Ik denk dat het ook een beetje een verantwoordelijkheid is. Ik denk dat het ook een beetje een verantwoordelijkheid is. Ik denk dat het ook een beetje een verantwoordelijkheid is. Ik denk dat het ook een beetje een verantwoordelijkheid is. En dat het voornamelijk over macht moet gaan in de oplossing. Dus over machtsongelijkheid. Maar wat ik al eerder zei, toen we nog niet bezig waren met het opnemen van foto's, is het nog niet helemaal work in progress. Het is nog niet helemaal duidelijk precies waar, hoe dit zit. En het zit ook heel erg diep in de literatuur. Dat maakt het lastig. Dat snap ik ook. Er zijn natuurlijk heel veel bedrijven bezig met het maken van modellen en AI systemen. Wat zou je die mee willen geven aan de hand van wat je hebt onderzocht? Denk hier eens over en daar eens over na. We begonnen eigenlijk van dit hele seizoen gaat in de teken staan van hoe dan? Hoe pak je iets aan? Dus we hebben nu best wel een theoretisch deel gehad. Hoe zou ik dit in de praktijk... Ik ben data scientist of ik ben opdrachtgever van zo'n systeem. Wat zou je aan zo'n iemand mee willen geven? Ja, dus echt nodig de eindgebruikers uit tijdens het ontwikkelingsproces. En heb het met ze over waarvoor het systeem dient. en kijken of het nodig is, is er niet een andere manier waardoor we het ook kunnen bereiken? Want KI is ook een buzzword. Iedereen denkt "Oh, we hebben dit nodig." Maar misschien is er een andere mogelijkheid en zo niet. Dan, oké, wat is dan belangrijk? Moeten we meer letten op... Je hebt dan vaak een error rate, false positives of false negatives. Nou, wat is belangrijk? In de medische wereld is dat natuurlijk... Ja, daar hadden jullie het in de vorige podcast over. Is dat anders dan in een ander... - Absoluut. En... Ja, dat is eigenlijk wat ik mee zou willen geven. Van besef je dat dat natuurlijk niet... voor iedereen hetzelfde is, dus hou daar rekening mee. En kijk inderdaad naar wat meerdere groepen belangrijk vinden en willen. Ja. En zou je dan ook uitkomsten van voor willen leggen, inclusief bijvoorbeeld die uitleg die eruit zou kunnen komen, dat je die voorlegt aan de gebruiker, dat je hem op de een of andere manier laat ervaren wat de impact is van het systeem, of gaat het vooraf vragen wat vind je ervan en hoe zou je daarnaar kijken? Ja, ik denk dat dat voor mij nu nog niet duidelijk is. Ja? Dat is wel een goede vraag. Ik denk dat dat eigenlijk over twee jaar, hoop ik daar een goed antwoord op te kunnen geven. Ja, komende twee jaar ga ik echt bezig zijn met de praktische ook vooral. Dus inderdaad, ik heb die paar ideeën van, oh ja, gebruik, invite the stakeholders en dat soort dingen. Maar hoe precies en wat de eisen vervolgens zijn om dat dan te doen en wat daarvan het resultaat moet zijn, dat kan ik nu helaas nog niet zeggen. Waarom ben ik dat aan het vragen? Ik ben jaren geleden product owner geweest van een kennis management systeem waar we heel veel AI modellen in gebruikten. Search, clustering, netjes verlengen wat je proces neemt. Je kan het zo gek allemaal niet verzinnen. En niet voor de techniek hoor, maar dat hadden we gewoon nodig om bepaalde zaken aan te kunnen bieden. Wij gebruikten wel heel veel user testing, maar dat lijkt hier een beetje op. Maar waar het om gaat, is als vergelijk, wat we daar probeerden was... dat er een heel groot verschil zat tussen als je vroeg wat iemand wilde... ten opzichte van als we daadwerkelijk het geïmplementeerd hadden en de testen deden. Daar zaten zoveel verschillen in. Dat maakte het wel eens lastig dat wij op een gegeven moment ook wel besloten om bijvoorbeeld juist die vragen over te slaan en alleen maar te gaan op de resultaten. Dus de impact laten voelen. De proof of value. Dus we hadden wel heel helder het doel wat we wilden bereiken. Dit gaat helemaal niet over ethiek of dat soort zaken, maar we hadden bijvoorbeeld een... Je kon kennis daarin zetten. Er zat een autotagger op die zei van het gaat over deze deze onderwerpen. Wat wij wilden is dat dat zo nauwkeurig mogelijk was maar ook dat de gebruikers dat heel snel konden ingeven. Er waren eigenlijk twee KPIs waar we op meten. We hadden echt een geweldig model met een hele hoge F1 score. En toen we dat uiteindelijk mensen lieten doen, wat we zagen is, op lange stukken tekst kwamen bijvoorbeeld ook heel veel tekst uit, dus heel veel onderwerpen, dat ze dat allemaal aan het nakijken waren. Dus wat hadden we gecreëerd? Dat we kwalitatief hele goede onderwerpen kregen, maar het werd heel lang duren voor de gebruiker om het in te geven. Dus uiteindelijk moesten we een soort van middenweg gaan vinden van waar het dan lag. Waarom vertel ik dit verhaal? Er zat een heel groot verschil in wat wordt er van tevoren gezegd, maar hoe wordt het uiteindelijk ervaren? Met ervaren zit het... Daar komen ook een soort van onderbuikgevoelens, emoties, dingen die wij in ieder geval van tevoren niet in kaart konden brengen. Ja, precies. Maar dus die users die jullie in eerste instantie hadden uitgenodigd... ook dus nog niet in kaart konden brengen voordat het... Nee, die konden dat niet... Ja, interessant inderdaad. Dan had je het daarover en toen dacht je, ja dat lijkt me echt... Ja, zo en zo zou het moeten. En ook inderdaad, je wil natuurlijk zoveel mogelijk... zo duidelijk mogelijk al die onderwerpen, weet je. Maar dan kom je ermee... dan moet je er zelf mee aan het werk. En dan denk je, oh jeetje, dan komen er hele andere dingen bij kijken. Ja, en dan hadden jullie vervolgens weer een nieuw design. Ja, verschillende iteraties gingen daar overheen om dan dat evenwicht te vinden. Want de nauwkeurigheid ging dus naar beneden, dus we kregen uiteindelijk minder onderwerpen. Maar het werd wel veel sneller. En de gebruikers waren eerder bereid om daarmee te werken dan met het andere. Dus je komt in compromissen en daar wil ik eigenlijk ook de brug maken naar het ethische verhaal. Hoe kom je zo direct? Je moet volgens mij altijd een compromis gaan sluiten. Heb je daar ideeën over? Ja, ik denk inderdaad niet dat het mogelijk is om iedereen volledig 100% in hun wil toe te zeggen. Dus wat belangrijk is voor die theorie die ik gebruik, is dat er manieren zijn om bepaalde beslissingen aan te vechten. - Oh ja. - Ja, dus als er geen compromis is, maar jij voelt je gewoon echt heel erg benadeeld, dat je dus in ieder geval wel de kans hebt om dat aan te vechten, en dat er dan vervolgens nog naar een individuele zaak kan worden gekeken. - Ja, precies. Dat loket waar ik net aan redde, dat soort mechanismen, dat is dan eentje die in de theorie naar voren komt die je zou kunnen inzetten om niet het compromis, wat je zegt, als we het allemaal nog niet weten om daar naartoe te gaan werken en dan niet iedereen mee te kunnen nemen. Want dat was eigenlijk nog een onderwerp die bij mij een beetje aan de achterhoofd, terwijl jullie mooi aan het discussiëren waren over het onderwerp verder gingen, die bleef knagen. Hoe ga je nou eigenlijk de goede klankgroep hiervan zoeken? We zien heel vaak vraagstukken die bij bedrijven, maar ook bij eindgebruikers leven, waarbij de oplossing nog niet helder is en eigenlijk dus nog, je ook niet weet wat de echte benefit gaat zijn of wat het effect daadwerkelijk gaat zijn. Ja, maar dat is eigenlijk de vraag, what are you optimizing for? Als je dat nog niet helemaal helder hebt, dan ik denk wel, dan moet je misschien eerst heel even goed over gaan nadenken. Dat zie je wel vaak, dat mensen veel data hebben en die denken, oh hier kunnen we vast wat leuks mee, we doen het maar. Daar ben ik dan misschien wel een beetje terughoudend in, dat ik denk, oké maar denk wel heel even naar wat je precies aan het doen, wat je hiermee gaat doen. Want inderdaad, de vraag, what are you optimizing for, is best wel belangrijk voor vervolgens, wie op wat voor manier wordt beïnvloed. Ja en volgens mij raak je echt een kernpunt wat heel vaak wordt overgeslagen. Niet alleen in AI projecten maar ongeveer in een beetje alle projecten. Van waar doen we het voor en wat wil je inderdaad optimaliseren. Met de optimalisatie verander je als het goed is bepaald gedrag. En als je dus niet weet waar je op optimaliseert, weet je dus ook niet wat het veranderende gedrag is. Laat staan dat je weet welke impact je maakt en of dat goede is of slechte. Jij zegt van 'no harm', maar dan moet je wel weten wat het beginpunt is. Ja, precies. Dus daar ben ik dan denk ik nou... Misschien nog heel even aan de tekenaar gezet. Heel goed, heel goed. Dat zou... Ik denk dat heel veel luisteraars hier eigenlijk denken van 'ja, dat ligt toch zo voor de hand'. Maar dat we in de praktijk zien inderdaad dat het stapje terugnemen in plaats van te gaan rennen vaak niet gedaan wordt. Ja, ik hoor dat inderdaad veel om me heen. Maar ja, dat is natuurlijk ook het idee van KI. Het is iets magisch of zo, iets van wat alles kan. Maar het is natuurlijk gewoon helemaal niet intelligent. Het is gewoon wiskundig. We zijn daar nog niet, als misschien nooit. En dat wordt heel veel vergeten. Precies wat je zegt van als we maar een bak data hebben, het is intelligent. Dus dan komt er vanzelf wel uit wat we ergens in ons hoofd hebben. Ja, op een magische wijze. Ja, en dat is dus inderdaad... En dat is ook eigenlijk waar het paper over gaat. Maar wie kiest dat dan? Als het vervolgens over mij gaat en jullie hebben maar wat besloten met die data te doen als programmeurs, dan denk ik van, ja, maar dat voelt niet helemaal oké. Wat zouden nou eerst de vragen zijn? Ik heb vanuit onze bedrijf een AI experiment canvas ontwikkeld. En wat we daarop doen is, daar beginnen we met de strategie. Precies met de vraag, waar ben je als organisatie op weg? Welke vraagstukken heb je? En is dat vraagstuk mogelijk op te lossen met machine learning of AI in het algemeen? En als de uitkomst is, dan moet je dat wat mij betreft absoluut niet gebruiken, want dat is geen doel op zich. En zo pellen we dat eigenlijk af. Hoe gaan we dan die impact meten, waar moet je op letten, wat zijn stopcriteria, allemaal dat soort zaken. Tot aan datatechniek zit het in één kant vast. Maar nu we dit gesprek hebben, denk ik van, we hebben nergens een hokje met ethiek. Wat zouden nou eerste vragen zijn, voor zo'n eerste, als het ware, brainstormsessie? Daar moeten we over nadenken. En het kan best wel zo zijn dat er acties uitkomen die je moet uitzoeken, waar je niet zomaar ja of nee op kan antwoorden. Zou je daar wat voor hebben? Dat je denkt, dit zijn de eerste dingen waar je aan moet denken. Dus bij zo'n impact assessment waar je aan moet denken? Ja. Dan zou ik eigenlijk wel kijken naar de ethische richtlijnen, want in principe zijn die daarin toch wel vrij coherent met... oké, is het mogelijk voor de gebruiker bijvoorbeeld om te opt-outen? Dus dat je inderdaad zegt "Hé, ik wil dit helemaal niet, dus ik ga weg." Ja. Voor mij zijn dat inderdaad, zijn de vrijheid en de autonomie, dat is waar mijn onderzoek zich op focust. Dus dat zou mijn eerste idee hierbij zijn in hoeverre het systeem zo'n effect heeft op het individu, Dat dit individu wel of niet nog een keus heeft om op een andere manier iets te doen. Dan wordt het individu echt geforceerd om... Precies, ja ik snap wat je bedoelt. Dat is wel een mooie. Ja, maar dingen als privacy enzo, dat is ook waar ik aan denk. Of het discriminerend is. Ja. Maar dat staat niet in die... Het zit er een beetje in verweven, maar... - Niet helemaal waar. Er zit een deel in waarbij we zeggen, je gaat nadenken over wat de criteria zouden zijn, dat als je dat tegenkomt in je experiment, dat je zegt, dan moet je gewoon stoppen. Ah ja, dus altijd... - Dus je komt erachter dat je qua wetgeving iets aan het doen bent wat niet mag. privacy zitten. Dat zijn overwegingen die ik dan ook meegeef. Dat je zegt, dit zijn vraagstukken. Maar ik moet wel bekennen dat de ethische vraagstukken niet heel expliciet genoeg zijn. Als we hem er al gewoon opzetten met ethiek als een vierkantje erin, dat de discussie misschien al wel eerder gevoerd wordt. Want je ziet wel vaak in dat soort sessies inderdaad, dat er over alle facetten wel na wordt gedacht, maar misschien wat minder expliciet dan dat we hem inderdaad daar aan toe zouden voegen. Ja, een beetje een... Ja... Niet echt een antwoord waar je heel veel aan hebt, maar... Ik denk dat wanneer het wel of niet stopt, zozet, hangt ook echt heel erg af van de context waarin het systeem zich plaats gaat vinden. Dus ja... Afhankelijk daarvan denk ik dat bepaalde dingen meer gepermitteerd zijn dan... Nee, en dat hangt ook helemaal van wat jij zegt, van de context af. Kijk, wij doen ook projecten waar je modellen maakt, bijvoorbeeld predictive maintenance modellen, waar het gaat over van moeten wel of niet draaideuren gerepareerd worden of zijn er karretjes in een kassen of zo die gerepareerd moeten worden. Ja, daar hebben we helemaal geen ethische vraagstukken. Nee, maar dat is ook wel logisch. Ja, precies. Nee, nee. Maar als je inderdaad kijkt naar... Ja, dan denk ik inderdaad dat het vaak meer high-risk systemen zijn zoals dat in de AI-Act wordt genoemd. Ja, dan is het wel een beetje een beetje een verschil tussen de mensen die in de AI-Act werken en de mensen die in de AI-Act werken. En dan is het ook wel een beetje een verschil tussen de mensen die in de AI-Act werken en de mensen die in de AI-Act werken. zoals dat in de AI-act wordt genoemd. Ja, dan zijn die stopmomenten... Zouden er eerder zijn? En dan zou ik inderdaad denken... Ja, eigenlijk wat ik net zei. Dan moet ik heel erg snel zeggen, dan denk ik er toch weer aan. Gewoon decriteren. Ja, heel duidelijk. Hoi, dankjewel. Maar ja, ik vind het dan ook wel verbazing dat er niet zo'n vakje ethiek bij... Je moet je voorstellen van... Het hangt ook een beetje af natuurlijk van waar we vandaan komen. Dit is een versie die denk ik al een jaar of drie oud is. En dan moet je bedenken dat dingen als privacy staan er wel letterlijk op. Daar moesten wij echt wel op drukken, om bedrijven op te laten letten. Je mag niet zomaar alle data zomaar gebruiken. Dat was eigenlijk eerder aan de hand dan de ethische vraagstukken. Er zit ook een groei in, en gelukkig ook een soort van volwassenheidsgroei. Dat is precies het term die ik had. Volwassenheid, niet alleen van onszelf, van de technologie. Maar eigenlijk ook van de organisaties die het AI-systeem willen gaan laten implementeren of aan het bedenken zijn. Daar zie je ook dat de volwassenheid nu echt pas een beetje begint te komen. Ook daar nog niet de discussies lopen, maar nu we drie jaar verder zijn dan deze versie, is het zeker wel tijd om die er wat explicieter op te gaan zetten. Wel nog één ding daarover is dat ik daarbij ook altijd een beetje bang ben dat het gewoon een hokje wordt om te krassen en dan that's it. We hebben het nu over een heel afgekaderd experiment van is een model wat je in je gedachten hebt, dus de oplossing die je in je gedachten hebt, is die waardevol genoeg voor je organisatie en is die haalbaar? Dat is eigenlijk wat we aan het doen zijn. En ik ben het helemaal met je eens. Als je zegt, als het daaruit komt, ja, dan is het vanaf dag 1, is het dat je, net als privacy by design, hebben we zo direct ook ethics by design, denk ik. Ja, contestability by design is nu ook een ding. Hoe zeg je? Contestability by design. O, daar moeten we het eens even over... Zou je het kunnen toelichten? Ja, dat gaat dus over hoe je een systeem kunt ontwikkelen, dat het nog mogelijk is om te contesten. Dus om beslissingen aan te vechten. Oh zo, oké. Aanvechten by design. Ja, precies. Oké, die had ik nog nooit gehoord. Jij? Nee, die had ik nog nooit gehoord inderdaad. Wel een stukje van ik wil als gebruiker invloed kunnen oefenen, maar echt contesten. En je hebt ethics by design al, maar je hebt ook ethics in design. Ethics in design is geloof ik ethiek in het systeem. Dus hoe doet het systeem aan bepaalde waarden? Eén van de twee gaat over dat het systeem bepaalde waarden goed doet. Het andere is dat het systeem op een aids manier wordt ontwikkeld. Dus dat zijn het ene is wat doet het systeem zelf en het andere is wat doen wij met het systeem. Snap het. Ja, maar goed. Nou ja grappig, sowieso een hele nieuwe term geleerd. Dus dat is sowieso heel erg interessant. Er schoot me nog iets erbinnen met wat jij net zei. Toch nog even terugkomen op waarom dat er niet in zat. Een aantal van de projecten die ik gedaan had, die liepen al stuk op privacy. Dus wat je zag, is dat, weet je, ethiek was echt wel een stap verder. We zaten al tegen het probleem van de wetgeving aan. Dat is lekker duidelijk. En kijk, de ethische waardes, die zijn natuurlijk ook nog eens een keer nog moeilijker te leggen. Waar ligt de grens? Ik denk dat het ook wel iets is waar we qua volwassenheid in bedrijfsleven, om maar even heel generie te trekken, nu pas echt zien dat bedrijven met ethische kant als afdelingen, als organisaties dat helemaal meegaan nemen in hun projecten. Laat staan in hun kleine prototype daar al mensen bij te kunnen betrekken. Zie ik zelf nu pas echt de bewegingen wat meer concreet worden binnen organisaties. de taskforce hebben die dan bij de projecten langs gaan en meekomen, om over de ethische privacy vraagstukken echt te gaan kijken. Ja, dus je ziet ook wel dat het meer in ontwikkeling is, maar nog zeker niet is waar we over vijf jaar staan. Hoop ik in ieder geval. Ja, nee en dat is wat we bij de TU Delft doen, is echt de ethiek al bij beginnende studenten, Bij de bachelorstudenten geven wij ethiek vakken aan elke engineering, maar ja, elke engineering studie, computer science. Zodat het gewoon vanaf meteen is al van, oké, wat je doet heeft consequenties. Laten we even daarop. Eigenlijk raar toch, als je er zo naar kijkt, dat we dat vroeger niet deden. Ik heb daar niet heel veel op mijn hoogschooltijd over meegekregen, over ethiek. Privacy, security. De vraag wordt wel gesteld van is het goed wat we hiermee bereiken? Dan sluit het aan bij de business case, bij het bedrijf. Maar echt de ethische kant. Wij moesten dat wel altijd. - Ik had het zelf ook niet bij mijn bachelor. Ik heb dat toevallig dan wel gehad. - Mooi. Maar eerlijk gezegd zeg maar. - Wat doe je er nu mee Joop? Toen dacht ik echt, wat een gedoe. Ja, maar precies, dat is het ook. Ik denk dat veel studenten dat hier ook zeker wel... Dat ik ook wel snap, maar ik denk het is niet gewoon een zaadje misschien wat je plant. Nee, zeker. En vooral dat het nodig is. Maar ik denk dat je wel in de praktijk ofzo eerst het besef moet krijgen van waarom. Toen was het heel theoretisch en moest je daar een verhaal van maken. Van waarom dan ethisch wel of niet. En dan gaat het nog niet over jezelf ofzo op de een of andere manier. En dan misschien ben je er dan toch ook minder mee bezig. En dan de andere kant, weet je, we leven ook... Ja, ik ben toch nu al ietsje ouder. Dat ik denk, ethische dingen als privacy en ethiek worden ook steeds belangrijker. Juist omdat de techniek voortschrijdt en dat soort zaken. Wordt het ook steeds belangrijker om het in zo'n vroeg mogelijk stadium daar over na te denken, denk ik. Als we even afronden van de hoe dan. Ik denk dat je ons heel veel tips hebt meegegeven. Als ik het mag samenvatten zeg je, gebruik de Ethical Guidelines. Denk goed na over machtsverhoudingen en dan vooral eigenlijk van als je dingen wil aanvechten, bij wie moet je dan zijn? Dat helder is als het over personen gaat, de modellen. En denk daar vanaf het begin af over na. Mis ik dan niet? Ja, en dan over twee jaar hoop ik jullie een goede samenvatting te geven van wat er echt is uitgekomen. Maar toch, inderdaad, betrek ik toch ook wel. Oh ja, die eindsluur. Ondanks wat je zegt, dat is wel interessant Dus daar moet ik even over gaan nadenken. Ja. Hoe ik dat zelf ga meenemen. Maar toch, ik bedoel ook als je kijkt naar gewoon een ander soort voorbeeld, een kerncentrale. Ik bedoel de ene groep zegt we willen dit wel, want het bespaart heel veel energie. En het is gewoon prima. Een andere groep die heeft duidelijk, die zegt nee, het is te gevaarlijk. Maar tuurlijk, de kans dat het misgaat is klein. Maar als het misgaat is het heel groot. Dat zijn wel allebei verhalen waar je naar moet luisteren. Ik ben helemaal voor. Alles wat je met gebruikers valideert, ben ik voor. Ja, dus dat ook vooral. Goeie. We hebben vier hele mooie, belangrijke tips van je gekregen. Dank je wel. Jullie enorm bedankt. Ook veel van jullie geleerd. Kijk, ik moet het ook horen. Dank je wel. Wie sluit af? En we mogen hem afsluiten hier op NAMA. Hartstikke goed. Dankjewel dat je weer luisterde naar de EETD Live podcast. Jonne, dankjewel dat je mee wilde doen. Wil je geen aflevering missen, zorg dan eventjes dat je ons volgt. Op Spotify heb je zo'n alarmknopje en dan als er een nieuwe aflevering live staat, dan krijg je daar direct berichten over. Leuk dat je luistert. Vertel het voor het. En tot de volgende keer. [Muziek]