In gesprek met Jonge Denker des Vaderlands en AI-ethiekexpert Ajuna Soerjadi

Hoi, leuk dat je weer luistert naar een nieuwe aflevering van AIToday Live met vandaag de gast Ajuna Soerjadi. Zeg ik het zo goed? Ja, helemaal goed. Mijn naam Joop Snijder, CTO bij Aigency. Mijn naam Niels Naglé, Area Lead Data & AI bij Info Support. Ja Ajuna, we zijn hartstikke blij dat je bij ons in de studio bent. Zou je jezelf eerst willen voorstellen aan de luisteraars? Ja, dank je voor de uitnodiging in ieder geval. Dus mijn naam is Ajuna Soerjadi en ik heb een achtergrond in de filosofie en ik heb me vooral gespecialiseerd in de ethiek van AI en ik heb het expertisecentrum dataethiek opgericht en wij houden ons eigenlijk vooral bezig met de manieren waarop AI impact heeft op sociale ongelijkheid en ook andersom de manier waarop sociale ongelijkheid impact heeft op de manier waarop AI ontwikkeld wordt. Oh, dat laatste is wel heel leuk. Daar gaan we zoiets in ieder geval een aantal vragen over stellen. En dat onderzoek, daar ben je nog mee bezig hè? Ja, nou dat onderzoek doe ik eigenlijk vanuit verschillende rollen. Dit heb ik eigenlijk tijdens mijn filosofiestudie onderzocht in mijn scriptie. Dus mijn scriptie ging over wat de ras nou eigenlijk precies betekent als het gaat om etnisch profileren in risicoprofielen. En dat vond ik zo interessant dat ik daar gewoon mee verder ben gegaan binnen het expertisecentrum. En dat doe ik inmiddels ook bij de Staatscommissie tegen discriminatie en racisme. Ja, en over het laatste kan je niet inhoudelijk praten. Dus daar gaan we geen vragen over stellen, maar dat andere daar gaan we lekker dieper op in. En één van de dingen wat mij intrigeerde, want we kijken natuurlijk altijd eventjes bij de gasten van ja wat doe je, waar schrijf je over. En je schrijft volgens mij ook best wel aardig wat. Je komt regelmatig in de media, zou je daar wat over kunnen zeggen? Ja, ik ben verkozen als jonge denker des vaderland. En dat was in 2017. En dat ging toen eigenlijk over een essaywedstrijd die georganiseerd werd door de Stichting Maand van de Filosofie. Maar ook door in samenwerking met Lemniscaat en de Vereniging voor Filosofie-Docenten. En ja, ze gingen eigenlijk kijken van welke essays zijn er het meest maatschappelijk relevant. En hoe zitten de filosofische vaardigheden van de mensen die wat insturen. Toen werden er finalisten verkozen en die moesten toen een voordracht houden met elkaar in gesprek. Dus ze gingen ook echt kijken van kun je goed luisteren en kun je echt goed op een toegankelijke manier complexe filosofische dingen uitleggen. En toen ben ik verkozen en toen mocht ik gaan optreden op conferenties en evenementen en zo. Ja, en je schrijft ook nog wel veel over AI en ethiek. Dus misschien kunnen wij ook wel een aantal van jouw artikelen delen in de show notes. Heb je daar wat aan gehad, zeg maar, als jonge denker, zeg maar, hoe je nu naar ethiek en AI kijkt? Heb je daar dingen van meegenomen? Ja, zeker. En sowieso vanuit mijn filosofische achtergrond merk ik heel erg dat ik op een toch wat andere manier kijk naar AI. Ook naar de manier waarop er eigenlijk gesproken wordt over AI ethiek. Want meestal gaat het over het mitigeren van risico's en het gebruikmaken van kansen. Eigenlijk zie ik dat heel anders. Ik spreek vaak in termen van risico's, maar echt van fundamentele problemen, zeg maar. En ja, die ethische achtergrond was zo belangrijk voor mij, omdat we echt concepten heel diep gingen analyseren. Zo van wat is rechtvaardig? Maar ook wat onderscheid verschillende soorten bias? Wat maakt discriminatie nou precies verkeerd? Want bias is in zichzelf nog niet per se onrechtvaardig. En over dat soort vragen heb ik... Oh ja, zou je een voorbeeld kunnen noemen van waar bias niet onrechtvaardig is? Nou, je kunt een onderscheid maken tussen bias die impact heeft op de accuraatheid van een systeem. Dus je ziet gezichtsherkenningssystemen die minder goed kunnen omgaan met mensen met een donkere huidskleur. En dat kun je oplossen door een dataset representatiever te maken, zeg maar. Ja, goed, dat heeft natuurlijk al te maken met met de manier waarop datasets... Dat er scheve verhoudingen in zitten. Dat heeft toch een beetje te maken met onrechtvaardigheid. Maar er zijn ook echt manieren waarop sociale ongelijkheid in datasets gaat zitten, waarbij de accuraatheid van het systeem eigenlijk niet wordt aangetast, maar dat die accuraatheid juist voortkomt uit het feit dat de samenleving onrechtvaardig is. En dat is heel ingewikkeld. Ja, ik probeer even door te denken. Heb je een concreet voorbeeld? Waar ik op dit moment mee bezig ben, is risicoprofielen. En dan zie je dat het effect van zulke systemen is dat bepaalde groepen in de samenleving slechter worden behandeld dan andere groepen. En dat is niet omdat zoiets als migratieachtergrond direct in dat systeem zit, als een soort van data. Maar dat gebeurt via andere wegen. Dus dan gaat het om proxy discriminatie. En die risicoprofielen, even voor mijn duidelijkheid, dat het zouden kunnen bijvoorbeeld fraudeopsporing kunnen zijn. Ja. In dat soort type systemen moet ik dan denken. Ja, of predictive policing. Dus dat je gaat voorspellen wie er kans heeft op criminaliteit. En mijn onderzoek gaat dan echt over hoe ver gaan die proxies nou precies. Want vaak wordt postcode gebied gebruikt als voorbeeld. Maar eigenlijk gaat het nog veel verder dan dat. Dus ook allemaal dingen die te maken hebben met je sociaal-economische positie. Dus je inkomensniveau, je opleidingsniveau, of je laaggeletterd bent of niet. En zelfs het kenteken van je auto. Want er staat een landcode op. En nationaliteit heeft natuurlijk weer te maken met etniciteit en ras. En vanuit het kenteken kan je natuurlijk ook de prijs van de auto achterhalen. Wat iets mogelijk zegt over je inkomensniveau. Oh ja. Dat gaat dus wel snel heel ver. Ja. En er zitten eigenlijk twee problemen aan die proxiediscriminatie. Want enerzijds kunnen de statistieken of de correlaties beïnvloed zijn door dingen zoals etnisch profileren en stereotypes in de media. Maar zelfs als ze accuraat zouden zijn, dus zelfs als het inderdaad zo is dat bijvoorbeeld Marokkaanse mensen meer criminaliteit vertonen dan anderen, dan heb je nog steeds redenen om het af te wijzen. Ja. En wat zouden die redenen zijn? Ja, nou bijvoorbeeld omdat je dan toch ongelijke sociale posities in stand gaat houden. Ja, snap ik. Of je kunt het aanvliegen vanuit het idee van, is het nou echt verkeerd om in een bepaald risicoprofiel te vallen. Dat je iemand niet als individu gaat benaderen, maar op basis van de groep waartoe die hoort. Ja. En je zou ook bijna een soort van omgekeerde, want we hebben natuurlijk in onze wetgeving zitten, je bent onschuldig totdat het tegendeel wordt bewezen. Zou je in zo'n risicoprofiel vallen, dan zit er al een soort van schuldstempel op je toch? Ja, precies. En een van de dingen die het betekent om burger te zijn, is dat je in beginsel het recht hebt om benaderd te worden vanuit vertrouwen. En als individu ook. Ja, maar als je naar die risicoprofielen kijkt, dat is op basis van criteria waar je zelf ook niet altijd invloed op hebt. Bijvoorbeeld de plek waar je wordt geboren, dat kun je niet veranderen. Dan ga je dus als risicogeval gezien worden door informatie waar je zelf geen grip op hebt, zeg maar. Ja, precies. Wat zou er daar dan wel kunnen en niet kunnen? Wanneer mag je dan wel met die informatie wat gaan doen? Je kunt bijvoorbeeld echt kijken van zijn de criteria echt causaal relevant voor het doel wat je wil bereiken? Dus ja, als je dingen hebt zoals iemand heeft eerder al eens een criminele activiteit vertoond, ja dan is dat misschien een relevant en causaal criterium dat je kunt gebruiken om inderdaad het risico beter te kunnen inschatten. Tegelijkertijd is dat ook weer beïnvloed door de politie, etc. Ja, dat is een lastig dilemma. En zijn dit dan ook de voorbeelden, want daar sloeg ik helemaal in het begin op aan, die zeggen van hoe bar je in de samenleving effect heeft op de systemen? Ja, dus je ziet eigenlijk een wisselwerking. Enerzijds heeft AI impact op sociale ongelijkheid. Dat zijn deze risicoprofielen die ervoor zorgen dat die ongelijke sociale posities in stand worden gehouden en dat stigmatiserende beelden worden bevestigd. Maar dat andere, dus de manier waarop sociale ongelijkheid impact heeft op de manier waarop AI wordt ontwikkeld, is eigenlijk weer iets anders. En dat zie ik als volgt, de reden dat we fraudeopsporingsalgoritme ontwikkelen, of de reden dat we daar zoveel tijd en geld in stoppen, dat is ook weer een reflectie van hoe wij denken over bepaalde groepen. Want we kunnen ook al die tijd en moeite steken in het ontwikkelen van algoritme die mensen helpen identificeren, die hulp nodig hebben, die recht hebben op bijstand en uitkering, maar die er niet om durven vragen, omdat ze misschien de Nederlandse taal niet helemaal, niet Nederlands kunnen spreken. En ja, dus die keuzes die komen ook voort uit hoe wij denken. Als je daar op focust, dan kan je niet op het andere focussen inderdaad. Nou en dat zijn wel, soms is het inderdaad wel heel krom, dat zit niet in de AI, maar deze week, ik weet niet wanneer deze uitkomt, maar deze week van de opname. Ik woon in Arnhem en Arnhem heeft blijkbaar een van de armste wijken van Nederland en daar zijn ze een proef gestart om namelijk mensen, 50 gezinnen met de hoogste schulden, ik heb een krimpel in de kils hoor, met de hoogste schulden om die schulden vrij te maken. Om op die manier ze eigenlijk vooruit te helpen. Dus een nieuwe start gegeven. En daar kwam naar voren dat we hebben blijkbaar een soort van schuldenlast in Nederland van 3,5 miljard, maar er zit een economie omheen, schrik niet, van 17,5 miljard. Dus we besteden 17,5 miljard euro om 3,5 miljard schulden bij burgers te innen. En ik denk dat dat, het heeft niks met de AI te maken, maar dat is wel denk ik zo'n voorbeeld waar jij het over hebt. Ja precies, heel goed voorbeeld inderdaad. En als je naar fraudeopsporing kijkt, 2% van alle mensen fraudeert. Maar als je kijkt naar de maatschappelijke impact van bijvoorbeeld miljonairs die hun belasting ontduiken of politieke corruptie, ja het zou toch veel meer maatschappelijke waarde hebben als we daar AI op inzetten. Zeg maar de meer white collar crime in plaats van de street crime. Want er komt ook uit onderzoek dat street crime, zoals diefstal of iets, dat dat heel onvoorspelbaar is. En dat die AI systemen eigenlijk niet eens zo veel effectiever zijn dan A-select te proeven. Ja. En, oh sorry. Ik vraag me af, wat voor stappen kunnen we hierin zetten als maatschappij, als individu? Wat zijn de stappen die we daar zouden kunnen gaan maken? Ja, je kunt het eigenlijk op verschillende manieren aanvliegen. Je hebt natuurlijk frameworks zoals van de high level expert group, dat je bepaalde principes centraal gaat stellen. Dus dat je transparant gaat zijn over de systemen die je gebruikt. Dat je zorgt dat ze uitlegbaar zijn. En dat soort principes. Waar ik vooral de nadruk op leg is het ethisch dialoog. Dus dat eigenlijk, dat je met een zo groot mogelijke groep mensen al van tevoren gaat praten over wat voor AI willen we eigenlijk ontwikkelen. Wat is het probleem dat we in de samenleving zien en hoe willen we dat gaan oplossen met AI? Dus dat AI niet een doel op zich wordt, maar juist dat je eerst gaat nadenken wat wil je en hoe kan AI daarbij helpen? En dat je dat wel doet met een diversiteit aan mensen zodat het niet bepaald wordt vanuit één perspectief of één bepaalde groep mensen. Het is misschien een wat cynische vraag hoor die ik nu zou stellen. Ik ben ook heel erg voor uitlegbaarheid. Dat is een van de passies die ik heb en waarvan ik ook vind dat het heel belangrijk is. Maar denk je niet dat juist de keuzes waar jij het over hebt, het zijn eigenlijk hele grote maatschappelijke keuzes die gemaakt worden, dat die uitlegbaarheid daar helemaal niet bij gaat helpen. Dus als daaruit komt van deze groep wordt gediscrimineerd, dat er toch wordt uitgegaan van ja maar we willen het, weet je, die fraudebestrijding die moet, die gaan we doen. Weet je, wat er ook gebeurt, hier geloven we in en dat de techniek je niet gaat helpen bij het laten bewegen zeg maar eigenlijk van die keuzes. Ja dat denk ik ook en ik denk ook van transparantie dat dat niet gaat helpen. In de zin van dat je moet ook eigenlijk niet te veel verantwoordelijkheid vragen van de mensen waarop zo'n AI systeem wordt toegepast. Die hebben er niet zoveel aan om te weten hoe zo'n systeem in elkaar zit. Als ze er nog steeds door beoordeeld worden en ja veel mensen snappen gewoon niet zo goed van de techniek die erachter zit. Maar die uitlegbaarheid kan tegelijkertijd wel functioneren als een soort van spiegel. Dat je toch gaat als overheidsorganisatie bijvoorbeeld gaat denken van oké als ik het niet kan uitleggen dan kan ik het ook niet rechtvaardigen. Ja ja dus eigenlijk het reflecterend vermogen naar degene die het toepassen of inderdaad gebruiken om de keuze te maken en daar eigenlijk inderdaad spiegelend te reflecteren van wat we hier doen is dat wel het juiste of moeten we niet gewoon wat anders gaan doen. Want Joop wat jij zegt is eigenlijk van hebben we niet het algemene probleem van het doel wat we willen bereiken is dat wel het juiste doel wat we moeten pakken. Ja daar ben ik dan cynisch over. Dat je toch denkt van weet je en ook al ook al leg je terug zelfs bij de bij degenen die de besluiten neemt van we gaan dit soort modellen inzetten. Ook als je daar aan kan laten zien van ja maar dit werkt discriminerend dat er eigenlijk al besluit is genomen van we gaan discrimineren. Misschien niet zo letterlijk maar iets als de toeslagenaffaire is natuurlijk gewoon gekozen om gewoon te zeggen van ja we knallen er gewoon keihard in. Ja en ik denk ook dat het belangrijk is om dus te erkennen dat heel veel van de criteria die worden gebruikt in algoritme dat die dus relateren aan iemand's etnische achtergrond. Zoals ik net zei niet alleen je postcode gebied maar echt heel veel andere dingen omdat discriminatie is ook heel structureel. Dat gebeurt op allerlei verborgen manieren en is niet op basis van waar iemand vandaan komt maar ook de manier waarop je eruit ziet maar ook de relaties die je met mensen aangaat. En ja. Absoluut. Wat zouden voor jou praktische tips zijn hoe je hiermee om zou kunnen gaan? Je bent een bedrijf, je bent een organisatie, je zit misschien in de overheid als je nu luistert en je zegt van ik wil dat op een goede nette manier gaan doen. Ik zou in ieder geval aanraden om een assessment te doen zoals het IAMA, dus impact assessment mensenrechten in algoritme. Waarbij wel het idee is, dat is trouwens een grote vragenlijst van bijvoorbeeld is je dataset representatief, op welke mensenrechten kan dit impact hebben, etc. Maar waarbij dat oprechte gesprek wel centraal staat. Dus dat het geen afvinklijstje wordt. Want ethiek gaat juist om het opzoeken van die schuring eigenlijk en opzoeken van die frictie en meningsverschillen en verschillende perspectieven. Dus dat we ook niet een snel oplossingsgericht gaan denken, maar juist ook even goed het probleem gaan begrijpen en daarbij stilstaan. Hoe weet je dat je daarmee klaar bent? Goeie vraag. Ik denk zelf dat je nooit klaar bent met ethiek. Dus dat ethiek ook wel echt een activiteit is die je moet blijven doen met zoals ik al zei met zoveel mogelijk mensen. Met de programmeurs, beleidsmakers en ook de betrokkenen. Ja. Ja, nee. Ik laat hem nog even. Dan heb ik wel een vraag. Want hoe kijk jij tegen met die filosofische achtergronden je hebt, tegen de nieuwe AI-act die eraan gaat komen? Hoe kijk je daartegen aan? Nou, ik denk dat het in ieder geval goed is dat er weer nieuwe wetgeving komt. Want vaak zie je dat de wetgeving iets achter de sociale en maatschappelijke ontwikkelingen aanloopt. Dit is toch wel snel gegaan, vind ik zelf. Ik was positief verrast. Maar met wetgeving heb je wel altijd, er blijft gewoon interpretatieruimte waar bedrijven soms graag gebruik of gerust misbruik van maken. Dus de wet kan nooit alles dicht timmeren. Dus je blijft ook wel altijd ethiek nodig hebben om het gesprek te voeren over wat betekent nou precies proportionaliteit? Wat betekent subsidiariteit? Kunnen de dingen ook met minder ingrijpende middelen? Betekent dat? Dus ja, dat grijze gebied, dat blijft iets waar mensen over moeten praten. Dat kan niet opgevangen worden door wetgeving. Nee, dus we hebben wel wat meer kades waar je een beetje ziet waar je wel en waar je niet heen gaat. Maar dat blijft een grijze gebied. Ik zat nog even voor een vraag inderdaad door te denken, dus vandaar dat ik een beetje lastig keek. Ik zie jullie niet, maar Joop die zag het wel. De vraag die ik had is, binnen organisaties, wat voor rollen en functies kom je vaak tegen als we het over ethiek hebben? Ik ken het over CIO, CEO en dat soort zaken. Maar als we het over ethiek hebben, wat voor rollen en functies kom je dan zo tegen? Nou, wat ik wel eens zie is dat er een ethische commissie is. Dat zijn eigenlijk mensen met andere functies, maar die dan daarnaast ook in een commissie zitten waar ethische vragen worden belegd. Je ziet ook wel ethiek officers. Dus echt mensen die speciaal zijn aangesteld om over dit soort dingen na te denken of zelfs dataethiek officers. Maar in de praktijk wordt het ook wel eens neergelegd bij privacy officers. Je hebt natuurlijk te maken met persoonsgegevensverwerking ook. Dat soort mensen ook eigenlijk ethische beslissingen aan het nemen zijn. Ja, want wat ik wel mooi vind in je passie als het over inderdaad ethiek gaat en je filosofie-achtergrond is dat jij dan een andere blik hebt dan dat ik vaak bij bedrijven tegenkom. Als we het over dit soort zaken hebben, dan hebben we het meer over mag dit, hoe staat het in de wet, hoe technisch. Die andere blik, ja, hoe zie je die binnen organisaties nou binnen gaan komen? Ja, goeie vraag. Want ik zie inderdaad dat wanneer mensen denken dat ze het hebben over ethiek, dat het inderdaad gaat over de vraag van mag dit nou wel? Terwijl ethiek juist ook gaat om moeten we het willen? En ja, dat kan soms echt heel diep gaan. En weet je, ik zeg altijd ethiek is er niet om de dingen makkelijker te maken, maar om juist de wereld in al haar complexiteit te laten zien en om daar oprecht gesprekken over te voeren. Ja, hoe gaat het binnenkomen bij organisaties? Nou, wat ik zelf bij het expertisecentrum doe is ik geef weleens ethische verdiepingssessies. En je ziet dat die bewustwording wel echt helpt voor mensen om te begrijpen wat is die bias nou precies? En wat houdt die ethiek nou precies in? En ook soms kunnen dingen heel abstract zijn, van dat de burger buiten het informatiesysteem valt. Nou, wat betekent dat nou precies? En dat je met zo'n verdiepingssessie wel gelijk dat ze weer concreet maakt voor de mensen, dat ze snappen waar ze mee bezig zijn en wat de impact van hun werk is. Ja, dus eigenlijk de verdieping inderdaad dat mensen begrijpen, oh wacht, er is meer daarbij. Heb je tips voor mensen die nu luisteren, die zeggen van, ik heb ook dit soort vraagstukken als ik het over ethiek heb, dan moet ik hier aan denken. Ja, ligt er heel erg aan wat voor AI-toepassingen je wil, is er iets waar je speciaal aan denkt? Nou ja, laten we even het voorbeeld waar we net over het fraudesysteem hebben. Van gewoon proberen malicious aanvallen op een systeem te vinden. Gebruikers die oneigenlijk worden benadeeld. Ja, dus dat ze worden benadeeld op basis van criteria die misschien niet gerechtvaardigd zijn. Ja, dan kom ik toch weer terug bij dat oprechte gesprek waarbij je verschillende soorten argumenten aan bod laat komen. Dus zowel is het systeem echt effectief, dat moet wel echt getest worden, want dat is wel eens wat overheidsorganisaties beweren, dat risicoprofilering dat dat effectiever is dan a-select te proeven. Dat moeten ze kunnen aantonen, anders is het sowieso niet gerechtvaardigd. En dat je dus je echt gaat afvragen van in hoeverre is het wenselijk dat mensen op basis van een statistisch profiel worden benaderd. Ook kijken naar andere case studies, want in de rechtspraak is er wel eens gezegd van, nou dit mag niet, bijvoorbeeld bij de Koninklijke Marechausee mag niet op basis van uiterlijk mensen worden gecontroleerd. En dan zie je dus wel nog overheidsorganisaties die zeggen van, ja maar dat geldt niet voor ons. Het kan wel eens handig zijn om dus te kijken van, oké wat is nou de redenering van de College voor de Rechten van de Mens, et cetera. En dat ze ook wel denken van, oké misschien heeft dat dan ook impact op ons. - Ja, en een hele praktische, wat zij er straks eigenlijk al zei, is gewoon de vraag stellen van, willen we dit? Het is kan het, mag het, wil je het? - Ja, en daar zou ik aan willen toevoegen van wie is die 'we' dan precies? - Ja, precies. - Ja, vaak mensgerichte AI is een term die vaak wordt gebruikt. En dan moet je je echt afvragen van wie is die mens nou precies? Want ook als wij een vraag in ChatGPT gooien, dan hebben we ook niet door dat er allemaal mensen aan de andere kant van de wereld zitten die dat mogelijk voor ons maken. Dus ik denk echt dat we onze horizon ook moeten verbreden in termen van wat gebeurt er op het globaal gebied. - Ja, ik krijg steeds meer het gevoel in het gesprek dat we bij heel veel dingen gewoon te snel willen en te snel gaan. Als maatschappij en als ontwikkeling. Dat we soms niet de tijd nemen om eigenlijk dit soort rudimentaire vragen eigenlijk genoeg tijd te gunnen. - Ja, dat denk ik ook. - Ja, waarbij je als je er langer over nadenkt misschien ook later sneller kan gaan. Als je problemen naar voren haalt, daar goed over nadenkt en daar mogelijk dingen tegenover zet of wegneemt of beter maakt dat je uiteindelijk sneller aan de eindstreep bent dan dat je maar gewoon gaat starten. - Ja, want ik merk wel eens dat mensen huiverig zijn om zich met ethiek bezig te houden. Want ze moeten al zoveel en dan ook nog ethiek. Uiteindelijk gaat het inderdaad tijd opleveren. Omdat ja, je ziet al die schandalen en al die risicoprofielen die misgaan. En ja, als je dat kunt voorkomen dan... - Ja, en ik vind ook heel goed wat je zegt over wie is dan de 'we'. Ik was laatst ook in een workshop over ook weer use cases bij een bedrijf waar ze aan zaten te denken. En een van de 'we's' waar ze het eigenlijk over hadden, is dat ze het vooral zelf iets heel erg... Ja, ik kan het niet helemaal vertellen wat het was, maar het was een model. Maar die zorgde ervoor dat iemand vanuit... In plaats van dat hij in het veld zou gaan werken, achter een bureau terecht zou komen waar hij dus eigenlijk een deskjob ging krijgen. In plaats van dat je in het veld... Maar de 'we' was eigenlijk van... Zij zelf binnen de organisatie vonden dat wel een heel goed idee, want daardoor konden dingen allemaal efficiënter en beter. Maar de 'we' in dit geval was eigenlijk ook nog degene waar het over ging waarvan de baan totaal zou veranderen. Ze zou niet vervangen worden of zo, maar de baan zou wel heel erg veranderen. En toen dat ter sprake kwam, was het wel zo van 'ja, dan moeten we wel eens even gaan valideren. Willen die mensen dat eigenlijk wel? Zitten ze daar eigenlijk wel op te wachten? En wat betekent dat dan?' En dus eigenlijk door even de vraag te stellen van 'en willen we dit?', krijg je inderdaad een heel ander gesprek. Ja. En wie is 'we'? Ja, eigenlijk de 'we' is 'we'. Die blijft hangen. Die ga ik me vragen stellen nu. Zoveel mogelijk mensen erbij betrekt, dan los je elkaars blinde vlekken ook op. Ja. Vandaar dat diversiteit ook zo waardevol is. Net zoals je, ik zeg wel eens, in een ecosysteem heb je ook een diversiteit aan flora en fauna nodig om het te laten bloeien en floreren. Oh ja, mooi. In de samenleving en in het hele AI gebeuren heb je ook een diversiteit aan mensen en perspectieven nodig. Ja. Om betekenisvolle innovatie te krijgen. Precies, precies. En vanuit het expertisecentrum dat je hebt opgericht, wat doe je daar? Wat kunnen de mensen daarvan verwachten? Wij doen vooral onderzoek in opdracht. Dus we hebben bijvoorbeeld in opdracht van BZK een onderzoek gedaan naar dataethiek bij uitvoeringsorganisaties. Verder geven we vooral training. Dus dat gaat dan om bijvoorbeeld die ethische verdiepingssessies. En dat kan toegespitst worden op een specifiek onderwerp, zoals fraude opsporing of smart cities of zelfrijdende auto's. En dat doen we vooral bij overheidsorganisaties. Dus niet echt de bedrijfskant, maar meer de publieke kant. Waar natuurlijk ook heel snel uiteindelijk ethische vraagstukken spelen. Zeker. Heb je iets van een voorbeeld? Want het is namelijk altijd best wel heel makkelijk om te hebben over waar het niet goed gaat. Maar ik heb hier een voorbeeld, hoe klein of groot dan ook. Hier is het eigenlijk best wel heel goed gegaan. Nou, ik vind het wel mooi dat ze bij de Voedselbank nou een meertalige chatbot op de website hebben gezet. Zodat de drempel wordt verlaagd voor mensen die geen Nederlands kunnen spreken. Dat die wel hulp kunnen vragen. Terwijl ze dat normaal niet zo durfden misschien. Dus daar zie je dat AI echt helpt om die sociale ongelijkheid juist op te lossen. Oei, praktisch voorbeeld. Ja, en in dit geval kan ik me ook voorstellen dat zelfs de chatbot helpt. Normaal gesproken zeg je misschien menselijke interactie. Dat dat er ook helpt, dat er een afstand is. Dat het wat veiliger is om vragen te stellen aan een machine dan aan een mens. Dat kan ik me wel voorstellen. Ik weet niet hoe mensen dat ervaren. Maar ja, ik vond het wel een mooie toepassing. Ja, dat is zeker een mooie toepassing. We hebben ook een virtuele co-host. Zij wil ook graag een vraag stellen. Oké. Aisha. Prettig kennis te maken. Ik ben Aisha, de AI van deze podcast. Mag ik je een vraag stellen? Tuurlijk. Hoe kunnen we ervoor zorgen dat AI-systemen geen vooroordelen repliceren en juist inclusiever worden? Ja, die vooroordelen kunnen op heel veel manieren tot stand komen in een dataset. En een van de manieren om dat op te lossen is om te zorgen voor meer representativiteit. Ja. Maar daardoor ben je er ook nog niet. Want ja, als je bijvoorbeeld dat bij Google Translate dat er een gender bias zit en dat er wordt gezegd van als het een receptionist is, dan is het "zij heeft het gedaan" of zoiets. Maar als het daadwerkelijk zo is dat er meer vrouwen receptionist zijn dan mannen, ja dan ben je er dus niet met representativiteit. Nee, precies. Dan moet je nog iets extra's doen. Ja, dus eigenlijk ook weer het stukje terugpakken van wat willen we eigenlijk bereiken? Willen we inderdaad volledig representatief zijn, maar dan houden we het in stand wat het nu is? En is dat ook hetgeen wat we willen bereiken? Of willen we eigenlijk dat het ook gewoon eerlijk verdeeld is en moeten we daar dus rekening mee gaan houden? Ja, want bij die gezichtsherkenningssystemen wil je eigenlijk dat het systeem net zo goed werkt voor mensen met een donkere huidskleur als met mensen met een lichte huidskleur. Maar dan moet je dus extra veel moeite doen om die data te verzamelen van minderheidskanten. Ja, en zorg natuurlijk ook. Dat is het ook natuurlijk, dat data met vrouwen is veel minder historisch gezien dan van mannen. Ik waardeer dat je mijn vraag van verschillende kanten belicht, dank je wel. Zo dan, ja ja. Wat stel je, je was Jonge Denker des Vaderlands, ja toch? Jonge Denker des Vaderlands. Je wordt de jongste minister van Digitale Zaken. Misschien niet het aankomende kabinet, maar een wat progressiever kabinet. Wat zou je als eerste gaan doen op het gebied van ethiek? Op het gebied van ethiek of specifiek AI-ethiek? Oh ja, dat is een goede. Laten we eens beginnen met AI-ethiek. Ja, nou ik denk dat ik vooral andere keuzes zou maken in het soort AI dat we ontwikkelen. Ik zou het vooral inzetten om bijvoorbeeld duurzaamheid verder te helpen en om sociale ongelijkheid op te lossen. Ja, mooi. Focus shift. Ja, en ethiek breed? Want dan heb je me wel een sfeer gemaakt door dat onderscheid te maken. Goeie vraag. Ik weet eigenlijk niet. Maar op het gebied van AI-ethiek, dan zouden we denk ik al een mooie stap maken, toch? Ja, zeker. Als het om ethiek gaat, wil ik vooral het kritisch denkvermogen van mensen aanwakkeren. Ja. Dingen zoals het verschil tussen correlatie en causatie is zo belangrijk in algoritmische profielen. Als mensen correlatie zien, dan denken ze van 'oh, dat zal dan wel kloppen'. Ja, zou je het kunnen uitleggen wat het verschil is? Ja, nou we zien bijvoorbeeld de correlatie tussen inderdaad die mensen met de Marokkaanse achtergrond en criminaliteit, maar de causale structuur die erachter zit. Ja, oorzakelijk verband. Ja, dat komt niet omdat criminaliteit inherent is aan Marokkaans zijn, maar het kan door allemaal andere factoren komen, zoals het kan een effect zijn van dat ze worden gediscrimineerd en bias in politie. Ja, precies. En het causale verband kan komen door bijvoorbeeld armoede. Dat armoede ervoor zorgt dat mensen meer kans hebben om de criminaliteit in te gaan en omdat Marokkaanse mensen worden gediscrimineerd, komen ze in armoede terecht en daardoor hebben ze meer kans om criminaliteit in te gaan. En het probleem is natuurlijk dat wij als mensen, als wij correlatie zien, iets wat verband met elkaar lijkt te houden, dat we er meteen ook oorzakelijk verband aan koppelen. Ja, ik heb nog wel een grappig voorbeeld. Een algoritme dat cv's beoordeelt om een goede werknemer te vinden. Nou blijkt het dat er heel veel mensen met een leiderschapspositie de naam Peter hebben. En als je een zelflerend algoritme gebruikt, die gaat dan nieuwe cv's met de naam Peter, gaat hij denken van 'oh, dat is een goede werknemer'. Ik kijk ineens heel anders naar mijn collega die toevallig Peter heet. Ja, die is dus op positieve discriminatie aangenomen. Dat zijn jouw woorden. Dat soort dingen daar hebben we natuurlijk heel snel last van. En dan komt de confirmation bias ook weer. Ik ben aan het zoeken, dit komt eruit. Nou, dat is ook mijn beeld, dus ik ga ervan uit dat dit wel klopt. Dus daar zit die bias natuurlijk ook flink in. Je hebt een geweldige website die heet 'Spurious Correlations'. Ja, heel leuk. Ja, geweldig. Ik kijk daar eens in zoveel tijd op en dat zijn dan hele maffe correlaties, verbanden die geen oorzakelijke gevolg hebben. Ja, en ik denk dat algoritmen niet dat oorzakelijke verband kunnen zien, van causaliteit. Ja, daarvan weet ik dat er onderzoek naar wordt gedaan, maar dat is echt wel lastig inderdaad, om echt causaliteit aan te tonen. Nou, ik heb wel een voorbeeld. Een algoritme kan bijvoorbeeld zien van deze persoon heeft 70% kans om fraude te plegen. Maar je kunt al zien dat er iets niet goed gaat als je kijkt naar de manier waarop mensen over zichzelf denken. Want ik denk niet over mezelf, nou vandaag heb ik 70% kans om fraude te plegen. Je bent het van plan of je bent het niet van plan. Je hebt een soort van intenties en gevoelens daarachter. Maar dus die denken in termen van statistische kansen is sowieso al heel anders dan hoe het menselijke intenties werken. Ja, dat is wel een goede vraag. Ik had het nog niet overnacht. Het is een ja of een nee. Nou, maar er kan dus ook heel lang nee zijn tot het moment dat je denkt van ik doe het toch. Ja, ik denk dat mensen heel onvoorspelbaar zijn wat dat betreft. Dat ze nooit helemaal gevat kunnen worden in hun data profiel. Ja, je bent niet je datapunt van het verleden zeg maar. Je bent hetgeen wat je nu bent en dat verandert over tijd. Ik was nogal nieuwsgierig inderdaad. Je kwam hier naartoe en je bent met de trein hier naartoe gekomen. Hebben wij een vraag aan jou niet gesteld, maar die je had verwacht die we wel gesteld zouden hebben? Nou, dat is een leuke vraag. Nou, dat weet ik eigenlijk niet. Ik denk dat heel veel dingen in ieder geval aan bod zijn gekomen. Heb je nog een vraag aan ons? We zitten vaak bij bedrijven en dat soort zaken waar wij weer mee aan de slag kunnen met ethiek en AI-ethiek. Nou, iets wat ik wel eens zeg in mijn presentaties is dat ik denk dat het probleem soms niet zit in het weten hoe je het moet doen. Ik zie dat mensen, ja, we hebben al de wetenschappelijke kennis om te weten hoe we problemen moeten oplossen, zoals klimaatproblemen, sociale ongelijkheid, maar we voelen niet waarom. En dat zie ik ook dus bij AI. Want we weten wel dat we voor representativiteit in de dataset moeten zorgen, dat we bias uit het systeem moeten halen. Maar mensen weten niet hoe het is om gediscrimineerd te worden en hoe het is om onterecht benadeeld te worden door een algoritme systeem. En daarom weten ze ook niet wat precies die aard van die bias is en wat het onderscheid is tussen onterechte discriminatie en gerechtvaardigd onderscheid. Dus ja, als je naar bedrijven gaat, wees dan niet te snel weer oplossingsgericht, maar sta eerst even stil bij het probleem en ga na of mensen echt invoelen wat het probleem is. Ja, als ik van mezelf kom, dan ga ik in oplossingen denken. Ja, sorry. Dan moet je die doen. Dan moet je die doen. Stop. Nee, maar zelf pas ik het liefst aan 5 times why en het doorblijven vragen en echt de vraag achter de vraag proberen te ontdekken. Dat zou voor mij de praktische vertaling zijn hoe ik dat in de praktijk zou verengen. Niet in oplossingen denken. Als ik met mensen in gesprek ben of je hebt een ethisch gesprek, je merkt al gauw dat als het moeilijk wordt, dat mensen dan dichtslaan en vervallen in dingen zoals agree to disagree of anything goes. Maar dat is eigenlijk een conversation stopper. Dat is de manier waarop je constructief gesprek eigenlijk uit de weg gaat. Dat is juist het moment waarop je door moet gaan. Inderdaad, die why vragen stellen en ook ruimte laten voor verschil in perspectieven. Niet gelijk die consensus ook proberen te zoeken. Dus het mag schuren. Dat had je het over. Ja, zeker. Het mag schuren. Dat lijkt me een hele mooie afsluiting. Dank je wel. Het mag schuren. Heerlijk. Klinkt goed. Zo, die spiegel. Die komt binnen. Dank je wel Ajuna voor toch ook wel weer de praktische tips en vooral ook eigenlijk de andere manier van kijken wat je hier hebt gebracht. We hebben het al wat vaker over ethiek gehad. Je hebt een hele andere invalshoek. Heel erg leuk om te horen. Dank je wel voor het luisteren. Wil je geen aflevering missen? Zorg dan dat je even op het volgknopje drukt van je favoriete podcast app. Dan krijg je vanzelf een seintje als er weer een nieuwe is. Dank je wel. Tot de volgende keer. [Muziek]