De Volksbank als pionier in ethische AI - met Joris Krijger

In deze aflevering hoor je Joris Krijger, AI & Ethics Officer bij de Volksbank. Hij vertelt hoe een initiatief van ontwikkelaars uitgroeide tot een organisatiebreed ethisch kompas voor AI. Hij deelt deze concrete inzichten over hoe je ethische principes vertaalt naar de praktijk zonder innovatie te remmen of in abstracte kaders te verzanden. [Muziek] Hoi, leuk dat je weer luistert naar een nieuwe aflevering van AIToday live. Met vandaag de gast Joris Krijger van De Volksbank. En we gaan het over ethiek hebben. En dan vooral eigenlijk denk ik in het algemeen, maar hopelijk ook specifiek over de bank. Mijn naam Joop Snijder, CTO bij Aigency. Mijn naam Niels Naglé, Area Lead, Data & AI bij Info Support. Joris, dankjewel dat je naar de studio wilde komen. Zou je je wel even voorstellen aan de luisteraars? Ja, zeker. Dank voor de uitnodiging. Mijn naam is Joris Krijger, ik ben Ethics & AI Officer bij de Volksbank sinds 2019. En daarnaast ben ik PhD-kandidaat aan de Erasmus Universiteit, ook sinds 2019 op het onderwerp ethiek en AI. Dus ik onderzoek de praktische en de theoretische kant van verantwoorde AI. Mooi. En sinds 2019, dat betekent dat je er vroeg bij bent op het vakgebied van AI, toch? Ja, dat klopt. Ik zeg wel eens, in 2019 was ik echt een soort nerd kwadraat. Want niet alleen kunstmatige intelligentie, maar ook nog ethiek in kunstmatige intelligentie. Inmiddels merk je dat het onderwerp gewoon heel erg leeft. Dus dat is ontzettend gaaf om te merken. Ja. Kan je ons meenemen aan het begin, zeg maar, van de reis die je hebt gemaakt binnen de bank? Want ik neem aan dat er niet al een ethische commissie was toen je daar begon. Nee, nee, nee. De vraag was eigenlijk, mensen wilden wat gaan doen met eerlijke algoritme, heette dat toen. Dat was dan, zeg maar, een beetje de knullige variant van Responsible AI, eerlijke algoritme. En ik was daar gekomen omdat ik heb een achtergrond in filosofie. Ethiek en technologie heeft mij altijd geïnteresseerd. En ik ben afgestudeerd op de bankcrisis van 2008. De rol van technologie en het gebrek aan ethiek, zou je kunnen zeggen. En op basis daarvan had de bank mij benaderd van, hé, wij willen nu iets gaan doen met eerlijke algoritme. Dat kwam voort uit het feit dat ontwikkelaars allerlei dilemma's zagen waarvan ze dachten, ja, daar zouden wij niet verantwoordelijk voor moeten zijn. Wat is een eerlijke verdeling mannen en vrouwen in je kredietverstrekking? Wanneer is een model uitlegbaar genoeg? Allemaal vragen waarvan ze zeiden, ja, er wordt nu verondersteld dat wij dat kunnen oplossen. Maar dit is eigenlijk een organisatie vraagstuk. Dus toen hebben ze daar een werkgroep voor opgetuigd. Maar dat kwam ook echt uit de ontwikkelaars? Ja. Oh, wat goed. Ja, ja. Dat hoor je niet vaak? Nee. Nou ja, in die zin, ik denk dat als je net ontwikkelaars vraagt, zeker nu er zoveel waardekaders zijn, dat ze best aangeven van, ja, wij weten soms ook niet wat we met deze kaders moeten. Zowel bij publieke als bij private organisaties. Alleen hier hadden ze dus echt de stap genomen om met een team aan de slag te gaan, om daar invulling aan te geven van wat zijn dan onze principes? En hoe zorgen we vooral dat we dat naar de praktijk vertalen? Daar hadden ze mij bij gevraagd. En ja, in het begin ben je dus vooral kaders aan het lezen. Maar al vrij snel, en daar gaat ook mijn onderzoek over, kom je erachter dat met alleen een mooi manifest je er nog lang niet bent. De ingewikkelde zit er natuurlijk in. Hoe breng je dat naar de praktijk? Hoe breng je dat tot aan het bureau van de data scientists? En dat is waar de afgelopen jaren voor mij ook over gegaan zijn. Van ja, we zijn het eens dat eerlijke algoritmen belangrijk zijn, dat ze uitlegbaar moeten zijn, dat we privacy moeten respecteren, dat er een vorm van accountability moet zijn. Al die principes die je in alle frameworks terug ziet komen. Alleen hoe regelen we dat concreet in voor de verschillende toepassingen die we hebben binnen de bank? En dat is een stuk ingewikkelder. En daar hebben we governance voor opgezet, om te zorgen dat we grip houden op die ethische aspecten van AI. Ja. En hoe hou je grip op die aspecten? Ja, dat is een hele goede vraag. Het startpunt voor mij was in ieder geval het inzicht dat we heel snel geneigd zijn te kijken naar de technische kanten van verantwoorden AI. Maar dat we heel erg over het hoofd zien wat voor bepalende rol de organisatie waarin die systemen ontwikkeld worden. Wat voor belangrijke rol die spelen in hoe uiteindelijk AI gebruikt wordt. Kan je ook nog iets vertellen? Want kijk, de automatisering hebben we al decennia. En de vraagstukken zijn in mijn beleving zeg maar niet heel veel anders bij AI als bij die automatisering. Want je grijpt in op bedrijfsprocessen, op het werk van mensen. En je neemt besluiten op basis van gegevens. Waarom is er zeg maar met AI nu zoveel aandacht rondom ethiek? En waarom is bij de bank ook dat gevoel gekomen? Ik denk omdat we met AI, en dat is natuurlijk het feit dat zo'n systeem zelf kan leren. Dat we een bepaalde mate van autonomie geven aan systemen. We delegeren taken aan systemen waar we misschien niet altijd comfortabel zijn met ook het delegeren van de verantwoordelijkheid voor de uitvoering van die taken aan systemen. Oh ja. En dat merk je natuurlijk steeds meer. Dat als het gewoon puur een soort descriptief algoritme is wat je laat zien dit gebeurt er. Dan voelt het minder spannend dan als het wat prescriptiever begint te worden. En met AI zie je natuurlijk de snelheid, de schaal. Maar ook het feit dat er gewoon meer incidenten zijn geweest in de afgelopen jaren met AI en algoritmes die uit de bocht zijn gevlogen. Waarvoor ook het bewustzijn groter is. En zelf probeer ik altijd wat gaat AI betekenen te duiden aan de hand van drie vragen. Van welke problemen gaat het voor ons oplossen? Welke problemen gaat het niet oplossen? En daar komen ook inderdaad jouw aspecten van nou er zijn een heleboel maatschappelijke vraagstukken die er al heel lang spelen. En die met AI en met algoritmes gewoon in een nieuwe vorm terugkomen. En de derde is welke nieuwe problemen creëert het als we AI gaan inzetten. En daar zit natuurlijk ook een heleboel interessant. Absoluut. Welke nieuwe problemen heeft het gecreëerd voor de Volksbank? Nou voor de Volksbank denk ik niet direct nieuwe problemen. Maar in het algemeen denk ik dat je kunt zeggen dat als je met AI aan de slag gaat. En ik zei het al die autonomie is ontzettend bepalend in de nieuwe problemen die AI creëert. Want je hebt het blackbox fenomeen, dat hoef ik jullie niet uit te leggen. Maar die systemen kunnen zo complex worden dat je niet meer precies weet hoe ze nou tot een beslissing komen. En je hebt natuurlijk het feit dat het dus een soort semi-autonome actoren worden in je beslissingsproces. Waarvan het makkelijk kan worden om allerlei verantwoordelijkheden eraan te delegeren. Zonder dat het een betekenisvolle vorm van verantwoordelijkheid is. Want als je uiteindelijk moet zeggen computer says no, dan voelt dat heel onrechtvaardig. Dus de bank kwam bij jou uit. Hoe ziet het er nu uit? Wat is het verschil tussen 2019 en we zitten nog in het staartje van 2024. Als mensen dit luisteren is denk ik alweer 2025. Wat is er in die periode gebeurd? We hebben eigenlijk een hele reis afgelegd van met elkaar vaststellen wat zijn de belangrijkste principes. Naar hoe zorgen we dat we daar proactief en structureel grip op houden in zowel de inkoop als het ontwikkelen van modellen binnen de bank. En we hebben eigenlijk op een aantal aspecten zou je kunnen zeggen geschakeld. Later heb ik daar ook met andere organisaties nog over van gedachten gewisseld. En hebben we daar een volwassenheidsmodel van gemaakt. Daar hebben jullie het geloof ik met Tamara Thuis ook over gehad. Maar de dingen waar we aanpassing op hebben gemaakt is op het niveau van het bewustzijn bij mensen. Over bijvoorbeeld bij ontwikkelaars. Dat de keuzes die ze maken niet alleen gaan over cijfertjes en over wiskunde. Maar dat het impact heeft op de mensen die blootgesteld worden aan dit soort systemen. Het gaat over het vrijmaken van tijd en middelen voor een gesprek over ethiek. Het gaat over een goed beleidskader. Zo gaan we er wel mee om, zo gaan we er niet mee om. Goede governance. Deze partijen mogen er iets van vinden in deze fase van de lifecycle of van het inkoopproces. Dit zijn de criteria waar we op toetsen. Goede assessments. Je hebt eigenlijk allerlei lagen waar je aan moet denken om te zorgen dat die ethiek verankerd wordt in de structuren en processen van een organisatie. Om te voorkomen dat het een soort ad hoc gesprek wordt van nu moeten we het een keer over ethiek hebben. Dan hebben we het erover en dan kom je twee maanden later terug bij die ontwikkelaars. Dan zeg je wat heb je daar nou precies mee gedaan? Dan zeggen ze oh ja dat hadden we ook nog. Ja niet echt veel meer mee gedaan. Dus je moet zorgen dat het in elke stap verankerd is. En dat je voor het systeem wat je uiteindelijk gebruikt. En dat is ook een beetje mijn opvatting voor ethiek. Dat je kunt verantwoorden van dit zijn de keuzes die we gemaakt hebben rond de maatschappelijke aspecten van dit model. Eigenlijk net als dat je andere keuzes vastlegt rondom bouwen van systemen. Je documenteert ook de keuzes rondom de ethische vraagstukken. Ja exact. En wij komen natuurlijk ook wel bij andere bedrijven. En die hebben dan een ethische commissie. Hoe zit dat bij jullie? Ja daar was ik natuurlijk nog niet op ingegaan. Wij hebben als je het dan hebt over wat we veranderd hebben in de structuren en processen. Is dat we eigenlijk gezegd hebben een speciaal team. Een ethics office. Wat bij de uitvoering bij de ontwikkelaars betrokken is en meekijkt. In welke fase zitten de projecten? Welke modellen zijn relevant? Nu met de AI act heb je natuurlijk gewoon de hoog risicocategorie. Maar ook daarbuiten wil je jezelf de vraag stellen van misschien staat het niet precies in de definitie van een hoog risico. Maar denken we wel dat we er even goed over na moeten denken voor we het gaan gebruiken. Dus we hebben een team dat meekijkt met die ethische aspecten op AI ontwikkeling. We hebben inderdaad ook een commissie ethiek. En in de structuur die we hadden. We zitten momenteel in een reorganisatie. Dus alles is aan het schuiven. Maar in de structuur die we hadden hadden we daar ook een klankbordgroep bij. Waar we één keer per maand bijeenkwamen. Om een soort voor meer hands-on evaluatie van de inzichten en reviews. Die de ethics office. Die dat team wat bij de ontwikkeling betrokken is. Heeft opgesteld. Dus op die manier zorg je dat je. Voordat je bijvoorbeeld een pilot gaat starten. Dat je al in beeld hebt gebracht van. Hé hier zien we mogelijk ethische risico's. Dit zijn de handelingsopties. Je hebt een soort vertegenwoordiging van de organisatie in de klankbordgroep. Die zegt ja wij kunnen ons hierin vinden. En als we dit en dit aanpassen. In het model. Maar soms ook gewoon in het proces. Zorg dat je medewerkers goed instrueert bijvoorbeeld. Dan vinden we het veilig genoeg om mee verder te gaan. En op die manier proberen we dat vraagstuk van ethische en verantwoorde AI. Niet een soort technisch vraagstuk te maken. Maar echt een organisatie vraagstuk. Dat klinkt als best wel wat werkzaamheden. Hoe groot is het team? Wat voor type mensen zitten erin met capabilities? Wat doen? Ja ook dat is aan het schuiven. Ik hoop heel erg dat we een groter team kunnen krijgen. Wat niet alleen over verantwoorde AI gaat. Maar gewoon over. Ja ik heb het sociale integriteit genoemd. Hoe we ons verhouden tot de maatschappij. En welke keuzes we daar naartoe maken. Dus daar zou je ook duurzaamheid onder kunnen scharen. Maar de samenstelling van het team wisselt. Omdat je merkt dat. Wat ik heb gemerkt is dat als je, je zei het al. Als je met ethiek en AI aan de slag gaat. Komen er allerlei vraagstukken naar boven. Waarvan je denkt dat gaat eigenlijk verder dan alleen het systeem zelf. Het gaat over de werkpraktijk waarin het is ingezet. En dan gaat het over de doelen waardoor die werkpraktijk is ontstaan. En dan gaat het over de strategie. En eigenlijk wat ik gemerkt heb. Het voelt soms als een paard van Troje zeg maar. Dat ik eerst binnenkwam om iets over ethiek en AI te doen. En inmiddels hebben we dus een ethische commissie. Die zich uitspreekt over allerlei ethische vraagstukken. En is ook gevraagd. Kunnen jullie de werkwijze die je hebt voor AI modellen. Ook voor niet data gerelateerde processen inzetten. Om ons te helpen met bijvoorbeeld het HR beleid. En dat soort dingen. Oh zo ja. Dus dat gaat een beetje over de teams. En over de afdelingen heen. Omdat je dus op allerlei nieuwe plekken komt. Waar je wel met die thematiek van ethiek aan de slag wilt. Maar eigenlijk klopt dat dan wel bij wat je zegt. Want het gaat natuurlijk niet om de technologie. Maar het gaat om de impact. Ja. En daarmee heb je eigenlijk iets gecreëerd. Wat misschien groter is dan de ethiek gericht op die technologie. Ja. Ja dat denk ik wel. Daar zit iets in. En in ieder geval het inzicht voor mijzelf. Want mijn eigen onderzoek gaat over. Hoe brengen we nou verantwoorde AI in de praktijk. Was dat er. Uiteindelijk draait dat om de vraag. Wie of wat bepaalt. Hoe en of AI wordt ingezet. Ja. En wat ik heel erg merkte de afgelopen jaren. Is dat in de methodieken die we hebben. De technische tools die we hebben. Dat daar de veronderstelling. Dat daar het antwoord op die vraag is. De ontwikkelaar. We gaan de ontwikkelaar een kader geven. We gaan een gesprek hebben. We gaan ethics by design doen. Met de ontwikkelaar. En in mijn ervaring. Was de organisatie daaromheen. En de KPIs. En de doelen van die organisatie. De waarde. De cultuur in die organisatie. Minstens zo bepalend. Voor hoe AI wordt ingezet. En daar weer omheen. Zit het hele veld. Van ja als bank. Ook de Volksbank. Zit je in een concurrerende omgeving. Je wil niet dat iemand anders iets sneller heeft dan jij. Enzovoort. En dat zie je bij een heleboel organisaties. Er zit een soort logica. Die door zo'n organisatiestructuur heen loopt. Van ja we moeten efficiënter worden. Zelfs bij publieke organisaties. Die misschien wel nog bepalender is. Dan wat de ontwikkelaar kan doen. Want dat beperkt heel erg de keuzemogelijkheden. Die een ontwikkelaar heeft. Om ook daadwerkelijk te zeggen. Ik ga dit model nu eerlijker maken. Als je het eerlijker maakt gaat de accuracy omlaag. Gaat het voorspellend vermogen omlaag. Want je gaat een beetje sleutelen aan de optimale verdeling. En dan vervolgens heeft dat dus een prijskaartje. In de vorm van het voorspelt iets minder goed. Als bank neem je bijvoorbeeld meer risico. Als je zegt we gaan onze kredietverstrekking eerlijker maken. En dan is de vraag. Wie gaat die keuze maken. En vooral ga je dat doen. Als je weet dat je inlevert op je profitability. Op je winstgevendheid. En als het risico omhoog gaat. Een bank is risico gedreven. Dus hoe reageert zo'n risk officer dan bijvoorbeeld. Nou ja. Het gaat om de beheersmaatregelen die je hebt. Rond dat soort risico's. En ook voor die ethische risico's hebben we gezegd. Die moet je dus. Dat vind ik het mooie aan het hele risk management jargon. Die moet je managen. Die moet je mitigeren. En de restrisico's moet je accepteren. En dat zijn allemaal hele interessante processen. Als je naar ethiek en AI gaat kijken. En voor mij als ethicus is vooral interessant. Waar baseren we die afweging op. En hoe verantwoorden we die afweging. Want heel vaak is dat een soort blinde vlek. Want ja natuurlijk gaan we niet aan het model sleutelen. Als het minder efficiënt wordt. Terwijl daar hele wezenlijke keuzes gemaakt worden. Waarvan ik denk dat je er ook maatschappelijk iets van kunt vinden. En het interessante voorbeeld wat ik daarbij gebruik vaak. Is bijvoorbeeld gepersonaliseerde premies bij verzekeraars. En ik geef vaak het dilemma van gepersonaliseerde zorgpremieberekening. En dat zou voor een heel groot deel van de mensen goed uitpakken. Het zou alleen voor de mensen met de grootste zorgrisico's. En vaak ook de mensen met een lagere sociaal-economische status. Heel slecht uitpakken. En dan vraag ik. Zouden we dit systeem moeten willen? En eigenlijk zeggen een heleboel mensen. Nee. Verzekeren gaat over solidariteit. Dan ga je niet de meest kwetsbare. Nog eens een extra prijskaartje daaraan hangen. En dan vraag ik. Denk je dat verzekeraars het gaan gebruiken? En dan zeggen ze. Ja, waarschijnlijk wel. Als het dan gebruiken ze. En er zit dus een soort discrepantie tussen. Wat wij wenselijk vinden. En wat we verwachten. Dat zo'n organisatie in de marktomgeving waar het in zit gaat doen. Want anders gaat een concurrent dat doen. En dan blijven ze met de slechte risico's zitten. Prijzen zichzelf uit de markt. Die dynamieken. Die zijn denk ik veel bepalender. Voor of en hoe we AI gebruiken. Dan of we aan zo'n ontwikkelaar in die verzekeringsmaatschappij in dit geval zeggen. Zorg wel dat het eerlijk gebeurt. Ja. Dat is een beetje waar die keuzes over gaan. Nu trigger je maar even. Je begon met de ontwikkelaar die had vragen. Waardoor je ook bent gestart ermee. En nu kwam je terug bij de ontwikkelaar. Dus ik was even nieuwsgierig. Wat heeft het met de ontwikkelaar gedaan die met deze vraag leefde. Tussen nu en daarvoor. Nou wat ik hoop dat het gedaan heeft. Is dat het de... Niet per se de garantie. Maar dat het het mechanisme heeft geboden om de ethische zorgen die ze hebben te agenderen. Maar ook dat ze weten dat er de afweging die gemaakt wordt in het ontwikkelproces. Dat dat een organisatie afweging is. Dat dat niet alleen op hun conto komt. Maar dat we als organisatie gezegd hebben. Dit vinden we de beste manier om dit model in te zetten binnen onze organisatie. En daarmee hebben we geprobeerd zo pragmatisch mogelijk om zo min mogelijk extra hoepels op te gooien. Waar een ontwikkelaar weer doorheen moet springen. Dus we hebben gezegd we sluiten aan bij de bestaande model documentatie. We sluiten aan bij de bestaande data protection impact assessments. Al die informatie recyclen we voor ons ethische assessment. Waar nodig schakelen we nog een keer met jullie voor wat aanvullende vragen. Maar we willen het zo min mogelijk belastend maken. Zodat ontwikkelaars kunnen doen waar zij goed in zijn. Waar ze plezier in hebben. En zodat wij als De Volksbank kunnen zeggen we weten wat daar gebeurt. En ook voor de dingen die misschien niet zo spannend zijn. Hebben we een bewuste afweging gemaakt van dit vinden we verantwoord om mee verder te gaan. Je noemde ethische assessment. Wat komt er zo op bekijken bij zo'n assessment dan? Ja dat klinkt misschien spannender dan wat het is. Maar wat we in feite doen is dat we kijken naar de sleutelwaarde rond verantwoorden AI. Dus dan heb je het over zijn er eerlijkheidsrisico's, uitlegbaarheidsrisico's. Is er een menselijke escalatielijn? Communiceren we duidelijk over hoe we het model gebruiken? En hoe gaan we om met bepaalde data? En op die aspecten toetsen we wat gaat dit model doen? En naast die vijf waarden kijken we ook naar wat gaat het model veranderen in het proces waar het wordt ingezet. En dat wordt ook best vaak vergeten als je het over ethiek hebt. Hoe ziet de baseline eruit? Want misschien is het geen perfect model, maar is het een heel stuk beter dan hoe we het op dit moment aan het doen zijn? En dan kun je alsnog zeggen we hebben nog een weg te gaan, maar we zien dit wel als een substantiële verbetering in hoe we op dit moment aan het werk zijn. En dat nemen we dus naast die vijf ethische waarden ook mee. Van wat gaat het veranderen? Hoe ziet het er nu uit? En wat missen we als we dit niet gaan doen? Klinkt heel praktisch. Heel concreet ook. Gewoon heel toepasbaar. En dat wordt dan ook vastgelegd. En daar kan je weer op terugkijken. Want dat wordt vaak ook in mijn optiek vergeten. Dat we dat ook even vastleggen. Dat we het erover hebben. Maar dat het vastgelegd wordt. Die governance daarvan is daarmee ook al geborgd. Ja, dat is wat ik zelf ook. Ik zei al, ik ben afgestudeerd op de financiële crisis. En daar miste dat hele stuk van ter verantwoording kunnen roepen. En technologie is daar een heel dankbare zondebok voor. Omdat je daar alles op kan afschuiven. En het verdwijnt in een soort zwart gat. Van ja, we weten het ook niet precies. En ja, don't blame the messenger. En wat ik in ieder geval wil doen met deze vorm van governance. Is dat we al die waardeafwegingen expliciet maken. En dat we ze documenteren. En dat, kijk, ethiek doe je nooit helemaal goed. En ethiek verandert door de tijd heen. Dus je moet soms teruggaan op je eerdere beslissing. En zeggen, we moeten hier toch een andere afweging maken. Of er speelt in de maatschappij een discussie. Waardoor je zegt, laten we nog eens kijken naar dit soort systemen. En dan wil je weten, waar hebben we dat in het verleden op gebaseerd. En wat zouden we nu anders willen doen. En daar helpt het allemaal bij. Je gaf aan, er zit een heel krachtenveld omheen. Rond die besluiten. Ik kan me zo voorstellen dat in het begin, toen je hiermee kwam. Dat er best wel wat weerstand was. Dat zie je misschien een schouderduw gaven. Zeg je, ja Joris, nu even niet. We moeten nu vooruit. Dit remt innovatie. Dat is zo'n gevleugelde term. Ben je dat tegengekomen? Ik kan niet zeggen dat ik het niet ben tegengekomen. Maar ik moet zeggen dat het binnen de bank heel erg meeviel. En dat is denk ik het voordeel van een bank als de Volksbank. Die in staatshanden is, maar wel wil privatiseren. Dat er tegelijkertijd de ruimte is voor maatschappelijke initiatieven. En om hierover na te denken. En ook echt dus vanuit de ontwikkelaars. Maar ook vanuit de risk managers. Vanuit heel breed in de organisatie. Het besef van we willen dit op een goede manier gaan inrichten. En tegelijkertijd speelt ook dat commerciële krachtenveld er doorheen. Van we kunnen niet eindeloos blijven debatteren over wat nou een verantwoord algoritme is. We moeten op een gegeven moment door. En dan kom je tegen dat mensen zeggen van nou ja, moeten we dit echt allemaal invullen. Zeker als je nog aan het proberen bent van wat is nou de beste methodiek voor wat wij willen bereiken. Want dit is een model, maar de Volksbank heeft natuurlijk een eigen inrichting voor data science en AI. Waar dit model goed op aansluit. Ik kan me voorstellen, organisaties die groter zijn of kleiner zijn. Heb je een andere invulling nodig voor hoe die governance eruit moet zien. Maar dit werkt goed. En we hebben ook heel expliciet altijd de aansluiting gezocht bij ontwikkelaars. Van wat werkt nou voor jullie goed. Dus niet een nieuwe vragenlijst. En ook niet te pas en te onpas met bijvoorbeeld. Een van de dingen waar we mee gestart zijn was een mensenrechten impact assessment. Dat zijn gewoon, wat is het, 40, 50 bladzijden. Ja, de IAMA impact assessment. Die was er toen nog niet. Maar je had vanuit, naast dat er in 2018 meen ik de guiding principles vanuit Europa waren gepubliceerd. Ook een soort eerste AI impact assessment. Daar zijn we toen mee begonnen. En daar staat dan ook een deel in over mensenrechten. En ik weet dat we dat toen geprobeerd hebben op een marketingmodel. En dat die ontwikkelaars me echt aankijken van, ben je serieus? Dat ging over of we mensen per brief of digitaal gingen benaderen. En die keken echt van, did you perform a human rights impact assessment? Hoe kan dit misgaan precies? Dus, nou ja, dingen als proportionaliteit. Hoe zet je dat goed in? Dat hebben we daar allemaal in geprobeerd mee te nemen. Van hoe zorgen we nou dat de kuur niet erger wordt dan de kwaal? Ja, precies. Dat we daar een beetje een goed midden in vinden. En een manier vinden die aansluit bij hoe het voor ontwikkelaars zo prettig mogelijk werken is. Zonder dat, want je moet soms lastig zijn. En dat is ook de rol van ethiek. Zonder dat we te veel schikken naar, oh, als het maar jullie niet te moeilijk maken. Soms heb je gewoon dingen waar je van mening over verschilt. Waarvan je zegt, ja, we zouden dit echt volgens mij niet moeten doen. Waarvan ze zeggen, dit heeft meer waarde. En die punten moet je ook gewoon absoluut op tafel krijgen. Wel mooi dat je zegt van, want uiteindelijk zeg je van, we zetten de ontwikkeling, laten we het zo noemen. De ontwikkeling zetten we centraal. En daar kijken we naar hoe je dat zo goed mogelijk ondersteunt. Hoor ik dat goed? Ja, dat is wel het uitgangspunt. En dat is ook, nou ja, soms hebben mensen het idee dat als het over ethiek gaat, dat het inderdaad, wat je ook al zei, het remt innovatie. Dat het vooral is om je te vertellen wat niet mag. En ik denk, en dat zei ik net ook al toen ik refereerde aan die baseline. In sommige gevallen zou je willen dat het wel gebeurt. En is het, zou je kunnen zeggen, onethisch om AI niet in te zetten. Als je weet dat het leven van mensen op bepaalde aspecten beter kan maken bijvoorbeeld. En die balans wil je vinden. Je wilt zorgen dat je vooruit kunt gaan, maar wel in de richting waarvan we kunnen zeggen, dit vinden we allemaal acceptabel. En dit sluit aan bij de waarde van de organisatie en bij de maatschappelijke waarde die we nastreven. Mooi. We hebben een vast onderdeel dat we een stelling willen voorleggen aan je. En dat gaat ook heel vaak over AI, strategie, beleid. Er zit zelfs een categorie ethiek in. Fingers crossed. Fingers crossed. Maar Niels schudt de kaarten, dus we weten niet wat eruit gaat. komen, dus laten we eens even kijken. Ja, de categorie. Ja. Gebruik en toepassing. Oh, kijk. En de stelling luidt, generatieve AI is een dagelijks onderdeel van mijn werkprocessen. Ja, dat is in mijn geval waar. Ik zou ook niet meer zonder kunnen. Ik ben op dit moment bezig met het schrijven van een boek, met het afronden van mijn proefschrift. En het is enorm waardevol om die lege pagina vast met een structuurtje te kunnen vullen, met kritisch je teksten te laten tegenlezen. Dat vind ik zelf de mooiste functie. Als je zegt, geef me de beste argumenten tegen wat ik hier geschreven heb. Dat maakt de kwaliteit van mijn eigen werk ook beter. Dus ja, nee, in mijn werk gebruik ik het. Voor het werk binnen de Volksbank is het lastiger. Dus voor mijn academisch werk gebruik ik het. Voor het werk binnen De Volksbank is het lastiger. Daar hebben we een Volksbank GPT. Dus we hebben een eigen generatieve AI model. Wat we nu aan het uitrollen zijn. Maar daar is het uiteraard met alle vertrouwelijkheid enzovoort. Niet de bedoeling dat je gewoon een ChatGPT pakt en zegt, schrijf deze klantmail even voor me. Waarom de hypotheekaanvraag is afgewezen. Bij wijze van. Dat zijn dingen die je er liever niet inzet. Dus daar hebben we een wat langer traject gehad van, oké, het is er ineens. Je moet er iets mee. Ik zei al, ik ben zelf veel bezig geweest met ethische volwassenheid. En wat je merkt is dat omdat we al best veel hadden ingericht rond verantwoord gebruik van AI. Je zo'n nieuwe game changer wat makkelijker absorbeert. Omdat je zegt, oké, we hebben de mensen al bij elkaar die je iets van vinden. We gaan aan de slag hiermee. Dus toen hebben we eerst, hebben we dat heel gefaseerd eigenlijk uitgerold. Van hoe willen we het dan hebben? Welk model? Hoe gaan we dat inzetten? Hoe nemen we dat op? Bijvoorbeeld in de gedragscode voor medewerkers waar ze zich aan moeten houden. Allemaal dat soort aspecten die je dan eerst in place wil. Maar als het goed is, wordt het daar dus ook onderdeel van mijn dagelijks werk. Mooi. Mooi. En ik ben benieuwd van welke verrassingen ben je nou tegengekomen in die reis die je nu gemaakt hebt van het begin tot waar jullie nu staan als Volksbank. Wat had je misschien niet van tevoren verwacht wat wel gebeurd is? Het is eigenlijk een soort aanschakeling aan verrassingen. Al is het maar dat AI nu zo'n groot onderwerp is. Oh ja. Ja. Ja. Ja. Ja. Eind 2022. Eind 2022. Dat had ik al niet verwacht. Dat was toch altijd een beetje in de marge. Zeker ten opzichte van thema's als duurzaamheid. Ja. Waar alle congressen en symposia over gingen. Dus dat het zo groot is geworden vind ik heel interessant. Dat AI zo snel zo'n wezenlijk onderdeel is geworden van de bedrijfsvoering van heel veel organisaties. Had ik niet verwacht dat daarmee dus ook de urgentie om die ethiek goed te krijgen zo is toegenomen. Had ik niet verwacht dat ik met een ethiek achtergrond überhaupt hier in podcast kan aanschrijven. Dat mijn toekomst er zo uit zou zien dat ik bij allerlei organisaties langs kan om te praten over ethiek en de verantwoorde inzet van technologie. Had ik überhaupt nooit verwacht. En wat ik zelf mooi vind om te merken is dat de onderzoekservaringen die we aan het opdoen zijn met bijvoorbeeld dat volwassenheidsmodel. Dat dat ook echt iets toevoegt aan hoe we omgaan met AI binnen organisaties. En dat had ik ook niet verwacht toen ik aan mijn proefschrift begon. Want je begint ergens en je hoopt maar dat het een goede kant op gaat en dat het ergens op slaat. En dat misschien een of twee vakgenoten enigszins instemmend knikken als ze het lezen. Dat is het maximaal haalbare. Op dat moment. En inmiddels om te merken dat het dus ook zijn weg vindt naar de praktijk. Dat is voor mij de meest positieve verrassing. Mooi. En zou je iets kunnen vertellen over dat volwassenheidsmodel? Hoe dat eruit ziet? En hoe kunnen anderen dat gebruiken? Ja, nee zeker. Dat staat gewoon open access online. Dat hebben we gepubliceerd eigenlijk vanuit de gedachte dat anderen ermee aan de slag kunnen gaan. En dat volwassenheidsmodel gaat niet per se over welke waarde je in je organisatie moet hebben. Maar het gaat over de organisatorische randvoorwaarden om met verantwoorden AI aan de slag te kunnen. Dus het gaat over wat moet je nou als organisatie ingeregeld hebben om te zorgen dat je op een betekenisvolle manier met die ethiek aan de slag kunt. En we hebben daar een aantal sessies voor gehouden met organisaties over concrete ethische dilemma's die ze zijn tegengekomen. En eigenlijk hebben we op basis van die sessies, volgens mij tien, vijftien van dat soort sessies met publieke en private organisaties bij elkaar, hebben we een soort uitgezoomd en gezegd wat zien we nou terug bij organisaties die er hier al heel goed mee omgaan. En wat mist er nou bij organisaties die nog heel erg aan het borstelen zijn. En toen kwamen we eigenlijk op zes dimensies uit waarvan we zeiden van nou hier zijn sommige partijen gewoon veel verder op en daardoor kunnen ze het beter oppakken. Of hier hebben organisaties nog veel werk te doen. En als ze dat in gang zetten op alle zestien aspecten, dan komen ze daar ook in vooruit. En dat gaat dus over culture and awareness, governance, beleid, inbedding in de ontwikkelprocessen, communicatie en training en het type assessments wat je hebt. Dat zijn zes dingen die je moet hebben. En wat ik heel vaak tegenkom is dat organisaties op twee of drie heel veel gas geven. Dus die zeggen nou we hebben een super gaaf waardekader of een manifest. We hebben allerlei assessments klaar liggen om aan de slag te gaan. Wij zijn er wel wat de ethiek betreft. Dan zeg ik altijd van we hebben nog vier andere dimensies wat ik qua governance. Bijvoorbeeld zo'n impact assessment doet en er komt uit dat er bias in je systemen zit. Wat gebeurt er dan? Wie mag er dan iets van vinden? Wie maakt de keuze of je dat gaat mitigeren of niet? Is daar beleid voor? Heb je daar iets voor ingeregeld? Heel vaak is dat er nog niet. En dat zijn dus allemaal dingen die je nodig hebt als je op een gegeven moment zegt we willen echt volwassener worden in het verantwoord gebruik van AI. Mooi. En in een volwassenheidsmodel zitten er dan niveaus in? Kan je daarin groeien? Ja, we hebben daar vijf levels van volwassenheid op onderscheiden. Waar één eigenlijk is gefragmenteerd of non-existent zou je kunnen zeggen. Dus geen beleidskader, geen specifieke governance. En vijf is business as usual. Maar het is gewoon helemaal geïntegreerd in hoe je met AI omgaat en werkt. Zoals je dat voor andere werktaken misschien ook hebt. Heb je voorbeelden gezien van waar het ook daadwerkelijk business as usual is? Nou ja, het hoogste volwassenheidslevel ben ik nog niet tegengekomen. Maar er zijn best veel organisaties die zeker op een aantal van die dimensies echt heel goed bezig zijn en ook vernieuwende dingen doen. Dus het is wel inspirerend. En voor mijzelf helpt het om ook als een soort kapstok te hebben. Waar moet je nou aan denken als je het over verantwoorde AI hebt? Want heel vaak is het een soort wervelwind die op je afkomt van mensenrechtenassessments, van AI Act, van normenkader, standaard. Waar moet je beginnen? Om dat even te kunnen ontleden in zes dingen waar elke organisatie eigenlijk al iets voor heeft. Want dat is ook de gedachte. Je hoeft niet het wiel opnieuw uit te vinden. Je hoeft niet vanaf nul te starten. Prik in bij dingen die al in jouw organisatie zijn. Je hebt al privacy impact assessments. Je bent al bezig met bepaalde toetsingen op systemen. Je neemt al een besluit of je iets wel of niet gaat gebruiken. Zorg dat je daar die ethiek in bent. En dan kun je veel sneller groeien in die volwassenheid. Ik ben benieuwd, heb je een voorbeeld van wat jou geïnspireerd heeft vanuit de organisatie? Zonder misschien de organisatie te noemen. Ja, op verschillende aspecten. Je merkt dat sommige organisaties heel erg ingezet hebben op het stuk tooling. En ook echt bijvoorbeeld het inzichtelijk maken van bias in hun processen. Dat ze dat heel ver gevoerd hebben. Of de uitlegbaarheid van modellen die ze kunnen garanderen met allerlei tooling die ze daaromheen hebben ingezet. Maar ook bijvoorbeeld de keuzes die sommige organisaties maken om bijvoorbeeld een bepaalde mate van randomness bij fraudecontroles te introduceren. Om te zorgen dat voor ingenomenheden bij degene die gaan controleren wat meer weggenomen worden. Want als je een model hebt dat heel goed werkt, dan ga je er eigenlijk al vanuit dat als je zo'n lijstje krijgt, dat er ook wel iets aan de hand is. En dat betekent dat je dus inlevert op je efficiency als je daar randomness aan toevoegt. Maar dat het psychologische effect misschien wel is dat je ook minder mensen gaat vinden waar je niet terecht je controle hebt gedaan. En dat dat ook de mindset van misschien degene die die controle eens uitvoert wat verandert. Van hé, daar kan hier ook niet iets aan de hand zijn. En dat vind ik wel heel inspirerende voor. Ik wil zeggen dat is wel heel mooi, want het zorgt ervoor dat je kritisch moet blijven denken in plaats van maar aanneemt en daarop gaat acteren. Ja, dat is een mooie. Cool. Ja. Ja. Maar ik vind het echt zo'n mooi voorbeeld omdat we het heel vaak hebben over wat de fout gaat. Maar hiermee draai je hem eigenlijk om. Dat je zegt van ja, maar we zorgen er eigenlijk voor dat het doel wat je wil bereiken eigenlijk beter wordt en dat het ook eerlijker wordt. Ja, en dat moet ook het uitgangspunt zijn. Van hoe zorgen we nou dat we die hele AI transitie, dat we dat een menswaardige transitie maken. En als we alleen sturen op efficiëntie waar AI absoluut in uitblinkt. Dan ga je allerlei van dit soort aspecten missen die uiteindelijk wel voor ons heel bepalend zijn. Van wat is nou een toekomst waar wij in willen leven en waar onze kinderen in gaan leven. Dus dan wil je inderdaad dat dit soort dingen geborgd zijn. Dus het gaat niet per se over het voorkomen van alleen maar ellende. Maar het gaat erom hoe doen we dit zo goed en zo verantwoord mogelijk. Heb je ook andere inzichten gekregen in de jaren over de technologie zelf? Ja, al is het maar dat ik het beter ben gaan begrijpen. Want als je net begint met wat is AI? Dan kom je in een soort rabbit hole van supervised en unsupervised. En noem maar op alle technieken die eronder zitten. Dus ook over de technologie zelf. Maar vooral de beperkingen van de technologie. Want ik merk dat nog steeds in heel veel discussies. Dat wat AI niet kan is eigenlijk misschien wel belangrijker dan wat het wel kan. En het belangrijkste inzicht rond AI voor mij was dat AI uiteindelijk een voorspelmachine is. Dat het alleen maar werkt op basis van waarschijnlijkheden. En dat wat we geleerd hebben de afgelopen jaren is niet dat AI steeds intelligenter is geworden. Maar dat steeds meer problemen, voorspelproblemen blijken te zijn. Iets als autorijden, daarvan dachten we dat moet je als mens kunnen. Je kunt nooit al die verkeersregels en situaties inprogrammeren. Maar als je AI voldoende data geeft en het leert de patronen uit die data. Dan kan het met een waarschijnlijkheidsvoorspelling beslissen wat de beste keuze is. En dat het moet stoppen voor een rood licht. Taal leren. We dachten als je al die grammatica, zoals wij het ook op de middelbare school, moet je die grammatica aan de woorden stampen. En dan moet het goede zinnen maken. Als je AI gewoon heel veel data geeft van taal, dan kan het met een goede waarschijnlijkheid dat gaan voorspellen. En dat is super krachtig. Maar dat betekent dus ook dat er een heleboel aspecten missen. Omdat het maar steeds waarschijnlijkheidsberekeningen zijn. Dat was voor mij wel het belangrijkste inzicht om ook bijvoorbeeld het belang van ethiek goed neer te zetten. Van ja, het kan op basis van de keuzes uit het verleden allerlei waarschijnlijkheden berekenen. Maar zoals ik het zelf zeg, het kan ons niet vertellen hoe de wereld zou moeten zijn. Het kan ons vertellen hoe de wereld was, misschien hoe de wereld is, maar niet zoals het zou moeten zijn. Dat is een ethisch vraagstuk. We hebben van die reclames altijd gehad. Resultaten uit het verleden bieden geen garantie voor de toekomst. En dat moet je wel blijven onthouden bij deze technologie eigenlijk. Eigenlijk zouden we dat onder de podcast ook steeds moeten zetten. Als een soort van waarschuwing. Ja, grappig. Ik haal mezelf even uit de concentratie. Ik denk dat het wel eentje is wat je nu geleerd hebt. Het is een thema voor de droom. Ja. Zeker. We willen je even voorleggen van even zeg maar uit de ethiek. Gewoon, je mag vrijdenken van wat zou nou een droomsysteem voor jou zijn waar AI als technologie onder zit. En dat mag van alles zijn. En we geven je even wat nadenktijd. Heb je iets bedacht? Ik denk het wel. En dat is misschien niet zoals ik het uit de jingle opmaakte. Wat mijn leven heel veel beter of makkelijker gaat maken. Maar een droomsysteem voor mij, en dat is er al. Dat is door, volgens mij is Stanford ontwikkeld en in Zwitserland is dat getest. Dat is een systeem dat immigranten helpt bij de plaatsing binnen Zwitserland op basis van arbeidskansen. Ik vind dat een waanzinnig verhaal. Ja. Maar dat AI systeem helpt om te bepalen waar bepaalde capaciteiten of skills nodig zijn. En daar worden immigranten dan geplaatst. En je ziet dat de baankansen en dus ook de integratie gigantisch omhoog gaat op het moment dat ze op een plek komen waar ze meteen aan het werk kunnen. En waar het werk wat er is aansluit bij hun vaardigheden. En ik denk als we op die manier over AI gaan nadenken. Dus niet van wie gaan we wel en niet binnen laten. Maar hoe zorgen dat we dat slim doen. Slim laten aansluiten op de maatschappelijke vraagstukken die er zijn. Dat zijn droomsystemen. Dat je vanuit de maatschappelijke waarde geredeneerd kijkt naar hoe kunnen we hier win-win eigenlijk behalen. En zorgen dat we echt vooruitgang boeken. Welzijn verhogend. Ja. Wow. Ja. Dat klinkt als een droomsysteem inderdaad. Inderdaad. En dromen we de werkelijkheid. Want dan wordt er zo getest inderdaad. Ja. Nee. De resultaten zijn al binnen. Volgens mij is dit al een paar jaar een project wat draait. Ja. Je noemt het woord resultaten. Je zit in een commercieel bedrijf. Ja. Is er op de een of andere manier... Zijn er meetbare resultaten als je bezig gaat met ethiek? Die vraag krijg ik vaker. En ik begrijp de vraag. En ik denk dat ethiek... Ja. Hoe zeg ik dit? Ik denk dat ethiek... Je zult misschien als je wat metingen doet van zijn medewerkers trots op het bedrijf. Als ze weten dat we met ethiek bezig zijn. Je zult het daar ongetwijfeld in kunnen terugzien. Ik denk dat het meest wezenlijke resultaten zijn niet direct de meest meetbare. Maar dat ga je zien op het moment dat er bepaalde ethische dilemma's gaan spelen. Maatschappelijk bijvoorbeeld. En we gewoon veel beter in staat zijn om uit te leggen. Dit zijn de vraagstukken waar we voor staan. Dit is wat er speelt. Want uiteindelijk ethiek... De inzet van AI bij overheden, bij banken. Banken hebben vaak het idee dat het gaat over geld. Maar het gaat over vertrouwen. En vertrouwen win je denk ik door heel transparant te zijn over de vraagstukken waar je tegen aanloopt. De moeilijke keuzes die je soms moet maken. En de toelichting op waarom je bepaalde moeilijke keuzes maakt. En ik denk dat dat voor een overheid niet anders is. Dus je kunt dat misschien meten in een soort vertrouwencijfers. Maar ik denk dat je dat pas echt gaat zien op het moment dat er dit soort dilemmas gaan spelen. En je vanuit een soort kracht kunt zeggen van wij zijn hier al mee bezig. We hebben hier over nagedacht. Als we het anders moeten doen, dan stellen we het bij. Maar dit zijn onze overwegingen geweest om het op deze manier te doen. En ik denk dat dan heb je het meer over rechtvaardigheid dan ethiek. Ethiek gaat over hoe zorgen we dat we de goede keuze maken. Rechtvaardigheid vind ik veel belangrijker. Hoe zorgen we dat we mechanismes hebben om verkeerde keuzes te corrigeren. En daar zit denk ik de kracht van hoe we deze manier van ethiek operationaliseren hebben opgezet. Ja, het voelt als een soort van stille kracht. Die als er een dilemma plaatsvindt, echt pas de kracht naar boven komt. Ja, zo zie ik het zelf wel. Heel lang. Je kunt je het leven van een ethics officer voorstellen als vol met ingewikkelde. Verkeerde puzzels waar je mee aan de slag moet. Maar heel vaak is het saai en tedious werk waar je zorgt dat we snappen wat we aan het doen zijn. Dat we dat vastleggen. En het is lang niet allemaal spectaculair en spannend. Maar ik denk heel belangrijk dat we tot in detail hebben nagedacht over waar gaat het hier om. En hoe past dat bij onze waarde en de maatschappelijke waarde. Wat zou een tip zijn voor een luisteraar die nu denkt van ja, ik wil hiermee aan de slag. Ik wil bij mijn bedrijf wil ik ook beginnen. Wij zitten op level 1. Wat zou een tip zijn om mee te beginnen? Een aantal dingen die je zou kunnen doen. En dat is allereerst vindt gelijkgestemden in je organisatie. Heel vaak zien we dat het best wel gefragmenteerd is. Ja. En dat de meeste initiatieven bottom-up zijn. Dus dat mensen zeggen, jij vindt dit ook interessant. Laten we eens een keer een werkgroepje ervan maken. Of laten we een gezamenlijke boek lezen of weet ik veel. Zorg dat je die mensen vindt. En mijn advies is eigenlijk altijd, zet het op de agenda. Het gaat bijna dagelijks over innovatie, automatisering, AI. Kijk wat we nu doen. Neem daar een keer die ethische aspecten in mee. En dat kan gewoon zo simpel zijn als hebben we ook naar de ethiek gekeken. En wat ik merk is dat als het terugkomt, als het inslijt. Dat je op die manier eigenlijk een plekje gaat maken voor ethiek. En voor bewustzijn rond ethiek. En dat is ook een beetje de boodschap van het boek, van mijn onderzoek. Dit is niet iets wat we alleen bij ontwikkelaars moeten laten. Eigenlijk iedereen heeft een rol in het op de agenda zetten. Want iedereen speelt een rol in een organisatie. Is consument van een organisatie. Is burger. Absoluut. Bij de overheid. En op die manier, via al die routes, kun je dit onderwerp op de agenda krijgen. En kun je zorgen dat organisaties zich ook bewust zijn van het belang van verantwoorden AI. Ga je dat ook in je boek beschrijven? Wordt het een hulpmiddelboek? Hoe het boek in elkaar zit is drie delen. Het eerste deel gaat over wat is AI. Dat heb ik hier ook een beetje gezet. Het tweede deel gaat over de belangrijke ethische vragen die onder AI liggen. Dus hoe willen we invulling geven aan gelijkheid. En hoe willen we invulling geven aan onze vrijheden. Hoe beschermen we onze rechten. En het derde deel gaat helemaal over wat kunnen we doen. En dat zit op het niveau van de techniek. Dus wat kunnen ontwikkelaars doen. Dat zit op het niveau van de organisatie. En dat zit op het niveau van de samenleving. Wat zou je daar binnen kunnen doen om te zorgen dat de wortels waar al die organisaties achteraan rennen. Aan blijven sluiten bij wat we ook als maatschappij nodig hebben en belangrijk vinden. Mooi. Weet je al wanneer je boek uitkomt? In maart staat het gepland. En titel heb je die ook al? Ja. Onze kunstmatige toekomst. En de ondertitel is wat wij willen met AI en AI met ons. Oh kijk mooi. Als het boek uit is dan willen we je eigenlijk misschien wel weer terug uitnodigen. Om eens even wat dieper in te gaan op wat je daar dan geschreven hebt. Dat zou ik hartstikke leuk vinden. Ja dat spreken we sowieso af. Hartstikke bedankt. Allemaal nieuwe inzichten toch? Ja. En vooral weet je wat ik heel erg mooi vind aan het verhaal is toch dat jullie hebben gezegd weet je we zetten de ontwikkeling zetten we centraal. En daaromheen kijken we wat mogelijk is in plaats van onmogelijk. Ja. En wat ik meeneem is het begon bij ontwikkelaars, het eindig bij ontwikkelaars. Maar eigenlijk ieder binnen de organisatie kan hier voor opstaan en voor uitspreken en het belangen van kenbaar maken binnen zijn of haar werk binnen de organisatie. Ja. Mooi. Dank je wel Joris voor je deelname weer. Dank. Ja voor de uitnodiging. Ja. Nou leuk dat je weer luisterde naar deze aflevering. Nou je hebt gehoord hè. Het is ethiek belangrijk onderdeel. In ons kaartspel is dat een aparte categorie. En dan kan je met stellingen kan je met elkaar in ieder geval ook beginnen met discussiëren. En dan word je in ieder geval wijzer. En je kan heel makkelijk kan je hem bestellen. De link zit in de show notes. Dus klik er even op en tot de volgende keer. Tot de volgende keer. Tot de volgende keer. [Muziek]