Algoritmische vooroordelen: leren van een Nederlandse aanpak

Hoi, leuk dat je weer luistert naar een nieuwe aflevering van de AIToday Live. We hebben vandaag twee hele interessante gasten, Samaa Mohammad en Noëlle Cecilia. Mijn naam is Joop Snijder, CTO van Aigency. En mijn naam Niels Naglé, Chapter Lead Data & AI bij Info Support. Samaa en Noëlle, dank jullie wel dat jullie zijn gekomen. Zouden jullie willen introduceren voor de luisteraars? Dus we beginnen bij jou Samaa. Ja, ik ben Sama Mohammad. Ik ben 23 jaar. Ik heb een achtergrond in AI. Ik heb de bachelor gedaan in de Universiteit Utrecht. Ik heb er bewust voor gekozen om alleen een bachelor te doen. Omdat ik graag me wilde richten op AI ethiek. En ik merkte dat dat in de academische wereld eigenlijk niet heel erg ter aandacht kwam. Dus ik wil dat in de praktijk opzoeken. Na mijn bachelor heb ik de Dutch AI Ethics Community opgericht, om juist ook mensen te verbinden die zich, ja, die geïnteresseerd waren om erover te praten, over AI ethiek, want dat was ook niet echt een onderwerp waar de gemiddelde AI student over praatte. Dus de paar mensen die ik dan kende probeerde ik dan in de groep zelf te zetten te zetten om linkjes te delen voor events of papers of andere interessante dingen. En dat is heel snel uitgegroeid naar meer mensen, waar ook Noëlle snel bij is gekomen. Nu zijn we met 170 mensen. Echte community dus. En het is nu echt uitgegroeid tot een community van mensen die echt de urgentie voelen om meer te leren, meer te doen met AI-ethiek en zo ook van elkaar te leren. ook tijdens events die we maandelijks organiseren ook ervaringen uit te wisselen, kennis, perspectieven op bepaalde onderwerpen. Dus ja, er gebeurt heel veel. We zijn ook bezig om het tot een officiële stichting te vormen. Interessant, laten we daar zo even dieper op ingaan. Noëlla, zou jij je kunnen voorstellen? Ja, natuurlijk. Nou, ik ben Noëlla Sicilia. Ik Ik heb een achtergrond in data science ook. Ik heb een bachelor gedaan, master gedaan en ik doe op dit moment een engineering doctorate, dat is een postmaster, ook in data science. En daar doe ik onderzoek naar algorithmic fairness. En daarnaast heb ik een bedrijf, Brush AI. Wij bieden responsible AI consultancy. Dus we helpen bedrijven om AI te implementeren, maar dan met een focus meer op ethiek. En ik doe mijn onderzoek over algorithmic fairness dus ook binnen het bedrijf. om te kijken van, nou ja, hoe kunnen we dat in de praktijk brengen? Hebben mensen daar ook echt iets aan? Ja, ik vind het een super tof onderwerp. Ik kan er echt uren over praten, dus ik ga er niet veel aan beginnen. - Heel goed. - En nou ja, ik ken Sama dus van de AI Ethics Community. Ja, ik denk nu anderhalf jaar ongeveer. - Ja. - En zij heeft mij ook hier geïntroduceerd tot deze podcast. En dat vind ik super leuk. - Ja, leuk dat jullie dit samen doen. - Ja. En die ethics community, want je zei van ja ik wilde dat gaan oprichten, er was weinig aandacht voor. Hoe merkte je dat, dat er weinig aandacht voor was? Dat is een goede vraag. Het was rondom mijn eerste, tweede jaar dat ik naar events ging buiten de universiteit om meer te leren over de impact van AI in de praktijk. en een van de lectures die ik tegenkwam was van Senné over bias. Maar ik merkte dat ik daar eigenlijk een van de weinige studenten was die daar aanwezig was. En keer op keer bij dat soort events viel het me dus op dat als ik hier over praatte met mijn medestudenten, dat ik eigenlijk altijd moest uitleggen wat bias inhield. En als ik ook aan een gemiddelde AI-student vroeg van... wat weet je eigenlijk over bias of explainability... of andere typische onderwerpen binnen AI-ethics... dan hadden ze niet echt een antwoord. En ook de vraag van, oké, maar wil je hierover leren... had ik ook vaak de antwoord terug van, nee, klinkt niet heel erg interessant. Oké, oeh, dat is spannend. Ja, dus... Maar ik hoop dat dit sindsdien, dat het nu inmiddels wel wat veranderd is... nu mensen ook meer bewust zijn voor wat zijn de toeslagen al verre, tja tjee piti, andere schandalen die zijn ontstaan. Maar toen ik dus om me heen dus aan het zoeken was naar contact over dit onderwerp, kwam ik dus niet echt veel mensen tegen. En blijkt dat dit ook op meerdere universiteiten het geval is. Je zei van je hebt nu een community opgebouwd van zo'n plus minus 170 personen. Kan je daar inzicht in geven wat voor type personen dat zijn? Om een beetje te duiden wie interesse heeft in ethiek. Nou, schijnbaar dus wel heel veel studenten. Dus ik had het eigenlijk compleet mis. Dus dat is echt gewoon een stukje zichtbaarheid. Gewoon laten zien van AI-ethiek is een onderwerp waar je het over kan hebben. En het is voor iedereen, dus het is niet abstract. De mensen die erin zitten zijn, de mensen die aan het afstuderen zijn, veel masters, er zijn ook mensen die net zijn afgestudeerd en op zoek zijn naar een baan of net begonnen zijn. Maar er zitten ook mensen in zoals Marijn en Mark, die hier ook zijn geweest bij de podcast. Die zitten er ook in en die hebben natuurlijk al lange werkervaring. Dus het is een hele mengelmoes van verschillende mensen. En daarin heb je ook mensen die researchen, die zelfs onderwijs geven. Je hebt allerlei verschillende soorten mensen in de community. En het grappige is dat door de zichtbaarheid van de Dutchy Ethics Community ook naar studenten toe, zijn zelfs eerstejaars geïnteresseerd om hier meer over te leren. Dus dat alleen al is gewoon heel fijn. Dat stukje bewustzijn, daarmee doet het ook. Ja, en zitten er ook mensen vanuit het bedrijfsleven nog veel meer bij? Want ik hoor vooral studenten, masters en... Ja, dus de mensen die dus net aan het werk zijn, die zijn er dus vanuit het bedrijfsleven. En ook steeds meer mensen die al dus lange werkervaring hebben. Het is nog steeds wel een minderheid, maar ik probeer ook wel goed te balanceren, zodat de jongere generatie ook kan leren van de mensen in het bedrijfsleven. En andersom. Maar ik denk dat de maximale leeftijd op dit moment ligt rond de 35/40. Maar het hoeft niet de maximale leeftijd te zijn. Het is net de doelgroep die wij bereiken op dit moment. Noëlle, wat was voor jou de reden om je aan te sluiten bij deze community? Ik was toen ongeveer een jaar bezig met Brush. En toen wij startten met Brush, wat jij ook zei, ongeveer twee jaar geleden, was er niet heel veel aandacht voor dit onderwerp. Ik denk dat het wel een beetje begon te borrelen, want het was een beetje ten tijde van de toeslagenaffaire. En ik had ook gewoon zoiets van, nou, ik wil gewoon mensen ontmoeten die dit ook een tof onderwerp vinden. Wat jij ook zei, ik heb toevallig wel een AI/ethiek vak gehad, ook in mijn master al. Wat ik heel erg merkte, is dat heel veel mensen dat een beetje als een moedje zien. En wat een beetje het probleem is, denk ik, is dat... Kijk, ik vind ethiek zelf heel interessant. Ik heb ook bijvoorbeeld een minor filosofie gedaan, dus ik was wel bekend met dit soort materie. Maar voor heel veel, dit is een beetje gechargeerd, maar voor veel technische studenten is het toch een beetje een ver van je bachelor. Dan moet je ineens gaan leren over Kant en Descartes. En dat is toch wel iets heel anders dan neurale netwerken, zeg maar. Dus ja, je merkt gewoon dat veel mensen zeiden van ja, dit is niet helemaal mijn pakkie aan. En ja, weet je, is dit wel mijn verantwoordelijkheid? Ik ben gewoon data scientist, waarom moet ik me ineens met ethiek gaan bezighouden? Dus ik merkte dat er niet heel veel interesse was. Dus ik vond het juist leuk om me bij een community aan te sluiten... waar mensen wel het nut daarvan inzagen. Terwijl uiteindelijk moet het helemaal doordruppelen tot aan de techniek, toch? Ik vind het zo, zeker ook. Daarom ben ik zelf dus nu ook met de technische kant ervan bezig. Want ik denk zeker dat ook vanuit de technische kant is dit onderwerp super interessant. En kan je er vet veel van leren. En ik denk ook los van bijvoorbeeld dingen als explainability of fairness, dat wordt dan vaak als een soort van AI-ethiek gezien. Los van dat die heel nuttig zijn voor ethiek, maak je denk ik ook gewoon echt betere algoritme als je dit soort technieken toepast. Dus het is ook inhoudelijk gewoon heel vet. En dat zien mensen gewoon niet echt. En heel uitdagend hè. Oh, sorry. Echt heel uitdagend. Want het valt nog niet mee om een blackbox te openen, Of nog mooier, daar hebben wij bijvoorbeeld allerlei onderzoeken op gelopen. Je zegt van, je begint gewoon met interpreteerbare modellen. En dat is super uitdagend, super technisch uitdagend. Dus zelfs voor technische mensen kan het een waanzinnig onderwerp zijn om je er juist in te verdiepen. Ja, inderdaad. En dat zien mensen nu niet zo. Die denken, oh dan moet ik allerlei frameworks gaan lezen van 60 pagina's. Maar dat hoeft helemaal niet. wel nuttig, maar dat is niet het enige wat dit onderwerp inhoudt. En wat ik ook grappig vind is wat je zei over jouw ethiek vak, dat het inging op Kant en Descartes en al die theoretische filosofen, weet je wel. Maar ik denk ook dat veel technische studenten vergeten dat je dat ook, nou ja, op de universiteit leer je daar dan op een theoretische manier over nadenken, maar dat dat ook op de praktijk eigenlijk kan toepassen. Dus bijvoorbeeld het klassieke voorbeeld is de trolleyproblemen. Ja, die zocht ik inderdaad. Het klinkt heel erg abstract als je erover nadenkt. Het is een gedachtexperiment, maar eigenlijk kan je dat ook nu al in de praktijk toepassen. Met bijvoorbeeld geautomatiseerde voertuigen. Dus alleen al dat. Ik zou dat in ieder geval heel vet vinden om daarover na te kunnen denken als ik aan zoiets wou. Ja, ik moet wel even een shout-out geven naar mijn docent, want die deed dat dus wel heel goed. Daar gingen we meteen ook toepassingen uit de praktijk, inderdaad, zoals zelfrijdende auto's. Maar ja, maar toch lijkt dat een soort van, oh ja, maar ik werk toch niet bij Tesla of Uber. Dus ja, dat is echt fijn. Ja, en wat was dan het antwoord? Nou ja, ik denk dat er bij Asic nooit een antwoord is. Het gaat natuurlijk altijd om de discussie. Maar wat wel een beetje de conclusie is, is dat bijvoorbeeld het trolleyproblem, ik weet niet of iedereen bekend is met het... - Nou, voor onze luisteraars is het wel goed om dat even uit te leggen. - Het trolleyproblem is zeg maar dat je een trein hebt, en je hebt een soort van twee sporen, en op het ene spoor ligt één persoon, en op het andere spoor liggen bijvoorbeeld vier personen, en hij gaat nu richting die vier personen, en jij staat bij een soort hendel, En als je die hendel omdraait, dan kan je er dus voor zorgen dat er maar één persoon wordt aangereden in plaats van vier personen. En het trolleyproblem vraagt dan eigenlijk van, is het oké dat jij gaat ingrijpen, zeg maar, en wat is dan goed? En nou ja, vanuit een bepaald perspectief zeggen sommige mensen van, oh nee, je moet het van het lot af laten hangen, terwijl anderen zeggen, nee, je wil zoveel mogelijk levens redden. En dat is natuurlijk naar zelfrijdende auto's heel goed te vertalen. En daar is ook onderzoek naar gedaan. Als je in verschillende landen zo'n soort situatie voorlegt... in de context van zelfrijdende auto's... dat in verschillende continenten of culturen mensen daar heel anders op reageren. Dus dan stellen ze bijvoorbeeld vragen van... Wil je de ouderen redden of wil je de businessman redden of wil je het kind redden? En in sommige culturen hechten mensen heel veel waarde aan status bijvoorbeeld. dan zeggen ze altijd de businessmen redden. Bijvoorbeeld in Azië hechten mensen veel waarde aan ouderen, die hebben daar veel status, dus dan zeggen ze nee, je moet altijd de ouderen redden. En dat laat dus eigenlijk zien dat iets als ethiek is ook heel erg cultuurafhankelijk. Dus de discussie daar rondom is eigenlijk, wie bepaalt dan uiteindelijk hoe zo'n zelfrijdende auto dan moet of mag reageren? En moeten we dat dan afhankelijk maken van de verschillende landen? Dat is de discussie. Ja en als je dat naar een meer, zeg maar, dichter bij huis denk ik wil brengen, want om erover te filosoferen is het fijn om over leven en dood te praten, want dat maakt het dilemma zo lekker duidelijk. Maar we hebben natuurlijk ook gewoon ervaring met modellen die bijvoorbeeld bijstandsfraude opsporen. Dan hebben we het niet over leven en dood, maar grap je wel op de leefsfeer van mensen, dan heb je eigenlijk met dezelfde problematiek te maken, toch? Wie wil je raken, wie niet, hoe eerlijk is het? Komen dat soort dingen dan ook aan bod? Nou ja, ik vind wel dat die aan bod zouden moeten komen. Omdat bijvoorbeeld bij bijstandsfraude begint het natuurlijk bij de vraag wat zien we als een fraudeur. Is het oké om bepaalde features mee te nemen of niet? En daar, ik moet wel eens bijvoorbeeld presentaties geven ofzo, geef ik ook altijd dit voorbeeld. En dan zie je ook dat mensen daar totaal anders op reageren. Sommige mensen zeggen ja, maar mensen met een migratieachtergrond, die frauderen nou eenmaal ook meer. Weet je? Nou ja, wat ik daarvan vind laat ik het niet meer. Maar... - Aannames. Ja, precies. Dus zeg maar, ik denk toen in het... Ik denk dat dit wel een onderwerp is wat ook in de AI-ethics community prima aan bod zou kunnen komen. Het is ook belangrijk om die discussie te voeren, denk ik. Omdat ik denk wat een beetje het gevaar is als je dit soort discussies niet voert. Dan gaan iemand zijn persoonlijke waarden zijplen eigenlijk door in de technologie. Terwijl als je de discussie wel voert, dan kan je samen tot een soort consensus komen. Van oké, wat vinden wij oké en wat vinden we niet oké. En wat willen we in de technologie laten, ja, naar voren laten komen. Ja, want uiteindelijk gaat het over morele acceptatie. Ja, precies. Ik denk dat we nu heel vaak niet eens weten... welke waarden een soort van geëmbedd zijn in de technologie. Terwijl als we daar wel actief mee bezig zijn, dan weten we het ook... en dan kunnen we ook beter ingrijpen als het misgaat... omdat we weten welke keuzes er gemaakt zijn. Vraagde je mij dat ik opoppe. Hoe kunnen we daar met elkaar stappen in zetten... om dat meer op tafel te krijgen? Je bedoelt... Dat we het hierover gaan hebben, dat we hierna gaan kijken... dat mensen er besef van hebben dat hierover nagedacht moet worden. Wat voor stappen kunnen we daar in de praktijk voor zetten om die discussie... Kom bij de Yayetic community. Ja, we hebben bij elk event, ik kan wel even uitleggen hoe zo'n event er bij ons uitziet. Tot nu toe hebben we drinks and talks georganiseerd, waarbij dan iemand van de community wordt uitgenodigd om een talk te geven over een onderwerp binnen Yayetic, waar ze dan gepassioneerd over zijn. Dus dat kan... Vorige keer was dat social bias in algoritmes. Andere keren zijn dat AI sustainability geweest, of het risico van AGI. Er zijn heel veel soorten onderwerpen geweest waar mensen over hebben gepraat. Maar het hoogtepunt van de avond zijn altijd de discussies. Want daar wordt echt de beeldvorming gevormd, of de meningen gevormd van mensen rondom die uitdagingen. Want ook mensen die helemaal geen kennis hadden van dat onderwerp, die komen ertoe en die vormen dan hun eigen mening door juist die discussie en die perspectieven en ervaring uitwisselingen van mensen. Dus dat vind ik heel interessant. En ik denk dat mensen daardoor ook steeds bewuster worden van wat voor aspecten er allemaal bij komen bij het nadenken over ethiek. En ik denk als je dan naar zo'n avond komt... Ja, ik ben even kwijt wat ik wil zeggen. Dat kan je uitleggen. Nou, ik hoorde een uitnodiging. Ja, inderdaad. Laten we daar eens mee beginnen. Ik zou het wel leuk vinden om een keer daadwerkelijk over Explainedemol Eaier te komen vertellen. Niet alleen dat ik daar veel van weet, maar ik vind er ook heel veel van. Ik ben heel benieuwd. Dus in die zin zou ik de uitnodiging wel willen aannemen. Ja, wees welkom. Ja, nou leuk. Dat hebben we alvast geregeld. Waar een podcast niet goed voor is, toch? Ja, inderdaad. Ik heb er misschien nog wel wat aan toe te voegen. Ik denk wat ook belangrijk is om dit soort discussies te voeren... is om ze vanaf het begin te voeren. Dus niet denken van, oh, we implementeren mooi een model... en dan gaan we eens nadenken van, goh, wat zijn hier eigenlijk de implicaties van? Ik denk dat, in ieder geval dat vinden wij met mijn bedrijf, dat je vanaf het begin al over dit soort dingen moet nadenken. En vanaf het begin al deze discussie voert. En het liefst ook interdisciplinair. Dus niet alleen met data scientist, maar ook met de mensen die uiteindelijk beïnvloed worden door dit product. Ja, dus het is een brede gebruikers, een brede groep. Dus niet alleen de mensen die het bouwen, maar ook de mensen die over de beslissingen gaan, maar ook die geraakt worden door de beslissing erbij te betrekken. En als je hen niet persoonlijk erbij kan betrekken, gewoon eens nadenken van... oké, wat zou ik doen als ik in die situatie zat? Of wat kunnen hun interests zijn? Ja, want daar dacht ik natuurlijk meteen aan. Als we het hebben over die bijstandsfraude, dan ga je het als model bouwen... ga je niet met bijstandsfraudeurs praten. Dus je moet wel... Iemand die dus de mensen die AI effect goed representeren. Representeren in de groep mensen waarmee je dit bouwt. Dus niet alleen maar met je stakeholders praten voordat je dit gaat bouwen, maar ook de teams die dit bouwen ook zo divers mogelijk maken. Als iemand nou hiernaar luistert en die denkt van ja ik moet hier iets mee. Waar begint diegene? Die komt naar mijn bedrijf. Dat is nood. Nou ja, ik denk waar begin je mee? Je bedoelt met zo van ik wil iets met AI/AT, waar begin ik? Ik denk dat de makkelijkste manier om te beginnen is je verdiepen in de frameworks die er zijn. En welke zou je als eerste aanbevelen? die van de Europese Commissie. Dat is een vrij gangbaar AI-ethiek framework. Ik zou niet het hele, ja dat is misschien niet heel nice van mij om te zeggen, maar ik zou niet het hele boekwerk gaan lezen, maar als je de grote lijnen, ze hebben een soort samenvattingen ook, dan kan je gewoon kijken van oké, wat zijn dingen waar ik op moet letten? Dan zou ik gaan nadenken van hoe kunnen wij dit een soort van gaan inzetten, een soort van vertalen naar ons proces, zeg maar. En dan gaan nadenken van, oké, wat gaan we aan de techniek kant doen om hier iets mee te doen. Dat is hoe ik er naar kijk. Dat is heel simplistisch wel. Nee, maar je moet ergens beginnen. Dat is het belangrijkste. En nog een kleine aanvulling erop. Bij de techniek beginnen we vaak over degene die het bouwen inderdaad. Maar ik denk dat het proces ook wel het belangrijkste is. Hoe ga je het proces hierom, van idee tot daadwerkelijke implementatie, ondersteunen? en daar ethiek in design meenemen, dus ethics by design. Net zoals dat we privacy by design doen en security by design. Is dit ook iets wat gewoon daar al een onderdeel van het proces hoort zijn, inderdaad. Ja, en ik denk ook hoe ga je de data scientist of machine learning engineers, of hoe je ze ook wilt noemen, hoe ga je iedereen enthousiasmeren om met dit onderwerp aan de gang te gaan? Want ik denk dat wat heel belangrijk is, is dat het een beetje tastbaar wordt. Wat wij bijvoorbeeld hebben gedaan binnen ons bedrijf, hebben gewoon van die ethiek frameworks gepakt en kijk kunnen we die over de Crispy M-Cycle leggen want dat is iets wat waar we allemaal mee bekend zijn of wat tot de voorbeelding spreekt. Maar dat is wel vanuit de technische kant, terwijl ja ik denk soms ook wel van je met die die ethiek moet eigenlijk beginnen juist bij de business, dat die als het ware eisen dat het ethisch verantwoord is en dat je daar begint met de discussie want dan leg je ook een soort van requirements niet waar je zou moeten voldoen. Maar de eerste stap van het Krusty M-cycle is ook business understanding. Ja dat is waar. Ik zou zeggen focus inderdaad niet alleen maar op de techniek maar ook op de governance. Dat is een hele logische natuurlijk maar ook op de cultuur. De cultuur van het bedrijf bepaalt eigenlijk ook hoe beslissingen worden gemaakt. Stel dat een algoritme bepaalde beslissingen wil automatiseren voor dat bedrijf, dan baseert dat zich op historische data van beslissingen. En stel dat die beslissingen misschien biased zijn, voor een exempel met toeslagen, dan wil je juist ook de cultuur aanpakken, want dat is denk ik de absolute bron. Net als bijvoorbeeld het gesprek over diversiteit en inclusie. Dat is nooit af, maar dat begint wel echt met de inherente cultuurverandering. Precies. Je kan niet symptoombestrijding gaan doen. Nee, je hebt gelijk. En anders ga je je problemen eigenlijk toeschuiven naar het algoritme. En naar de data scientist die er misschien vanuit zijn technische blik toch iets minder mee heeft. Precies. Die kan ook maar 1% van het hele probleem oplossen. Soms ligt het probleem eigenlijk toch wel eerder bij de mensheid. Misschien voor beide een hele moeilijke vraag hoor. Dus als je het antwoord niet hebt, is het niet erg. Maar heb je ergens, of kun je iets vertellen zonder het specifieke voorbeeld te noemen, waar het juist heel goed is gegaan, waar we dat tegenkomen? Hier hebben ze die ethics by design typisch goed opgepakt. Ja, ik weet wel een voorbeeld. Ik weet niet eens goed of ik ze mag noemen. Ja maar dan mag je het ook algemeen houden. Oké, het is een gemeente in Nederland en ik vind dat zij echt heel goed bezig zijn. Ze hebben een algoritmeregister, volgens mij werken zij ook met een soort ethiek. Ja, een soort ethiek orgaan wat elke keer de data scientist controleert. Ze zijn super transparant dus over welke algoritme ze allemaal in productie hebben. Zij zijn er echt actief mee bezig. Ik weet nog dat ik ooit een keer met een van hen heb gesproken, dat ik daarna echt zoveel energie had, want ik dacht, oh my god, het is wel gewoon mogelijk. Je hoort heel vaak dat het voor heel veel mensen toch nog een beetje als gedoe of iets wat vertraagt. Als gemeente heb je natuurlijk ook gewoon veel verantwoordelijkheid, maar zij dragen dat ook echt in. Ze hebben ook die verantwoordelijkheid genomen. Volgens mij zit daar ook wel de crux, dat stukje verantwoordelijk voelen en verantwoordelijkheid nemen. op dit onderwerp. Ja, want ik denk dat dat nu heel vaak het probleem is, is dat het niet helemaal duidelijk is wie ons verantwoordelijkheid dit is. Is het de verantwoordelijkheid van de business? Is het de verantwoordelijkheid van de techniek? Is het de verantwoordelijkheid van de overheid? Gaan we pas iets doen als er wetgeving is? Dat is wat je nu een beetje ziet en dat is jammer. En er zijn dus organisaties die die verantwoordelijkheid wel heel duidelijk voelen. En daar ben ik heel blij mee dat jullie er zijn. Ik vind het gewoon mooi, het zijn pioniers. Ja. Voor mij, ja, er komt niet echt 1, 2, 3 iets op, maar waar ik wel aan moet denken is Foodpunch AI. Zij organiseren in samenwerking met het bedrijf allemaal challenges voor AI for Good. Het zijn allemaal challenges als AI inzetten om stroopers te kunnen detecteren. Dat soort challenges om sociale of maatschappelijke impact te maken. Mooi. En zij doen dit dan ook in samenwerking met data scientists die dit vak willen leren, door middel dus van challenges. Oh ja. En zij hebben dan ook wel eens lectures die ze dan geven als onderdeel van de trainingen. En wat zij dan heel goed doen is onderwerpen als algorithmic bias meenemen. Dus echt die data scientists dat ook echt meegeven van, denk hier alsjeblieft aan en zo kan je dat doen. En zo kan je dat ook meten. Ik weet verder niet zo goed hoe zij dit verder technisch oppakken. En of zij dit ook meegeven aan de bedrijven waarmee ze dan samenwerken. Maar ik vind dat al echt gewoon een hele goede stap. Dus het meegeven in het stukje educatie, wat toen universiteiten nog niet eens echt... of hoe AI voor het goede werkt, is natuurlijk al heel zwaar. Zeker, zeker. Lijken me twee mooie voorbeelden van hoe het wel kan. Dank jullie wel. We zullen de linkjes ook opnemen in de show notes. Dan kunnen mensen daar ook naar kijken. Hoe noemde jij hem nou? Fruitpunch.ai Fruitpunch.ai zullen we opnemen. Dus dank jullie wel. Dankjewel Sama en Noëlle voor deze interessante discussie over ethiek. Abonneer je via je podcast app en mis geen enkele aflevering daardoor. Hopelijk tot de volgende keer en dankjewel voor het luisteren.