Een algoritme voor de liefde, maar dan eerlijk - Met Thomas Crul

Hoi, leuk dat je weer luistert naar een nieuwe aflevering van AIToday Live. Mijn naam Joop Snijder, CTO bij Aigency. Mijn naam Niels Naglé, Area Lead Data & AI bij Info Support. En vandaag een hele bijzondere gast, Thomas Crul. Thomas, welkom en fijn dat je bij ons in de studio wil zijn. We hebben straks een... - Hartelijk bedankt Thomas. Ja, graag gedaan. Ik ben heel benieuwd naar je verhaal, want je hebt namelijk nogal een verhaal. Je bent naar het College van de Rechten van de Mensen zelf gestapt om je eigen applicatie te toetsen. - Klopt. Dus daar gaan we het vandaag over hebben. Maar voordat we daarmee beginnen, zou je jezelf eerst aan de luisteraars willen voorstellen? - Ja. Ik ben Thomas Crul. Ik werk nu sinds augustus van 2022 voor Breeze, de dating app. En daarvoor heb ik mijn bachelor in computer science en engineering in Delft vervolgd. Dat geldt in mijn achtergrond. We hadden het veel over juridische dingen en soms ook filosofische dingen hebben. Dat is een beetje een disclaimer dat mijn achtergrond vooral technisch is. En ik ben nu een beetje wijs proberen te maken in andere velden. - Ja, en misschien denkt het luisteraar dat het een dating app is. Ik zit toch naar een AI-podcast te luisteren. Wat heeft een dating app met AI te maken? - Nou, best wel heel veel. Ik ben in Breeze in het matchmaking team, wat eigenlijk betekent dat ik aan het volledige systeem werk wat bepaalt wie welke profielen te zien krijgt. Nou, dat is natuurlijk eigenlijk een recommender system. En met alle haken en oren van die, dus zeker veel AI hebben we ernaartoe te passen. - Ja, en dat is volgens mij ook de reden waarom jullie naar het college van de rechten van de mens zijn gestart. Omdat je die AI wilde laten toetsen, toch? - Ja, klopt. We hebben het vermoeden dat ons AI of ons recommender system, ons algoritme, discriminerend gedrag kan vertonen. En daar willen we wat aan doen, logischerwijs. Alleen de vraag was of we hier wat aan zouden mogen doen. Want je zou het ook kunnen zien als positieve discriminatie. Nou, daar zullen we zo meteen verder dieper op induiken. Maar kort door de bocht is dat wat we hebben gevraagd aan het college van de mens. Stel dat ons algoritme discriminerend gedrag vertoont, mogen wij daar maatregelen tegen treffen en zouden we niet in strijd zijn met de gelijkhandelingswetgeving. - En hoe zijn jullie er zo opgekomen? Want het is best wel bijzonder dat je zelf als bedrijf dit bent gaan doen. - Ja, nou het begon in november 2022 was dat, dus ik werkte nog niet heel lang. Maar toen was het matchmaking team nog maar twee man sterk. Ondertussen hebben we een nieuwe aanwinst er bij, dus dat is wel heel leuk. Maar Daan, een van de co-founders van Breeze, die liet een paper aan me zien van de Rijksuniversiteit Groningen. En die hadden onderzoek gedaan naar het online date gedrag van Europeanen op dating apps. En daar hebben ze gekeken wat de voorkeuren zijn op basis van etniciteit van een potentiële partner. Gegeven ook de etniciteit van degene die de beslissingen maakt, zeg maar. En daar kwamen twee uitkomsten eigenlijk uit. De grootste is dat er een globale voorkeur was naar mensen van Europese afkomst. Dus een beetje kort door de bocht mensen met wit huidkleur. En daarbij was er nog een ander effect. En dat was geloof ik niet alleen onderling, dus ook mensen van kleur wilden dan toch... Ongeacht de etniciteit van degene die de profielen beoordeelde, was er een globaal vooroordeel van voorkeur naar mensen van een wel Europese achtergrond. Dus dat was ongeacht in die tijd. En dan was er ook nog een ander, iets minder sterk effect, was dat de same ethnicity bias, dus eigenlijk dat mensen van in die tijd, een potentiële partner van diezelfde etniciteit een voorkeur gaven. Maar dat was wel een stuk minder sterk dan de voorkeur naar Europese kandidaten. En toen kreeg je die paper onder ogen. En toen? En dan is het vrij snel doorredeneren van, oké, dit ging dan... Nederland was onderzocht in die paper, dus dat zal ook over onze gebruikersbasis gaan. We zijn een dating-app in Europa, 1+1=2. Dus dat zal voor onze gebruikersbasis tellen. En we hebben het vermoeden dat we een vrij homogene gebruikersbasis hebben. Ik zeg vermoeden omdat de AFWG ons niet toestaat om daar echt data over te hebben. Maar meer daarover zo meteen. Maar hoe we dat vermoeden komen, is enerzijds feedback van de gebruikers. Dus we doen een survey om te kijken hoe de product market fit is, elke kwartaal. En dan zeggen we, hé, wat vind je goed, wat kan er beter? En dan gaven sommige mensen gaven aan van, nou, de diversiteit kan wel eens beter in de profielen die ik getoond heb. Dus nou, oké, dat ziet er goed teken in ieder geval. Ja, is wel een signaal. Ja, zeker. Dus enerzijds kwam het van de gebruikers, anderzijds checken we alle profielen die op de app komen om te zorgen dat er geen aanstootgevende content op staat of nep profielen, of weet ik het allemaal. Dus dan zie je een soort van snapshot. Ik heb daar een paar keer mee gekeken. En dan krijg je een soort van gevoel voor wat er op de app komt. En dat was wel voornamelijk Europees in de context van die paper. Ja, precies. Dus als je die twee dan combineert, dan eigenlijk heel kort door de bocht zou je kunnen concluderen dat onze gebruikersbasis zichzelf heel leuk vindt. Ja, mensen die homogene of homogene die dominante cultuur passen, dat die niet echt in smaak vallen. Die niet zo gek zijn. Maar goed, dan constateer je dat. Dan is het nog steeds best wel een stap om dan zelf het initiatief te nemen naar het college te op te stappen. Ja, klopt. Wat heeft u daar toe gezet? Nou, dat onze gebruikers voorkeuren hebben, dat is natuurlijk niet gek. En ook zeker in het context van dating mag dat ook gewoon. Iedereen mag gewoon zelf zeggen zijn voorkeuren binnen de date-sfeer. Maar ja, dan komen we dus bij ons algoritme terecht. Wij trainen ons data op het like-gedrag van onze gebruikers. We trainen ons algoritme op het like-gedrag. En doordat die vooroordelen in de like-data zitten, zitten die vooroordelen ook in ons algoritme en ook in de voorstellen die het algoritme maakt. Dus daarom zijn we bang dat ons algoritme die bestaande vooroordelen versterkt. Dus dat ze er zijn, daar kunnen we nog niet zoveel aan doen, denk ik. Zeker niet met onze schaal. Misschien als je zo ongelooflijk groot bent, zou je wel wat meer vinger in de pap kunnen hebben. Dus we kunnen er niet echt iets aan doen dat ze er zijn, maar we kunnen er wel iets aan doen. Je wil geen zelfversterkend effect in ieder geval veroorzaken. Precies. En daar denk ik wel, die verantwoordelijkheid ligt wel echt bij ons. Bij wie anders? Wij maken het algoritme en niemand anders kan er wat aan doen. Dus dat ons algoritme die vooroordelen versterkt, dat vinden we wel problematisch. En daar willen we in ieder geval wat aan doen. En heb je die stap gezet? Wat gebeurt er dan? Je hebt het aangemeld? Ja, het was eerst gewoon, het was vrij snel, het was de conclusie van ons. We willen er wat aan doen. Het is natuurlijk een heel moeilijk gebied. Je hebt cancel culture, weet ik het allemaal. De bedoelingen zijn goed, maar uiteindelijk kan er misschien, in een headline staat er 'breeze' en 'discriminatie'. Doodeng. Dus we willen eigenlijk een beetje zekerheid inbouwen. Dus daarom eigenlijk zoeken, we willen een expert opinion met of we hier wat aan mogen doen, zodat we later kunnen zeggen, we hebben het van tevoren gecheckt, het is een beetje een grijs gebied waar we mee bezig zijn, maar onze bedoelingen zijn goed en we hebben deze mensen die zeggen dat het goed is. Dus we willen eigenlijk een beetje zekerheid inbouwen. En dat is ook een van de dingen die we willen doen. Misschien kan je wat vertellen over de samenstelling van het publiek dat opkwam. Misschien kan je wat vertellen over de samenstelling van het publiek dat opkwam. Dat had volgens mij heel veel invloed op de uitkomst. Ik heb de mensen die met mij in contact zijn gekomen sinds de LinkedIn-post heb ik uitgenodigd. Het grotendeels kwam van hen. Het waren technische mensen, AI, software engineering. Het waren studenten, professionals. Het was een heel breed scala aan publiek. Het was een heel breed scale aan publiek. Toen er tijd waren we twee witte mannen binnen het matchmaking team van Breeze. Nu zijn we drie witte mannen. Dus daar gaan we de diversiteitsoorlog niet mee winnen. Mooi. We hebben ook een virtuele co-host. Zij wil ook altijd een vraag stellen. Leuk. Ik hoop dat je je welkom voelt. Ik ben Aisha. De AI van deze podcast. Zou je het erg vinden als ik je een vraag stel? Helemaal niet. Als je een AI elke taak perfect zou kunnen laten uitvoeren, welke taak zou je dan kiezen? Een AI elke taak perfect zou kunnen laten uitvoeren? Is het alleen maar digitaal of kunnen we ook fysiek? Het mag van alles zijn. Het is jouw antwoord. Ik zat er laatst over te denken. Met mijn vriendin ook. Dat het wel echt heel fijn zou zijn als al je kleding gewoon altijd gewassen en gestreken was. Ik zou dan denk ik ook veel mooiere kleding dragen. Want ik heb het nu gewoon heel praktisch. Dan kan je gewoon lekker wassen, uithangen en dan is het gefixt. Maar ik denk dat dat wel echt heel fijn zou zijn. Ik zag laatst op Twitter, X moet je tegenwoordig zeggen. Ik zag een hele mooie dat iemand zei van, AI kan nu dingen voor mij schrijven en kunstvormen maken. Maar eigenlijk wil ik dat hij de was doet en de afwas doet. Dat soort dingen. Zodat ik tijd overhoud om te schrijven en kunst te maken. In plaats van dat de AI dingen voor jou doet. Ze pakken nu de leuke dingen weg. Dat je alleen maar tijd overhoudt voor de was. Dus ik vond dat eigenlijk wel een hele mooie. Misschien zitten we ook wel eens af en toe een beetje aan de verkeerde kant te zoeken. Ja, heel veel praktische dingen lijken me gewoon heel fijn. Het is niet eens hetgeen waar ik aan zat te denken. Ik vond het wel heel mooi. Ja, eigenlijk heb je helemaal gelijk. Waarom fokken we ons daar niet aan? Waar dacht jij meteen aan? Waar we het net over hadden is die discriminatie en zo. Met een knop wegdraaien en dat probleem eigenlijk oplossen. Daar zat ik aan te denken. Maar dat is meer omdat ik in die mode zat. Maar ik vond het wel heel mooi. Misschien zit ik wel klein te denken. In principe zou ik ook kunnen zeggen wereldproblemen oplossen. Dat was wel het eerste wat bij me binnenkwam. Nou, met een huishouden vind ik wel een wereldprobleem. Nee, dat is niet het zekerste. Het geeft wel gewoon heel veel ruimte. Ik kan me moeilijk voorstellen dat in de AI je diversiteit op zou kunnen lossen. Daar heb ik een beetje hardhoofd in. Dat is en blijft echt een menselijk ding. Ik waardeer de tijd en moeite voor jouw antwoord op mijn vraag. Bedankt. Alsjeblieft, Ayesha. Dat is best wel een pittige vraag. Heel mooie antwoord. Heel grappig. Toch nog even verder over de algoritmes. Waar zit nou het verschil, want je bent dit helemaal doorgegaan, tussen het moment... Want toen je naar de college ging, had je natuurlijk iets in je hoofd. Dan gaan we aan dit knopje draaien en dan komt het goed. Maar je bent nu een heel stuk verder. Wat heb je in die tussentijd geleerd daarvan en wat ga je anders doen? In eerste instantie het grootste deel is bewustwording. Rekening mee houden wat de consequenties kunnen zijn van een feature of wat dan ook. Of hoe dat verdeeld is tussen verschillende mensen. Of ze de kans hebben gehad om die aspecten of toegang te hebben om bepaalde featurewaardes te halen. Of dat mensen daar niet zullen komen door de limitaties die wij op ons opleggen. Dus ik denk dat bewustwording een heel groot ding is. Voor de rest is het heel specifiek per task of toepassing waar je mee bezig bent. Om een rekening te houden en het goede baan te leiden. Ik probeer mezelf te behoeden voor de beperktheid die ik heb. Ik ben maar één persoon met één achtergrond. Ik ben een witte man. Daarin gewoon al heel erg beperkt. Dus ik probeer gewoon heel veel input te krijgen van mensen. En op die manier mijn originele... - Je blik te verruimen. Ja, mijn blik te verruimen inderdaad. Ik ben opnieuw bij nieuwe features of nieuwe uitbreidingen in de app. Is dat proces hierdoor veranderd? We zijn een heel klein team. Procesmatig werken we nog niet echt. We zijn nu met z'n drieën. We zijn best wel een snel groeiende start-up. Dus we zijn met heel het proces niet bezig. Drieën die aan het algoritme werken. Matchmaking en data. Breeze is een stuk groter dan drie mensen. Dat zouden we echt niet kunnen doen. Dan bedoel ik feature misschien in de terminologie. Niet van data science feature, maar een feature in de app. Dus nieuwe functionaliteit in de app. Is daar vooral, de hele organisatie heeft meegeleefd hierin. Is daarin veranderd in hoe jullie die aanpak noemen? Ik denk dat product er in eerste instantie een stuk beter in was dan wij. Je hebt accessibility en dingen. Er wordt al veel meer dingen meegehouden. Terwijl het algoritme dat zegt totaal niet. Dus die deden er al wel meer mee. Maar het is vooral door die bewustwording in het hele bedrijf is gekomen. Door dat event. Zijn er veel meer kritische vragen. Gaat dit hetzelfde zijn voor mensen van niet-Europese achtergrond? Of mensen met een handicap? Of gaan die overal van kleurenblindheid uit? Er worden veel meer vragen gesteld. Dat is mooi inderdaad. De meeste winst was daar wel bij ons toe. En buiten de AI, is er een verandering geweest? Is er al een verandering doorgevoerd? Want jullie hadden heel veel ideeën meegekregen. Maar ook over marketing, over uitingen. Van alles en nog wat. Is er iets veranderd? Ik vind het jammer om mee te delen. Het zijn nog niet heel grote dingen. We zijn toch nog een beetje gevangen. En we zijn een kleine organisatie. Het is moeilijk om er heel veel manuur aan toe te wijden. Aan de andere kant zijn we nog steeds een beetje bang. Om er echt hard mee bezig te zijn. We zijn hard aan het slachten aan. Wat ik eigenlijk wel heel jammer vind. Want ik denk dat er heel veel winst te behalen is. Ook voor andere apps. En dat we daar ook heel veel andere organisaties mee kunnen helpen. Maar dus eigenlijk minder dan ik had gehoopt. Dat vind ik wel heel openhartig van je. Wat is de angst? Ik denk dat er nu best wel heel veel luisteraars zijn. Die ook in bedrijven zitten. Die uiteindelijk tegen ditzelfde soort problemen aanlopen. Maar er niet zo open over zijn zoals jij dat bent. Wat is de angst? En wat zou je eraan kunnen doen? Heb je daar enig ideeën over? De angst denk ik dat je enerzijds het ding over het hoofd ziet. Dat je gewoon die referentiekader niet hebt. En dat je gewoon hele simpele fouten in de ogen van andere mensen maakt. En dat je daar de hele groepen uitsluit. Angst om het verkeerde te zeggen. Het cancel culture. Die noemde ik al. Dus het is vooral de eerste maanden nu. Nu praat ik er wat rustiger over. Ik heb het vaker gedaan. Maar aan het begin was als de dood om verschillende benamingen. Dat maakt het heel veel stroperiger. Je denkt echt wel vier keer na voordat je het erover hebt. Dus het is veel moeilijker om het gewoon met mensen over te hebben. Ik denk dat dat wel de grootste angsten zijn. Mensen lezen niet heel veel. Het is best een gecompliceerd onderwerp. En je moet er best wel diep in gaan. Om te begrijpen wat we nou willen doen. En wat er nou aan de hand is. Het is heel makkelijk om het na te lezen. Breach, discriminatie in één headline. En dan je conclusie te trekken. Dus daar zijn we gewoon huiverig in. Maar tegelijkertijd is het misschien niet in helemaal gegronde angst. Want alle uitingen die we tot nu toe hebben gedaan. Zijn ongelooflijk positief ontvangen. Dus het is een beetje stukje bij beetje. Juist omdat je er wat mee doet en wil. Precies. Het is echt super positief ontvangen. Het is een super warm onthaal geweest. Van de Fairness AI community. Dus ik denk dat het zelfs een beetje een irrationele angst is. En dat andere mensen zeker advies willen geven. Blijf je er niet stuk op. Kijk er niet blind op. Ga gewoon lekker aan de gang. En je krijgt er ongelooflijk veel complimenten op doorgaans. Lijkt me een hele mooie. Super bedankt voor je openhartige gesprek. Ik vind het zo mooi dat jullie dit doen. Je bent bijna een voorvechter geworden. Zonder dat je dat van tevoren gedacht hebt. In openheid hierover. En de enige manier om het te verbeteren is door erover te praten. Dingen te doen. Proberen. En ervoor gaan denk ik dan. Lekker samen oplossen. Niels en ik hebben na aanleiding van die workshop. We hebben ook ontzettend veel gesproken. Het was niet alleen leuk en gezellig. Het was ook gewoon leerzaam. Ik wist dat je met diverse mensen moest praten. Maar dat het zo breed kan. En dat je daardoor zo ontzettend veel meer inzichten krijgt. Dat had ik eigenlijk niet verwacht. Wij hebben een aantal dingen opgenomen. Wij hebben een guidance framework. We hebben bepaalde processen. We hebben dit opgenomen. Als je hiermee aan de slag gaat. Moet je toch echt wel ook dit soort initiatieven nemen. Dus wij hebben er ook heel veel van geleerd. Daarvoor sowieso dank je. Superleuk. En dank dat je vandaag onze gast bent. Super. Leuk dat je weer luisterde naar een aflevering van AIToday Live. Vergeet je niet te abonneren via je favoriete podcast app. En dan mis je geen aflevering, krijg je vanzelf een seintje. Tot de volgende keer! [Muziek]