Alle afleveringen
S05E25 - Wat is er mis met discriminatie? - Rijk Mercuur
S05E25

Wat is er mis met discriminatie? - Rijk Mercuur

Seizoen 5 26 min Hosts: Joop Snijder & Niels Naglé
0:00

Wat leer je in deze aflevering?

Rijk Mercuur, specialist verantwoorde AI bij Hiro en voormalig universitair docent, bespreekt zijn artikel "Wat is er mis met discriminatie?". Aan de hand van de toeslagenaffaire legt hij uit wanneer onderscheid maken door algoritmes onrechtmatig wordt en hoe we dit kunnen beoordelen.

01
Discriminatie als onderscheid maken Discriminatie in de zachte betekenis (onderscheid maken) is fundamenteel voor hoe mensen en algoritmes de wereld begrijpen. Het wordt pas problematisch wanneer dit onderscheid onrechtmatig is.
02
Drie stappen voor beoordeling Om te bepalen of algoritmische discriminatie onrechtmatig is, moet je drie vragen stellen: is de variabele relevant (voorspellend), is deze moreel relevant (ethisch acceptabel), en is het gebruik proportioneel ten opzichte van het doel?
03
Morele relevantie van variabelen Sommige variabelen zoals nationaliteit of inkomen kunnen statistisch relevant zijn, maar zijn niet moreel relevant omdat mensen er geen controle over hebben. Dit was het kernprobleem bij de toeslagenaffaire.
04
Proportionaliteit en belangenafweging Zelfs als een variabele relevant én moreel acceptabel is, moet de schade voor individuen in verhouding staan tot het maatschappelijke doel. Te veel vals-positieven rechtvaardigen het gebruik niet.

Kernbegrippen

Algoritmische discriminatie
Onderscheid maken door algoritmes op basis van variabelen die onrechtmatig zijn of onevenredig schadelijk voor individuen.
Morele relevantie
Mate waarin een variabele ethisch acceptabel is om in besluitvorming te gebruiken, onafhankelijk van statistische voorspellende waarde.
Proportionaliteit
Afweging of de schade voor individuen in redelijke verhouding staat tot het maatschappelijke doel van een algoritme.
Vals-positieven
Gevallen waarin een algoritme ten onrechte iemand als risicogroep classificeert, met onterechte negatieve gevolgen.

Interview: Rijk Mercuur

Rijk Mercuur
Rijk Mercuur Researcher bij Hiro Bekijk gastprofiel →

Rijk, kun je jezelf even voorstellen aan onze luisteraars en vertellen waar je je mee bezighoudt?

Mijn naam is Rijk Mercuur en ik heb een achtergrond in kunstmatige intelligentie. Ik heb een bachelor, master en een PhD gedaan. Tegenwoordig werk ik bij Hiro en daar zet ik de afdeling verantwoorde AI op. We bieden daar workshops aan en proberen mensen te helpen met kennis over ethiek en kunstmatige intelligentie. Voorheen gaf ik ook anderhalf jaar les aan de Universiteit Utrecht, waar ik de vakken filosofie van kunstmatige intelligentie mocht geven, zowel het bachelorvak als het mastervak. Dat was ook heel leuk en ik heb daar zelf ook weer heel veel van geleerd. Die ervaringen neem ik allemaal mee in mijn huidige werk.

Wat voor onderwerpen behandelden jullie in die vakken over de filosofie van AI?

We kozen vooral verschillende papers die we interessant vonden, en dat deed ik samen met collega's. Een paper die ik me bijvoorbeeld herinner ging over de beperkingen van Twitter als discussieplatform. Het behandelde hoe sommige mensen misschien denken dat het heel mooi is om alles te gamificeren, maar dat eigenlijk de diversiteit van onze prachtige waarde van gesprekken voeren misschien achteruitgaat. We zijn nu niet alleen maar bezig met zoveel mogelijk likes krijgen, hoop ik, maar ook met een wat diepgaander gesprek op de inhoud. Daarnaast had ik zelf een deel over modellen en modelfilosofie. Dat ging over de relatie tussen modellen en de werkelijkheid. Bijvoorbeeld dat machine learning modellen vaak niet zo'n duidelijke relatie hebben tot de werkelijkheid omdat ze black box zijn. Dit soort onderwerpen bieden studenten de ruimte om kritisch na te denken over wat AI eigenlijk betekent voor onze maatschappij.

Je schreef een artikel met de prikkelende titel "Wat is er mis met discriminatie?" Waarom koos je voor deze titel?

Die titel is natuurlijk expres heel prikkelend opgezet. Ik probeer discriminatie hier in de zachtere betekenis ervan te gebruiken, namelijk onderscheid maken. En onderscheid maken is iets wat mensen en algoritmes eigenlijk in de basis altijd doen. Dat is hoe wij als mensen eigenlijk de wereld begrijpelijk maken voor onszelf. Ik weet nu van jullie zijn de hosts, ik ben de gast. We hebben dus een andere rol en dat onderscheid maak ik. En dat helpt me ook heel erg. Maar soms wordt dat onderscheid onrechtmatig. En meestal is dat wat mensen bedoelen met discriminatie. En daar heb ik natuurlijk ook iets tegen. Maar het artikel ging over wanneer dat onderscheid onrechtmatig wordt en wanneer het acceptabel blijft.

Wanneer wordt onderscheid maken dan onrechtmatig?

Ik maak eigenlijk drie stappen in dat artikel. Het voorbeeld ging over de toeslagenaffaire. Bij de toeslagenaffaire werd er een algoritme gebruikt waarin werd gekeken naar nationaliteit. Als mensen een niet-Nederlandse nationaliteit hadden, dan hadden ze een hogere kans om aangemerkt te worden als fraudeur. Daar kwam een Amnesty-rapport over uit en uiteindelijk viel er een heel kabinet over. Dat ging over het feit dat dat discriminerend was naar mensen met een niet-Nederlandse nationaliteit. Nou ja, ik vraag me af of dat dan dus zo is en hoe we dat precies goed kunnen bepalen. De eerste stap is om te kijken of een variabele relevant is. Was nationaliteit werkelijk voorspellend voor fraude? Dan kunnen we ons afvragen of het moreel relevant is. Dat betekent eigenlijk: is het ethisch oké om deze variabele mee te nemen als we een beslissing maken over fraude? En de laatste stap is om te kijken of iets proportioneel is. Is het eigenlijk wel in verhouding met het doel? Misschien mogen we het wel meenemen, maar als het niet veel oplevert, dan is het misschien te veel schade aan het individu om het mee te nemen. Dan is het niet proportioneel.

Kun je wat dieper ingaan op wat je bedoelt met "moreel relevant"?

Dat is de meest complexe term uit dit verhaal, zeker. Laat ik eerst uitleggen wat ik bedoel met relevant zijn. Je hebt bijvoorbeeld het vooroordeel dat vrouwen niet kunnen autorijden. Dan kan je daar wetenschap op naslaan of statistieken bekijken. En dan kom je erachter dat vrouwen eigenlijk minder vaak dronken rijden en minder heftige ongelukken maken. Dan zie je dat deze variabele helemaal niet relevant is, helemaal niet voorspellend. Dat is de eerste stap. Nu bleek het zo dat nationaliteit bij de toeslagenaffaire wel relevant was voor fraude. Het had dus wel een voorspellende waarde in de modellen. Daarom kunnen we niet gelijk zeggen dat we de variabele niet moeten meenemen. Maar dan komt de tweede stap: moreel relevant. Ik gebruik de kinderopvangtoeslag als voorbeeld. Eerst vraag je je af of iemand wel kinderen heeft. Dat is relevant. Dan kan je je misschien afvragen of dat kind graag naar de kinderopvang wil. Dat is ook relevant, want een kind dat niet zo graag wil heeft misschien minder belang bij de kinderopvang. Misschien moeten we die dan geen kinderopvang zomaar geven. Maar ik denk dat we daarover zeggen dat dat niet klopt. Die variabele is misschien wel relevant, maar niet moreel relevant. Het maakt eigenlijk niet zoveel uit of dat kind wel of niet wil. Het gaat erom dat iedereen, elk kind daar recht op heeft. En dat de ouders dat belangrijk vinden in de maatschappij. We hebben dus soms variabelen - en dat zijn vaak dingen als inkomen of nationaliteit - die wel relevant zijn, maar die we misschien vinden dat mensen er niets aan kunnen doen of niet in controle over hebben. En daarom niet eigenlijk moreel of ethisch moeten meetellen voor of iemand verdacht wordt voor fraude of iemand kinderopvang krijgt.

Je noemt nationaliteit als iets waar mensen geen controle over hebben. Speelt dat een belangrijke rol in de beoordeling?

Ja, nationaliteit heb je niet voor het kiezen in eerste instantie. En ik denk dat dat inderdaad eigenlijk het punt is van Amnesty als ze zeggen dat er een groot schandaal is bij de toeslagenaffaire. Vaak verliest dat een beetje die nuances in het publieke debat. Het wordt al heel pijnlijk om te zeggen dat misschien mensen met een niet-Nederlandse nationaliteit, dat er echt een hogere kans was op fraude. Dat bleek in de eerdere modellen zo te zijn. Uiteindelijk bleek het bijna geen voorspellende waarde te hebben, voor de duidelijkheid. Maar dat vinden mensen vaak al wat pijnlijk om op tafel te leggen, dat er misschien echt een hoger percentage is van mensen die daar fraude op pleegt. Dan nog kan je het verhaal verder voeren of het moreel relevant is. Want als we kijken naar artikel 1 van de grondwet, dan is iedereen gelijk. De vraag is: op welke aspecten we denken dat iemand op dit moment gelijk is. Op het moment dat een bepaald kind 42 is inmiddels, vinden we niet meer dat, ook al is het nog steeds iemands kind, dat die persoon nog recht heeft op kinderopvangtoeslag. We bepalen eigenlijk welke variabelen we belangrijk vinden en waarin mensen gelijk zijn voor een specifieke situatie.

Hoe zit het met andere variabelen zoals inkomen? Wanneer vinden we het acceptabel om die mee te nemen?

Inkomen en nationaliteit zijn vaak best wel spannende variabelen om het over te hebben, maar we vinden niet zomaar dat mensen inkomen niet mogen meenemen. Bijvoorbeeld bij een hypotheek vinden we het prima dat we het inkomen meenemen. Maar Amnesty zegt: ja eigenlijk is ook in de toeslagenaffaire het inkomen van mensen meegenomen, en die moeten gelijk behandeld worden, welk inkomen je ook hebt. Je merkt dat per casus het verschilt welke variabelen we oké vinden, moreel relevant vinden om mee te nemen en welke niet. Dat maakt het ook zo complex - er is geen simpel antwoord dat voor alle situaties geldt.

Spelen er ook verschillende belangen? Die van degene die het model gebruikt versus degene over wie het gaat?

Ja precies. Degenen die het model gebruiken willen misschien een eerlijke distributie van goederen. Zo zou je het mooi kunnen zeggen. Ze willen dat de toeslagen op een efficiënte manier worden ingezet. Maar misschien is het niet het belang van dat individu - die wil misschien vooral de toeslag hebben. En hoe weeg je dat af? Daar kom je een beetje op die laatste stap, wat proportionaliteit heet. Eigenlijk kan je het zo zeggen: als we heel vaak een vals positief hebben, dus we gaan heel vaak mensen verdacht maken voor toeslagen omdat ze een bepaalde nationaliteit hebben, en dat levert eigenlijk uiteindelijk heel weinig op, dan is iedereen het er wel over eens dat we dat niet moeten doen. Omdat gewoon de schade voor mensen dan te groot is. Maar bij sommige dingen wordt het denk ik wat spannender. Dan moeten we daar als maatschappij een discussie over voeren. En dat is wat we denk ik continu doen door krantenartikelen, door politiek, door met elkaar te praten. Vinden we in dit geval gelijkheid wat zwaarder wegen, of vinden we toch de efficiënte indeling van goederen zwaarder wegen? Zien we toch te veel fraudeurs en moeten we daar toch eens iets tegen doen en wat harder optreden?

Vind je dat er op dit moment voldoende aandacht is voor dit gesprek en voor het inkaderen van hoe we met dit soort situaties omgaan?

Wat ik wel zie is dat als je in de politiek deze discussie voert, dat het eerder gaat over onderbuikgevoelens. Van: we moeten alle fraudeurs tegenhouden, dat zijn mensen die misbruik maken van ons belastinggeld. Of natuurlijk aan de andere kant: we willen niet dat mensen zomaar voor het feit dat ze een andere nationaliteit hebben als fraudeur worden gezien. Dat is natuurlijk ook heel schadelijk voor die individuen. Maar het voelt voor mij meer als een beetje schreeuwen naar beide kanten, terwijl er niet duidelijk wordt benoemd dat we hier een waardeafweging hebben. Dat hier twee tegengestelde waarden zijn die we proberen op een bepaalde manier tegen elkaar af te wegen, en dat er altijd een nadeel en een voordeel aan zit. Dat mis ik wel in het publieke debat. Het zou helpen als we explicieter maken dat het om afwegingen gaat, niet om absolute waarheden.

Er was recent ook een geval in Rotterdam met fraudedetectie. Weet je daar meer over?

Ja, een paar maanden geleden was er inderdaad een geval van fraudeopsporing van de gemeente Rotterdam, waar bleek dat als je een vrouw van buitenlandse afkomst was met meerdere kinderen, dat dat eigenlijk genoeg was om je verdacht te maken. Je kreeg dan zoveel controles dat het wel heel duidelijk was dat je geprofileerd was. En onder de streep hadden ze ook uitgerekend dat ze niks extra's hadden opgeleverd aan fraudebestrijding. Dat laatste deel is cruciaal. Ik ben sowieso altijd heel voorzichtig met het gebruik van dit soort variabelen. Daar moet je altijd op oppassen. Bij de toeslagenaffaire was volgens mij hetzelfde verhaal, of nee sorry, dat was bij gemeentelijke belastingen. Daar was ook een tijd terug een debat over gemeentelijke belastingen, waar ook duidelijk werd dat het bijna niks opleverde in aantal fraudeurs vinden. Wat je dan ziet is dat het op dat moment misschien wel logisch leek om dit soort variabelen mee te nemen, maar dat er blijkbaar niet genoeg wordt nagedacht over: hoe gaan we hiermee om en wat vinden we ervan als maatschappij? Dit soort gevallen komen dan in het nieuws. De zaak in Rotterdam is volgens mij ergens ondergesneeuwd, heeft niet eens echt het landelijk nieuws gehaald. En daarom, terugkomend op je vraag of er voldoende wordt nagedacht over hoe we verantwoord met deze materie omgaan: nee, ik denk dat vaak de kennis ook ontbreekt over wat er nou precies gebeurt in zo'n algoritme.

Denk je dat algoritmes worden gezien als iets objectiefs, als een soort magisch apparaat?

Ja, het wordt vaak gezien als iets wat objectief werkt en waar geen waardevolle of politieke discussies over hoeven te worden gevoerd. Een stukje magie en een stukje techniek dat oplossingen biedt, een stukje AI. Maar dat is natuurlijk niet het geval. Volgens mij komen we daar later nog op, maar dat is ook een deel van onze missie bij Hiro: verantwoorde AI voor iedereen. En daarmee bedoelen we voor iedereen in de zin dat we geen minderheden willen buitensluiten. Dat vinden we heel belangrijk, dat die worden meegenomen in het gesprek. Maar het betekent ook voor iedereen in de zin dat we de kennis bij iedereen willen brengen. Zodat, zoals een collega laatst zei, als je de volgende verkiezing hebt, dat mensen daar gewoon een verhaal over hebben. Dat de politicus gewoon zegt van: ja, op deze manier weet ik ongeveer hoe algoritmes werken en mijn standpunt daarover is meer transparantie, of dat in dit geval fraudebestrijding toch belangrijker is dan het gelijkheidsprincipe. Ik wil een onderbouwde mening horen, niet alleen maar het magische stokje van AI zwaaien.

Denk je dat deze bewustwording er gaat komen?

Ik denk wel dat we die kant op gaan. Ik zie wel veel meer maatschappelijke discussie over wat AI brengt. Dat is echt in een vogelvlucht geraakt de afgelopen vijf à tien jaar denk ik. Met ChatGPT natuurlijk ook, waarbij we een stukje technologie gewoon over de schutting is gegooid en we nu allemaal moeten dealen met de gevolgen. Dat wakkert het wel flink aan inderdaad, dat geeft wel stof tot nadenken.

Er werd ook een parallel getrokken met social media. Die hebben ook grote maatschappelijke impact gehad, maar er gebeurt relatief weinig op het gebied van regulering. Zie jij ook dat risico bij AI?

Dat is een terechte zorg. Als je kijkt naar de ontwikkelingen rondom social media, dan is dat minstens net zo ontwrichtend geweest. We hebben van allerlei rampen gezien, tot aan ingrijpen in democratieën, en toch doen we daar maar weinig aan. Er wordt misschien een beetje over gesproken, er is steeds meer bewustwording, maar welke regulering is er nou echt op dit gebied? Er zijn wat boetes hier en daar die uitgedeeld zijn rond privacy, maar ik denk dat je meer de filterbubbel-effecten bedoelt, of de haast ontluisterende effecten op onze samenleving. Het gaat eigenlijk nog verder dan het algoritme zelf - het gaat om wat het betekent aan bedreigingen die worden gedaan, het misbruik dat wordt gemaakt van de technologie. Ik denk dat er best wel heel veel analogieën zijn met AI. We vinden dat allemaal best wel heel erg, maar blijkbaar niet erg genoeg om er daadwerkelijk serieuze stappen in te maken.

Wat zou je willen zien op het gebied van regulering?

Ik zou beginnen met het opheffen van de anonimiteit op social media. En ik zou beginnen met visie en bij bedrijven neerleggen die zeggen: dit soort gedragingen willen we niet meer. Op het moment dat we dit opnemen heeft Vera Bergkamp, de voorzitter van de Tweede Kamer, aan Twitter gevraagd of die iets meer wil doen rondom bedreigingen die gedaan worden op Twitter over politici. Ik denk: hallo, je bent iets meer dan de Tweede Kamer, je bent toch wetgevend orgaan. Hoezo gaan we op de knieën smeken of Twitter zich wil gaan gedragen? Dat gaat natuurlijk nooit gebeuren. Die zijn helemaal gebaat bij controversie, zeker niet met Elon Musk aan het roer.

Maar wat kunnen we als individuen of als maatschappij doen?

We hebben zelf een klein beetje macht. We kunnen overstappen van platform bijvoorbeeld. We zouden op Mastodon kunnen gaan zitten in plaats van op Twitter. Of je kan gewoon niet meedoen omdat je ziet hoe het eigenlijk een oppervlakkige manier van praten is geworden - laagdrempelig, op korte termijn gericht. Als je meer controversie maakt krijg je meer likes en meer subscriptions. Maar dat is hopelijk niet het enige doel van een gesprek. Het is wel waar dat juist het viral gaan en nog meer controversie zorgt dat je nog meer viral gaat. Het is een soort self-fulfilling prophecy van de negativiteit en de bubbel die er is. Ik denk dat met name het standhouden en de regels stellen en inderdaad anders stappen ondernemen nodig is. Anders gaat die verandering echt niet komen.

Hoe zie je de rol van de AI Act hierin?

Ik denk dat de AI Act hier een mooie start voor gaat maken om wat regels te stellen. Maar ik denk dat het ook aan bedrijven en ontwikkelaars van AI-modellen is om uit te spreken: hoe vinden we dat het gebruikt mag worden? Daar mogen we ook gewoon uitspraken over gaan doen met elkaar van: zo moet je het wel gebruiken, zo moet je het niet gebruiken.

Maar wat als je als individu niet de luxe hebt om eruit te stappen, zoals bij de toeslagenaffaire?

Je hebt in ieder geval de luxe om het aan te kaarten. Bij de belastingdienst was ook echt een cultuur waar waarschijnlijk die mensen, voor zover we weten, ook zo dachten. Ze dachten ook gewoon: als jij een niet-Nederlandse afkomst hebt, dan ben jij waarschijnlijk een fraudeur. En dat zorgt ervoor dat als jij een algoritme hebt dat in principe nog geen effect heeft op de werkelijkheid - in de zin dat er ook nog een mens bij moet komen - dat die mens dan uiteindelijk zegt: ja, wij gaan ook echt achter jou aan en we zetten je toeslagen stop. Alleen maar omdat het algoritme zegt dat jij misschien een fraudeur bent. Ik geloof wel dat je als mens daar uiteindelijk - de human in the loop - dat de mens uiteindelijk wel heel veel zeggenschap heeft en autonomie, en ook beter dit soort complexe ethische afwegingen kan maken dan een machine. Die is dan cruciaal om als onderdeel van dat team eigenlijk te hebben tussen mensen en machine.

Wat betekent dat voor de kennis die mensen moeten hebben die met deze systemen werken?

Dat betekent vooral dat je heel goed moet weten wat algoritmes kunnen, wat ze niet kunnen, en wat de gevaren zijn. En die leg je natuurlijk echt wel bij niet degene over wie het gaat, maar degene die ermee werkt. En daarom willen wij dus die kennis eigenlijk bij dit soort bedrijven brengen. Je moet iets snappen van hoe een algoritme in elkaar zit. Bijvoorbeeld wat ik in het begin zei over onderscheid maken. Je kan natuurlijk roepen: haal alle bias uit een algoritme. Maar als je niet begrijpt dat bias eigenlijk een cruciaal onderdeel is van hoe een machine learning algoritme werkt - hoe het relaties probeert te vinden, oftewel een soort bias probeert te vinden, uitschieters probeert te vinden - dan kan je zo'n discussie ook helemaal niet aan. Dan weet je niet waar je het over hebt.

Discrimineert het algoritme zelf, of ligt het aan hoe we ermee omgaan?

Ik zou zeggen: het algoritme discrimineert wel. Het algoritme maakt op een bepaalde manier onderscheid. Maar het is eigenlijk wat we ermee doen - de input en de output, hoe we die aanleveren en hoe we die verwerken - wat het uiteindelijk discriminerend maakt in de negatieve zin. Er zijn best wel veel aspecten die van belang zijn. De data die erin gaat, de mensen die daarmee werken, de mensen die het algoritme maken, de mensen die het begrijpbaar maken, de interpretatie die je nog moet doen met de output die je krijgt. Heel veel factoren zijn eigenlijk in play om te bepalen wat nu de daadwerkelijke actie is die eruit hoort te komen, die wij vinden dat eruit hoort te komen.

Moeten we soms misschien helemaal geen AI gebruiken?

Ik denk dat we in sommige gevallen dat ook niet moeten doen. Dat we eerst moeten begrijpen: wat zijn we eigenlijk aan het doen en wat is het effect hiervan, voordat we het inderdaad in iets stoppen waar we nog minder van weten bij sommige situaties. Dat is zeker het geval. Je ziet ook bij die gemeentelijke fraudedetectie dat de effecten - ik weet niet precies wat in die Rotterdam-casus was, maar in ieder geval in een ander geval waarvan ik weet - dat het resultaat gewoon heel weinig is. Er wordt eigenlijk helemaal niet zo effectief uiteindelijk fraude meer gevonden dan daarvoor.

Hoe komt het dat organisaties toch in de val trappen van AI inzetten zonder goede afwegingen?

Wat ik voor me zie is een groep management die zegt: we hebben echt AI nodig, jongens. Laten we wat AI binnenhalen. Dan wordt er een bedrijfje op gezet, die verdient daaraan en dan leveren ze een stukje AI. Het management begrijpt het niet, maar het heeft veel geld gekost, dus we zetten het maar in. En wat het precies oplevert is onduidelijk. Het is eigenlijk op de hype inspringen. Bij Rotterdam was het ook niet een klein clubje dat dat model gemaakt heeft. Het was een groot bedrijf. Waar ik dan met mijn hoofd niet bij kan, is dat je dan - zij gebruikten dingen als persoonlijke hygiëne als variabele, als input. Ze hadden ongeveer 30 persoonskenmerken waar de ambtenaar een subjectief oordeel over gegeven had. Als je dat als data scientist al over je hart verkrijgt, dan hou ik mijn hart vast.

Wat is jouw verklaring voor hoe zoiets kan gebeuren?

Toen ik zelf de master volgde en ook toen ik lesgeef, heb je gewoon heel veel mensen die het heel leuk vinden om te spelen met technologie en die heel weinig bezig zijn met de sociale gevolgen. De prototype AI'er is natuurlijk ook een nerd. Die is gewoon iets minder bezig met de sociale aspecten. Die vindt het misschien helemaal niet zo leuk om een sociaalwetenschappelijk vak daarna te volgen of een filosofievak. Die wil gewoon mooie dingen maken. En die mensen zijn de mensen die bij dit niet zo kleine clubje uiteindelijk de algoritmes maken, waarbij dus geen belletje gaat rinkelen als ze persoonlijke hygiëne ook willen meenemen in het model. Dat is bizar. Dat iets technisch kan, wil niet zeggen dat je het moet doen.

Hoe pakken jullie dit aan bij Hiro met jullie workshops?

Wij bieden workshops over data-ethiek en over algoritmes en mensenrechten. Een van de vragen daarbij is ook: is het nodig om een algoritme te gebruiken? Of is er misschien een simpele oplossing die afdoende is? Subsidiair noem je dat in legal terms. Kunnen we met een makkelijkere, minder pijnlijke oplossing eigenlijk hetzelfde bereiken? Dat is een cruciale vraag die we mensen leren stellen voordat ze aan de slag gaan met AI. Het gaat erom dat we mensen bewust maken van de ethische implicaties, van de technische beperkingen, en van de maatschappelijke context waarin ze werken. Want alleen met die combinatie van kennis kun je echt verantwoorde keuzes maken over wanneer en hoe je AI inzet. Kernpunten en Praktische Adviezen Drie stappen voor ethische beoordeling van algoritmes: Is het relevant? Heeft de variabele daadwerkelijk voorspellende waarde? Toets dit met data en statistieken voordat je verder gaat. Is het moreel relevant? Zelfs als iets voorspellend is, is het ethisch acceptabel om het mee te nemen? Denk aan variabelen waar mensen geen controle over hebben, zoals nationaliteit of afkomst. Is het proportioneel? Staat de opbrengst in verhouding tot de potentiële schade voor individuen? Als een systeem nauwelijks extra fraude vindt maar wel veel mensen onterecht verdacht maakt, is het niet proportioneel. Belangrijke overwegingen bij AI-implementatie: Vraag of AI überhaupt nodig is. Soms is een eenvoudigere, minder ingrijpende oplossing afdoende. Pas het subsidiariteitsprincipe toe: gebruik alleen complexe systemen als eenvoudige alternatieven onvoldoende zijn. Zorg voor voldoende kennis. Mensen die met algoritmes werken moeten begrijpen hoe ze functioneren, wat hun beperkingen zijn en welke ethische risico's er zijn. Zonder deze kennis kunnen ze geen goede afwegingen maken. De mens blijft cruciaal. Een mens kan betere ethische afwegingen maken dan een machine. De 'human in the loop' moet echte beslissingsbevoegdheid hebben, niet slechts een rubber stamp zijn voor algoritmische uitkomsten. Begrijp dat bias inherent is. Machine learning werkt juist door patronen en onderscheidingen te vinden. Je kunt niet alle bias verwijderen - de kunst is om te bepalen welke onderscheidingen acceptabel zijn en welke niet. Voor organisaties: Spring niet op de AI-hype. Implementeer AI niet omdat het moet of omdat het modern is, maar alleen als het aantoonbare meerwaarde heeft. Investeer in ethische expertise. Zorg dat niet alleen technici, maar ook mensen met kennis van ethiek en maatschappelijke impact betrokken zijn bij AI-projecten. Evalueer de uitkomsten. Meet niet alleen technische performance, maar ook of het systeem rechtvaardige uitkomsten oplevert en of het proportioneel is. Creëer een cultuur van kritisch denken. Moedig medewerkers aan om vragen te stellen als 'mag dit wel?' in plaats van alleen 'kan dit technisch?' Voor de maatschappelijke dialoog: Maak waardeafwegingen expliciet. Erken dat er verschillende waarden zijn die tegen elkaar afgewogen moeten worden, zoals gelijkheid versus efficiëntie. Dit zijn politieke keuzes, geen technische. Zorg voor democratische controle. AI-systemen die grote maatschappelijke impact hebben, moeten onderwerp zijn van democratisch debat en regelgeving, niet alleen van technische of bedrijfsmatige beslissingen. Verhoog de algemene kennis over AI. Zorg dat iedereen, van burger tot politicus, basiskennis heeft over hoe algoritmes werken en wat hun implicaties zijn. AIToday Live is een podcast die zich richt op de nieuwste ontwikkelingen in AI en de impact ervan op verschillende sectoren. In elke aflevering spreken hosts Niels Naglé en Joop Snijder met experts uit het veld om inzicht te krijgen in de mogelijkheden en uitdagingen van AI-technologie. Luister via je favoriete podcast app: Spotify, Apple podcasts, YouTube Music, en meer.

Over de gast

Rijk Mercuur
Rijk Mercuur
Researcher bij Hiro

Rijk Mercuur heeft een achtergrond in kunstmatige intelligentie met een bachelor, master en PhD. Hij werkt momenteel bij Hero, waar hij de afdeling verantwoord AI opzet en workshops aanbiedt over ethiek en kunstmatige intelligentie. Daarnaast heeft hij ervaring in het onderwijs, waar hij vakken gaf over de filosofie van AI.

Bekijk gastprofiel

Transcript

Welkom en leuk dat je weer luistert naar een nieuwe aflevering van de AIToday Live. Mijn naam Niels Naglé, chapter lead Data & AI bij Info Support. Mijn naam is Joop Snijder, CTO bij Aigency. Niet in de studio aanwezig, maar in ieder geval wel bij het gesprek. Fijn dat je het toch digitaal aan kan haken, want we hebben een leuke gast in onze nieuwe aflevering. Rijk Mercuur, zou je jezelf even willen voorstellen aan de luisteraars? luisteraars. Zeker Niels. Mijn naam is Rijk Mercuur. Ik heb een achtergrond in kunstmatige intelligentie. Ik heb een bachelor, master en een PhD. En tegenwoordig werk ik bij Hero en daar zet ik de afdeling verantwoorden AI op. Waar we workshops aanbieden en mensen proberen te helpen met kennis over ethiek en kunstmatige intelligentie. Ja en ik zag op je site van Hiro dat je ook nog nog steeds lesgeeft aan de universiteit van Utrecht? Oh nee, dat is afgerond. Dat was mijn vorige baan. Dus ik heb hier zo'n anderhalf jaar lesgeven. Dat was ook heel leuk. Ik mocht daar de vakken filosofie, voorkunstmatig, intelligentie en het mastervak, filosofie of AI. Dus een gelijknamig vak, maar twee vakken geven. En daar heb ik zelf ook weer heel veel van geleerd. Dus dat neem ik allemaal mee. Wat is dan de stof die behandeld wordt? We kiezen vooral verschillende papers die we interessant vinden. Deel het samen met collega's. Een paper dat ik me herinner ging over de beperkingen van Twitter als discussieplatform. En hoe sommige mensen misschien denken dat het heel mooi is om alles te gamifyen. maar dat er eigenlijk de diversiteit van onze prachtige waarde van gesprekken voeren misschien achteruit gaat. Dus we zijn nu niet alleen maar bezig met zoveel mogelijk likes krijgen, hoop ik, maar ook met een wat diepgaande gesprek. Dus op de inhoud. Ja, daar ging het over. Ik had zelf een deel over modellen en modeltheosofie. Dat ging over de relatie tussen modellen en de werkelijkheid. Bijvoorbeeld dat machine learning modellen vaak niet zo duidelijke relatie hebben tot de werkelijkheid omdat ze black box zijn. Ah oké, vanuit de black box gedacht. Geeft dat wel duidelijkheid? Ja zeker, absoluut. En ik had een artikel van je gelezen met een lekker prikkelende titel. Wat is er mis met discriminatie? En discriminatie, ja dat is de bedoeling. Ja. Ja. Dat de meeste mensen zouden denken van nee, we willen geen discriminatie. Kan je daar wat over vertellen van waarom je zeg maar vanuit die titel gestart bent? Nou die is natuurlijk expres heel prikkelend opgezet. Dus ik probeer discriminatie hier in de, ik bedoel discriminatie hier in de zachtere betekenis ervan, namelijk onderscheid maken. En onderscheid maken is iets wat mensen en algoritmes eigenlijk in de basis altijd doen. Dat is hoe wij als mensen eigenlijk de wereld duidelijk maken voor onszelf. Dus ik weet nu van ja, jullie zijn de host, ik ben de gast. Dus we hebben een andere rol en dat onderscheid maak ik. En dat helpt me ook heel erg. En soms wordt dat onderscheid onrechtmatig. En meestal is dat wat mensen bedoelen met discriminatie. En nou ja, daar heb ik natuurlijk ook iets tegen. Maar het artikel ging over wanneer dat onrechtmatig wordt. Ja, en wanneer wordt het onrechtmatig dan? Ja, ik maak eigenlijk drie stappen in dat artikel. Eerst vraag ik me af of een bepaalde variabel relevant is. Het voorbeeld ging eigenlijk over de toeslagenaffaire. Dus dat is alweer een tijdje geleden. De hype is weer een beetje voorbij. Maar bij de toeslagenaffaire was het zo dat er werd een algoritme gebruikt. En in dat algoritme werd er gekeken naar nationaliteit. En als mensen een niet-Nederlandse nationaliteit hadden, dan hadden ze een hogere kans om aangemerkt te worden als vrouw Duur. En daarbij kwam een amnesty report uit en natuurlijk een heel kabinet dat viel. Dat ging over het feit dat dat discriminerend was naar mensen met een niet-Nederlandse nationaliteit. Nou ja, ik vraag me af of dat dan dus zo is en hoe we dat precies goed kunnen bepalen. We kunnen eerst afvragen of nationaliteit relevant was. Dus was het werkelijk voorspellend? Dan kunnen we ons afvragen of het moreel relevant is. Kan ik er wat meer over uitleggen, maar dat betekent eigenlijk, is het eigenlijk ethisch oké om deze variabel mee te nemen als we een beslissing maken over fraude? Ja. En de laatste stap is om te kijken of iets proportioneel is. Dus om te kijken of het eigenlijk wel in verhouding staat met het doel. Misschien mogen we het wel meenemen, maar als het niet veel oplevert, dan is het misschien te veel schade aan de individu om het mee te nemen. En dan is het niet proportioneel. Je zegt 'moreel relevant'. Zou je dat verder kunnen afpellen? Ja, dat is de meest complexe term uit dit verhaal, zeker. De eerste kijkje dus, laten we daar beginnen of iets relevant is. Je hebt bijvoorbeeld het vooroordeel dat vrouwen niet kunnen autorijden. En dan kan je daadwerkelijk daar wetenschap op naslaan of statistieken. En dan kom je erachter dat vrouwen eigenlijk minder vaak dronken rijden en minder heftige ongelukken maken. Nou ja, dan zie je eigenlijk is deze variabel helemaal niet relevant. Dat is helemaal niet voorspellend. Dus dat is de eerste stap. Nu bleek het zo dat nationaliteit wel relevant was voor fraude. Dus in de modellen had het een voorspellende waarde. Dus daar kunnen we niet gelijk door zeggen van, we zouden de variabel niet moeten meenemen. Maar dan komt de tweede stap, moreel relevant. Ik gebruik daar eigenlijk de kindertoeslag als voorbeeld bij. Eerst vraag je je af of iemand wel kinderen heeft. Dat is al relevant. Dan kan je je misschien afvragen of dat kind graag naar de kinderopvang wil. Dat is al relevant, want een kind dat niet zo graag wil heeft misschien een minder belang bij de kinderopvang. Misschien moeten we die dan geen kinderopvang zomaar geven. Maar ik denk dat we daarover zeggen dat dat niet klopt. Die variabel is misschien wel relevant, maar niet moreel relevant. Het maakt eigenlijk niet zoveel uit of dat kind wel of niet wil. Het gaat erom dat iedereen, elk kind daar recht op heeft. En dat de ouders dat belangrijk vinden in de maatschappij. Dus we hebben soms variabelen. En dat is vaak ook dingen als inkomen of nationaliteit die wel relevant zijn. Maar die misschien we niet vinden dat mensen iets aan kunnen doen. Of iets niet in controle hebben. En daarom niet eigenlijk moreel of ethisch moeten meetellen. voor of iemand verdacht wordt voor fraude of iemand kinderopvang krijgt. Ja, en nationaliteit heb je niet voor het kiezen in eerste instantie. Klopt. Ja, en ik denk dat dat inderdaad eigenlijk het punt is van Amnesty, als ze zeggen dat er een groot schandaal is bij de toeslagenaffaire. En vaak verliest dat een beetje die nuancen. Dus vaak wordt het al heel pijnlijk om te zeggen dat misschien Mensen met een niet-Nederlandse nationaliteit, dat er echt een hogere kans was op fraude. Dat bleek in de eerdere modellen zo te zijn. Uiteindelijk bleek het bijna geen voorspellende waarde te hebben, voor de duidelijkheid. Maar dat vinden mensen vaak al wat pijnlijk op tafel te leggen. Dat er misschien echt een hoger percentage is van mensen die daar fraude op leegt. Dan nog kan je het verhaal verder voeren of het moreel relevant is. Want als we kijken naar artikel 1 van de grondwet, dan is iedereen gelijk, toch? Iedereen is gelijk, ja. Dus in gelijke... Moet je dan ook gelijk behandeld worden? Ik denk de vraag is op welke aspecten we denken of iemand op dit moment gelijk is. Dus op het moment dat een bepaald kind 42 is inmiddels, vinden we niet meer dat, Omhoog al is het nog steeds een kind, is het nog steeds gelijk, vinden we toch dat die minder recht heeft op kinderoopvang toeslag. Dus we bepalen eigenlijk welke variabelen vinden we dat mensen hier belangrijk zijn en waarin ze gelijk zijn. Ja, daar vond ik wel het mooie aan het artikel is inderdaad welk doel en welk belang hebben degenen om wie het gaat, in dit geval de mensen voor de toeslag inderdaad. Wat is het belang daarbij? Dat vond ik wel een mooi perspectief die je meenam in het artikel. Ja inderdaad, het kind van 42 is nog steeds van iemand een kind, maar is het relevant en is het van belang dat die kindertoeslag krijgt? En door met verschillende perspectieven ernaar te kijken, dat kwam wel mooi naar voren in het artikel, vond ik zelf. Dank je wel. Ik wil er een beetje aan denken, dat inkomen en nationaliteit vaak best wel spannende variabelen zijn om het over te hebben, maar we vinden niet zomaar dat mensen, dat ze niet inkomen mogen meenemen. Bijvoorbeeld bij een hypotheek vinden we het prima dat we het inkomen meenemen. Maar Amnesty zegt, ja eigenlijk is ook in de toeslagenaffaire het inkomen van mensen meegenomen. En dat, ze moeten gelijk behandeld worden, welk inkomen je ook hebt. Dus je merkt dat per casus het soort van verschilt welke variabelen we het oké vinden, moreel relevant vinden om mee te nemen en welke niet. Ja. En ik denk dat dat ook, daar zit natuurlijk ook de essentie, want je hebt het over belang. Maar denk je ook niet dat er verschillende belangen zijn voor degene die de uitkomst gaat gebruiken van een model en over wie het gaat? Ja precies, dus degenen die het model gebruiken willen misschien een eerlijke distributie van goederen. Zo zou je het mooi kunnen zeggen. Ze willen dat de toeslagen op een efficiënte manier worden ingezet. Maar misschien is het niet het belang van dat individu, die wil misschien vooral de toeslag hebben. En hoe weeg je dat af? Ja, daar kom je een beetje op die laatste stap, wat heet proportionaliteit. Dus eigenlijk, ik denk dat je het zo kan zeggen als, nou ja, als we heel vaak een vals positief hebben, dus we gaan heel vaak mensen geen toeslagen geven, er zitten nog heel veel stappen tussen, maar eerst verdacht maken voor toeslagen, omdat ze een bepaalde nationaliteit hebben. En dat levert eigenlijk uiteindelijk heel weinig op. Dan is iedereen het er wel over eens dat we dat niet moeten doen, omdat gewoon de schade voor mensen dan te groot is. Maar bij sommige dingen wordt het denk ik wat spannender. Dan moeten we daar als maatschappij een discussie over voeren. En dat is wat we denk ik continu doen door kranten artikelen, door politiek, door met elkaar te praten. Vinden we in dit geval gelijkheid wat zwaarder wegen of vinden we toch de efficiënte indeling van goederen zwaarder wegen? Zien we toch te veel fraudeurs en moeten we daar toch eens iets tegen doen en wat harder optreden? Vind je dat er op dit moment voldoende aandacht daarvoor is? Voor dat gesprek en eigenlijk het doorzetten van mogelijke regulering of inkaderen van hoe je met dit soort dingen omgaat? Nou ja, wat ik wel zie is dat als je in de politiek deze discussie voert, dat het dus eerder gaat over onderbuikgevoelens, van we moeten alle fraudeurs tegenhouden. Ja, dat zijn mensen die misbruik maken van ons belastinggeld. Of natuurlijk aan de andere kant, willen niet mensen zomaar voor het feit dat ze een andere nationaliteit hebben van fraudeur denken. Dat is natuurlijk ook heel schadelijk voor die individuen. Maar het voelt voor mij als meer een beetje schreeuwen allebei de kant op, omdat er dan wel duidelijk is dat we hier een waardeafweging hebben. Dus dat hier twee tegenstellen waarde zijn die we proberen op een bepaalde manier tegen elkaar af te wegen en dat er altijd een nadeel en een voordeel aan zit. Dat mis ik wel in het publieke debat. Ja, ik denk ik ook wel. Een paar maanden geleden hadden we ook nog een geval van fraudeopsporing van de gemeente Rotterdam, waar bleek dat als je vrouw van buitenlandse afkomst was met meerdere kinderen, nou dan dat was eigenlijk genoeg zeg maar om je verdacht te maken en dat je zo veel, hoe zeg je dat, zoveel controles kreeg dat het wel heel duidelijk was zeg maar dat nou ja dat je geprofileerd was. Ja. En onder de streep hadden ze ook uitgerekend, hadden ze niks extras opgeleverd aan fraudebestrijding. Ja dat laatste deel wel cruciaal. Ik ben sowieso altijd heel beladen en moeilijk om sowieso deze variatoren te gebruiken. Altijd er op op te passen. Maar volgens mij was bij toeslagenaffaire hetzelfde verhaal. Oh nee, sorry, dat was bij gemeentelijke belastingen. Misschien zit een voorbeeld daarvan. Maar daar was ook een tijd terug naar het diek over gemeentelijke belastingen, waar ook duidelijk werd dat eigenlijk bijna niks opleverde in een aantal fraudures vinden. Precies. Maar wat wil Wat je dan ziet is dat het op dat moment misschien wel logisch leek om dit soort variabelen mee te nemen. Maar dat er dus blijkbaar ook nog niet genoeg wordt nagedacht over van hoe gaan we hiermee om en wat vinden we er als maatschappij van. Dus het komt dan in het nieuws. Nou dit is ergens ondergesneeuwd. Je heeft niet eens volgens mij echt het landelijk nieuws gehaald. En daarom terugkomend op, vind je voldoende dat er nagedacht wordt over hoe we verantwoord met deze materie omgaan? Nou ja, nee. Ik denk dat vaak de kennis ook ontbreekt over wat er nou precies gebeurt in zo'n algoritme. Dus dat het wordt gezien als iets wat objectief werkt en waar geen waarde of politieke discussies over hoeveel te worden gevoerd, maar dat een stukje magie en een stukje techniek wat ja wat oplossingen biedt, een stukje AI. Volgens mij komen we daar later nog op, maar dat is ook een deel van onze missie bij Hero, dat we verantwoorden voor iedereen. En daarmee bedoelen we voor iedereen in de zin dat we geen minderheden willen buitensluiten. Dat vinden we heel belangrijk dat die worden meegenomen in het gesprek. Maar het bedekent ook voor iedereen in de zin dat we de kennis bij iedereen willen brengen, zodat nou ja zoals een collega laat zijn, eigenlijk als je de volgende verkiezing hebt, dat het dan mensen hier gewoon een verhaal over hebben. Dat de politicus gewoon zegt van ja, nou op deze manier weet ik ongeveer dat algoritmes werken en ik wil mijn standpunt daarover is meer transparency of nou ja dat hier in dit geval fraude toch belangrijker is om te bestrijden dan het gelijkheidsprincipe. Sowieso wil ik horen, niet alleen maar... - Niet het magische stokje van AI. Denk je dat het gaat gebeuren? Ik denk wel dat we die kant op gaan. Dus ik zie wel veel meer maatschappelijke discussie over wat AI brengt. Dat is echt in een vogelflucht geraakt de afgelopen 5 à 10 jaar denk ik. Met JetGPT natuurlijk ook, waarbij we een stukje technologie gewoon over de schutting is geworpen en we nu allemaal moeten dealen met de gevolgen. Nou dat wakkert het wel flink aan inderdaad. Dat geeft wel stof tot nadenken inderdaad. Ik ben iets sceptischer. Ik ben het met je eens zeg maar dat ik heel graag zou willen dat dit dat het zou gebeuren. Als je kijkt zeg maar naar de ontwikkelingen rondom social media dan is dat zeg maar minstens net zo ontwrichtend. Hebben we denk ik al van allerlei rampen gehad. Tot aan ingrijpen in democratieën en toch doen we daar buiten gewoon weinig aan. Wordt er misschien een beetje over gesproken, wordt er steeds meer bewustwording, maar welke regulering is er nou op dit gebied? Ja, ik weet dat er van wat boetes hier en daar die uitgedeeld zijn rond in ieder geval privacy. Maar ik denk dat jij meer de filterbubbel effecten bedoeld of de ja de de de de de de ja haast ontluisterende effecten zeg maar op onze samenleving het is de de eigenlijk nog verder dan het algoritme zelf maar wat het betekent aan bedreigingen die worden gedaan de misbruik die wordt gemaakt van de van de technologie ik denk dat er best wel heel veel analogieën zijn met AI. En we vinden dat allemaal best wel heel erg, maar blijkbaar niet erg genoeg om er daadwerkelijk serieuze stappen in te maken. Wat zou je willen zien? Of interview ik jou na te veel? Nee, nee, nee. Ik vind het wel leuk hoor om juist het gesprek aan te gaan. Nee, ja, ik zou beginnen met het opheffen van de anonimiteiten op social media. En ik zou gewoon beginnen met visie en bij bedrijven neerleggen die zeggen van ja maar dit dit soort gedragingen willen we niet meer. Op het moment dat wij nu dit opnemen heeft Vera Bergkamp de voorzitter van de Tweede Kamer aan Twitter gevraagd of die iets meer wil doen rondom bedreigingen die gedaan worden op Twitter over politici. Ik denk ja je hallo je bent iets meer dan de Tweede Kamer je bent toch wetgevend orgaan. Hoezo gaan we zeg maar op de knieën smeken of Twitter zich wil gaan gedragen. Dat gaat natuurlijk nooit gebeuren. Die zijn helemaal gebaat bij controversies. Zeker. Ik denk niet dat het met Elon Musk per se de betere kant op gaat. Nee toch? Ja, we hebben zelf een klein beetje macht. We kunnen overzappen van platform bijvoorbeeld. We zouden op Mastodon kunnen gaan zitten in plaats van op Twitter. Of je kan gewoon niet meedoen omdat je ziet hoe het eigenlijk een soort oppervlakkige manier van praten is geworden social media. Laagdrempelig ook. Laagdrempelig, op een korte termijn gereerd. Inderdaad, als je meer controversie maakt krijg je meer likes en meer subscriptions. Maar dat is hopelijk niet alleen het doel van een gesprek. Nee, maar het is wel waar ook natuurlijk juist het viral gaan van is en nog meer controversie juist nog meer zorgt dat je nog meer viral gaat en het is een soort van self-fulfilling prophecy van de negativiteit en de bubbel die er is. En ik denk dat met name standhouden en de regels stellen en inderdaad anders stappen ondernemen. Anders gaat die verandering echt niet komen. Om dan toch weer even een stapje terug te maken naar AI. Ik denk dat de AI-act hier een mooie start voor gaat maken om wat regels te stellen. Maar ik denk dat het ook aan bedrijven en ontwikkelaars van de AI-model is om... hoe vinden we dat het gebruikt mag worden en daar ook gewoon uitspraken over mogen gaan doen met elkaar van zo moet je het wel gebruiken zo moet je het niet gebruiken. Ik ben benieuwd hoe jullie er tegenaan kijken. Nou en als als jij nou onderdeel bent zeg maar van die algoritmes voor toeslagenaffaire of wat ik net noemde de gemeente Rotterdam, dan heb je niet de luxe om er om niet mee te doen en eruit te stappen. Nou je hebt in ieder geval de luxe om het aan te katen toch en ik bedoel bij de belastingdienst was ook een echt een cultuur waar waarschijnlijk die mensen, zover we weten, ook zo dachten. Dus ze dachten ook gewoon, ja, als jij een niet-Nederlandse afkomst hebt, dan ben jij waarschijnlijk een fraudeur. En dat zorgt ervoor dat als jij een algoritme hebt die in principe nog geen effect heeft op de werkelijkheid, in de zin dat er ook nog een mens bij moet komen, dat die mens dan uiteindelijk zegt, ja, wij gaan ook echt achter jou aan en we zetten je toeslagen, stop. Alleen maar omdat het algoritme zegt dat jij misschien een fraudeur bent. Dus ik geloof wel dat je als mens daar uiteindelijk, ja, the human in the loop, dat de mens uiteindelijk wel heel veel zeggenschap heeft en autonomie en ook beter dit soort complexe ethische afwegingen kan maken dan een machine en die ze dan cruciaal is om ja als onderdeel van dat team eigenlijk te hebben tussen mensen en machine. Ja, ik denk dat dat ook dat je, oh sorry, dat betekent ook vooral dat je heel goed moet weten wat algoritmes kunnen, wat ze niet kunnen, wat de gevaren zijn. Precies. En die leg je natuurlijk echt wel bij dan niet degene over wie het gaat, maar degene die ermee werkt. En daarom willen wij dus die kennis eigenlijk bij dit soort bedrijven brengen. Ja. Klopt, je moet iets snappen van hoe een algoritme in elkaar zit. En bijvoorbeeld wat ik in het begin zei over onderscheid maken. En je kan natuurlijk roepen haal alle bias uit een algoritme. Maar als je niet begrijpt dat bias eigenlijk een cruciaal onderdeel is van hoe een machine learning algoritme werkt, hoe het eigenlijk allemaal ja relaties probeert te vinden, oftewel een soort van bias het probeert te vinden, uitschieters probeert te vinden, ja dan kan je zo'n discussie ook helemaal niet aan, dan weet je niet waar je het over hebt. Ja precies, dus eigenlijk wat we stellen, het algoritme discrimineert niet, de data die erin gaat kan discriminatie of in ieder geval bias bevatten en de mensen moeten daar nog steeds een ethische afweging maken aan wat het algoritme eigenlijk als output aan ze aanlevert. Vond ik ook wel mooi, dacht ik, en het algoritme discrimineert wel. Ik denk dat dat wel past. Dus het algoritme maakt op een bepaalde manier onderscheid, maar het is eigenlijk wat we ermee doen. De input en de output, hoe we die aanleveren en hoe we die verwerken, wat het discriminerend uiteindelijk maakt. Ja, er zijn best wel veel aspecten die daarvan belang zijn. De data die erin gaat, de mensen die daarmee werken, de mensen die het algoritme maken, de mensen die het begrijpbaar maken, de interpretatie die je nog moet doen met de output die je krijgt. Dus heel veel factoren die eigenlijk in play zijn om eigenlijk te bepalen wat nu de daadwerke actie is die eruit hoort te komen, die wij vinden dat eruit hoort te komen. Je zou bijna zeggen misschien moeten we soms geen AI gebruiken. Nou, ik denk dat we in sommige gevallen dat ook niet moeten doen. Dat we eerst moeten begrijpen wat zijn we eigenlijk aan het doen en wat is het effect hiervan, voordat we het inderdaad in iets stoppen waar we nog minder van weten bij sommige situaties. Ik denk dat dat zeker het geval is, ja. Je ziet dus ook bij die gemeentelijke fraude detectie, dat daar dus de effecten, ik weet niet precies wat in die Rotterdam geval, maar in ieder geval een ander geval waarvan ik weet, dat het resultaat gewoon heel weinig is. Dus dat er eigenlijk helemaal niet zo effectief uiteindelijk fraude meer wordt gevonden dan daarvoor. Wat ik dan allemaal voor me zie is een groep management ofzo, die zegt ja, we hebben echt AI nodig, Moes. En laten we wat AI binnenhalen. En dat er dan een bedrijfje op wordt gezet. en die verdient daar aan en dan levert ze een stukje AI. En ja, ik weet niet, de management begrijpt dat niet, maar het heeft veel geld gekost. Dus we zetten het maar in en wat het precies oplevert is onduidelijk. - Ja, is eigenlijk op de hype in springen. - Ja, ik denk het wel. Ik denk dat hij heel veel meer bewustzijn vindt. - In Rotterdam was het ook niet een klein clubje die, ik zal de naam niet noemen, maar het was geen klein clubje die dat model gemaakt heeft. En waar ik dan met mijn hoofd niet bij kan, is dat je dan, Zij gebruikten dingen als persoonlijke hygiëne als variabel, als input. Ze hadden iets van 30 persoonskenmerken waar de ambtenaar een subjectief oordeel over gegeven had. En als je dat als data scientist al over je hart verkrijgt, dan hou ik mijn hart vast. Waar ik me wel aan moet denken is, toen ik zelf de master volgde en ook toen ik les je hebt gewoon heel veel mensen daar die het heel leuk vinden om te spelen met technologie en die heel weinig bezig zijn met de sociale gevolgen. Kijk, prototype AI'er is natuurlijk ook een nerd. Die is gewoon iets wat minder bezig met de sociale aspecten. Die vind het misschien helemaal niet zo leuk om een sociale wetenschap vak daarna te volgen of een filosofie vak. Die wil gewoon mooie dingen maken. En nou ja, die mensen zijn de mensen die bij dit niet zo kleine clubje uiteindelijk de algoritmes maken en waarbij dus geen belletje gaat rinken. Als ze persoonlijke hygiëne ook willen meenemen in het model. Ja, bizar. Ja, dat iets technisch kan, wil niet zeggen dat je het moet doen. Precies. Ja, dat is dus ook, ja, ik ga dat toch alvast een voorschot om nemen, maar wij bieden dus workshops over dataethiek en over algoritme en mensenrechten. En een van de vragen daarbij is ook, is het nodig om een algoritme te gebruiken? of is het misschien een simpele oplossing die afdoende is. Subsidiair noem je dat in legal terms. Dus kunnen we een makkelijkere, minder pijnlijke oplossing eigenlijk hetzelfde bereiken. Mooie vraag. Ik denk ook mooi om de luisteraars over na te laten denken. Dankjewel voor je gesprek Rijk. Jullie bedankt. Luisteraars, ook weer leuk dat je luistert naar een nieuwe aflevering van de EOTD Live. Dankjewel Rijk voor het aanschuiten. Dankjewel Joop dat je vanuit huis aan wilt sluiten bij deze aflevering. Vergeet je niet te abonneren op alle podcast kanalen. Vergeet het duimpje niet te doen bij Spotify om ons te sponsoren. En tot de volgende keer. TV Gelderland 2021 (C) TV GELDERLAND 2021