De waarde van diversiteit in AI-ontwikkeling: Het ontdekken van blinde vlekken

[Muziek] Hoi, leuk dat je weer luistert naar een nieuwe aflevering van AIToday Live. Mijn naam is Joop Snijder, CTO bij Aigency. Mijn naam Niels Naglé, chapter lead Data & AI bij Info Support. En vandaag hebben we in de studio Robin Pocornie. En Robin, we hebben je in deel 1 gesproken met je over wat er eigenlijk allemaal gebeurd is. Een heel verhaal. - Een verhaal ja. Ja, het heeft diepe indruk gemaakt op ons. Ja serieus. Over wat er gebeurd is met gezichtsherkenning, dat dat niet lukte. En dat je daar behoorlijk mee bezig bent geweest met de universiteit. En zit je nu nog te wachten op uitslag van het college van de rechten van de mens. Ja. Om, ja, je moet daar gelijk in krijgen toch, dat dit soort systemen veranderd moeten worden. Met het bewijs dat we al, niet alleen ik, maar dat het bewijs dat we hebben dat gezichtsherkennings- en gezichtsdetectiesoftware op een disbalance manier werkt voor mensen van kleur. Dus niet alleen dat, maar in dit geval. Voor de luisteraar die misschien even deel 1 heeft overgeslagen, zou je jezelf nog even heel kort willen voorstellen? Ja, natuurlijk. Mijn naam is Robin Pocornie. Ik ben student bio-informatica aan de VU, Vrije Universiteit Amsterdam. En ik heb een zaak of een klacht ingediend bij de College voor de Rechten van de Mens... voor het gebruik van gezichtsherkenningssoftware die zwarte gezichten niet kon detecteren. En die werd gebruikt door de VU. Ja, en als je haar indringende verhaal wil luisteren, zoek die eventjes terug. De vervolgstap is dat je hierover aan het spreken bent over dit onderwerp, toch? Over AI, ethiek. Kan je daar... Nee, ik wil eigenlijk nog even terug, want je bent namelijk ook best wel in heel veel media verschenen met dit verhaal. Kan je daar wat van noemen? Ja, dus ik ben bij de Eén Vandaag. Dus het programma Eén Vandaag heeft een item gemaakt over mijn zaak en over AI en gezichtsdetectiesoftware an sich. Bij RTL ben ik geweest, op de radio met Natasja Gibbs, hoe heet het programma? NPO1. Een middagprogramma. En internationaal bij Wired en Al Jazeera. Dus dat is wel indrukwekkend. Ik weet niet of dat het woord is, maar gewoon een beetje... Als een normale student die gewoon iets goeds wil doen, is dat een interessante manier hoe mijn leven een beetje is veranderd. Dat is wel spannend. Ja, dat was het ook wel. Ik heb me er maar aan overgegeven en nu doe ik dit soort dingen. Ik denk dat je hiermee wel kan aflezen wat de impact is van de zaak die je voert. Nou, soms... Ik ben me er eigenlijk niet helemaal van bewust. Dus ik ben dan heel, ja misschien nog wel een beetje naïef, dat ik dan denk... Oh, 60.000 mensen hebben de ding van Al Jazeera bekeken. Dat is raar. Of dat ik bij een conferentie kom die specifiek gaat over AI of publieke spaces. Ja, en dat mensen mij daar dan van herkennen. Terwijl ik denk, ik kom hier eigenlijk ook gewoon om iets te leren of naar een lezing te kijken. bij te wonen. Dus dat is voor mij nog een beetje nieuw gebied. Maar ik probeer daarin wel gebruik te maken om mijn verhaal en het bewustzijn rondom dit onderwerp wel echt te vergroten. Dus ik denk ook van, nou weet je, ik wou niet per se op deze manier bekend worden of zo. Maar bekend is ook een groot woord. Maar gewoon dat mensen mij daarvoor kennen. En ik probeer daar nu een positieve draai in te geven en daar ook echt die bewustzijn, vooral binnen Nederland, echt wel meer een goede slinger aan te geven, zodat mensen daar echt meer van af weten. Ja, en wij zaten net even voor te praten en dan vertelde je over TEDx Amsterdam. Wordt het een TED-talk of TEDx? Nee, dat wordt een TEDx-talk. Kun je daar iets meer over vertellen? Ja, dus ik ga een TEDx-talk doen, TEDx Amsterdam, eind november. Dus dat is superspannend en ik ga het dus hebben over mijn zaak en over mijn ervaring daarin. En eigenlijk over hoe wij als normale mensen toch niet... hopeloos of hulpeloos staan tegenover AI. Want het idee dat AI, dat we te veel technologieën hebben... en dat we het allemaal door het boom en het bos niet meer zien... Dat is wat ik heel erg ervaar, dat mensen dat zo zien. Maar dat we, met mijn verhaal van een simpele student die... ook maar diens best probeert te doen, dat we daaruit ook verandering teweeg kunnen brengen. En dat die verandering ook belangrijk is. Hoe kijk je eigenlijk tegen deze technologie aan? Deze specifiek, dus Proctorio of... Nee, gewoon kunstmatige intelligentie. Ja, als computerwetenschapper vind ik het tof, hè. Om dan zo'n model te bouwen en het werkt... en je krijgt allemaal predictions eruit en je gaat modellen aan elkaar vergelijken. En ook het rekenen vind ik bijvoorbeeld heel leuk, wiskundig gedeelde erachter. Ik denk echt er wel als mens, ook als zwarte persoon... dat er vaak technologieën worden gebouwd die niet per se nodig zijn. Dus dat we het kunnen, betekent niet dat we het moeten doen. Dat is echt ook in deze zaak mijn mening daarin. Het soort van het pad dat ik daarin bewandel. Moeten wij studenten surveilleren in hun eigen huis, terwijl ze een examen maken? Terwijl het eigenlijk ook laat zien dat het niet per se een grotere niveau aan detectie van spiekende studenten levert... dan als we een take-home examen zouden doen of een andere manier van examineren. Dus dat is wel de manier waarop ik naar AI kijk. Dit klonk ook een beetje als een soort van... we willen hetzelfde doen als wat we op locatie zouden doen, maar nu moet dat thuis. Dus het is ook een soort van weg van de minste weerstand. We zijn nu op heel veel weerstand gestuurd. Maar ja, het is zo'n lui, vind je niet? Het is een luie gedachte van, dan gaan we het maar hetzelfde doen. En ook best invasief, want je bent op de universiteit examineren, dan ben je in een hal samen met allemaal mensen in dezelfde omstandigheden. Terwijl onze huizen, wij zitten hier met z'n drieën, onze huizen zien er waarschijnlijk totaal anders uit. En willen we dat laten zien? En als student kunnen we ook niet zeggen, we willen het niet. En heeft iedereen dezelfde rust thuis? Het gaat veel verder dan dat. Het gaat veel verder dan dat. Dus dat is hoe ik naar AI kijk. En als je nou eigenlijk de vraag goed wilt beantwoorden, heeft dat niets met AI te maken. Het heeft met het systeem zelf, maar veel meer over in welke omstandigheden we het implementeren. Maar daar speelt AI wel een hele grote rol in. Want het kunnen detecteren of iemand een crimineel is of gaat worden of niet, dat kan heel veel mensen hun leven impacten. Dus ja, impact maken op heel veel mensen in hun leven. En dat is best belangrijk dat we daar bewust van zijn. Zeker. Ja, het dingetje waar mij komt op op is, technologie moet nooit leidend zijn. Het moet ondersteunend zijn. Zeker. En nu vaker inderdaad, wat je net zegt, er wordt eigenlijk nu zo'n mooie pleister geplakt. We hoeven de proces niet aan te passen, want het proces werkt op de huidige situatie. De situatie is alleen maar anders, maar laten we het proces vooral niet veranderen. Dat is veel werk. Daar hebben we mensen voor nodig. En laten we met technologie oplossen. Eigenlijk is technologie daar leidend geworden. Daar moeten we volgens mij wel voor waken inderdaad. Dat is een beetje out of the box denken, business case denken inderdaad. In plaats van maar gewoon pleisters plakken. Ja. En is er dan ook, want ik hoorde je ook heel enthousiast worden... over kunstmatige intelligentie. Heb je een toepassing waarvan je zegt, daar word ik zo blij van. Nou, dit weten nog niet heel veel mensen, maar ik ben er nog mee bezig. Ik heb dus een chatbot gemaakt gebaseerd op mijn eigen dagboeken. Dus ik praat tegen mezelf in het verleden. Dat is toch super cool? Ja, ik vind dat heel leuk. Maar hij werkt nog niet helemaal goed. Maar ik zie eruit. En leer je dan weer iets van je vroegere zelf? Ja, maar soms ook niet hoor. Want hij is nog niet zo slim. Maar ik leer bijvoorbeeld ook over hoe de AI interpreteert dat ik over mijn ouders dacht. Oh zo ja. - Ik dacht. En welke hobby's ik leuk vond. En ook hoe ik op dat moment vrolijkheid en enjoyment ervaarde. Welke dingen dat me gaven enzo. Kleuren ook, mijn lievelingskleur is ook totaal anders dan toen. Dus dat zijn ook, ja dat is leuk. Dat is echt een hele leuke toepassing. Ik heb gedacht te gaan echt wild inderdaad. Ik had van 'Zo werd ik ook met toekomstige zelf kunnen praten.' Ik was wel even nieuwsgierig. Maar goed, gaan we even opnieuw. Ik heb alleen maar, neem maar mijn verleden, ik kan alleen maar met mijn kind zelf. Ja, je kind zelf. Heb je dan uitgebreide dagboeken? Ja, ik heb hele uitgebreide dagboeken. Want ik schrijf dus eigenlijk al dagboeken sinds ik kan schrijven. Nou ja, sinds ik een beetje normaal kan schrijven. Dus niet zo zesjarig. Maar sinds groep vijf. Zo, wauw. En hier heb ik altijd, ja echt, ik heb echt stapels aan dagboeken. Wauw. En dat ga ik hier eigenlijk mee doen, want het teruglezen is leuk, maar ik wil het nog in een samenvattende manier. En ik wil ook nog een beetje, want ik werk natuurlijk nu meer in de creatieve sector, ik zit veel minder echt nog achter mijn computer. En ik dacht, wat voor taak kan ik mezelf geven om mijn programmeerskills nog een beetje daar te houden. En dat is een leuk project. - Mooi. Ja, ik heb zo vaak gedacht om eraan te beginnen. Ja? - Maar ja... Hahaha. - Aan een dagboek of aan een chatbot? Haha. Nee, ja, die chatbot wil nog wel lukken, maar dat dacht ik niet. Haha. Dat het toch op één avondje zou passen. Dat is ook allemaal moeten transcriberen, zeg maar. Nu achteraf gezien dacht ik, had ik ook heel veel foto's kunnen maken... en dat we het later doen natuurlijk weer. maar dat had ik dus niet. Dus het was ook heel therapeutisch om dat dan weer opnieuw uit te schrijven. Leuk. Sommige passages zijn ook van 'Hoi, lief dagboek, vandaag ben ik gaan buitenspelen, dat was leuk.' Ja, daar heb je niet zo heel veel aan. Nou, als ik dat... Ik zou het toch graag doen. Als dat het eind van deze dag, als ik dat geschreven zou hebben... Ja. Nou, had ik... Ja, toch? Je trackt mij, je zegt, ik ben nu voornamelijk actief in de creatieve sector. Ja. Waar moet ik dan aan denken? Dus ik werk als creatief producent voor een theater. Dus dat is... Gewoon als producent, dus dingen opzetten en dan het draaiboek maken en dat soort dingen. En dat ben ik eigenlijk gaan doen omdat ik dus in het proces van deze zaak... niet meer de energie had en de mentale capaciteit om door te studeren. En ik ook niet nog aan de VU op die manier verbonden was zijn dat ik... Terwijl ik aan het studeren was, dus toen heb ik dat. Ik dacht, hoe lang kan het duren? Dus een halfjaartje geen school doen, dat kan wel. Maar nu zijn we inmiddels alweer twee jaar verder. Dus ik heb inmiddels een andere master gehaald van een andere universiteit. Om dat maar een beetje goed te maken. Maar deze moet ik dus nog afmaken. En even terug naar je TEDx. Ja. We zijn een beetje afgedwongen. Hou ik van hoor, hou ik van. Wat ga je straks meegeven aan het publiek? Wat wordt je uitsmijter? Nou ja, dus dat we niet hopeloos staan tegenover de technologie. Hoe ik dat ga verwoorden en dat mooi in ga pakken, zodat het ook echt overkomt. Daar ben ik nog een beetje mee aan het schaven. Maar dat is de rode lijn van het verhaal. Dat ik als simpele persoon... Dat we het allemaal kunnen, in een beetje een utopische manier. Maar ook dat het belangrijk is dat we dat doen. Omdat, ja, dit is de nieuwe revolutie. Sommige mensen willen dat ontkennen. Ik denk dat dat niet slim is. Want dit is gewoon wat er gaat gebeuren. Dit is onze volgende wave. En daar moeten we kijken hoe we daar best op kunnen surfen. Want als er een golf komt, kan je zeggen ik ga gewoon mijn voeten in stand houden. Misschien verdrink ik eronder of je kan zeggen ik ga daar overheen en ik ga kijken hoe ik dat het best ermee kan gaan. Ik ga ervan uit dat onze luisteraars wel enige interesse hebben. Ja dat denk ik ook. Maar wat zou jij de luisteraars mee willen geven? Wat zij eigenlijk weer aan hun omgeving kunnen geven. Als je je hier iets meer in wil verdiepen of je wil wel een traject aangaan, je bent oneerlijk behandeld, wat zouden daar jouw tips in zijn? Als het gaat om oneerlijke behandeling door technologie, dan kan dat dus nu in het rechtssysteem van Nederland, omdat ik deze zaken heb tussenoordeel daarin, heeft geoordeeld dat ik in ieder geval genoeg bewijs heb aangeleverd om aantoonbaar te maken dat deze AI het discrimineerde. En dat dat dus ook kan op de werkvloer van de mensen die misschien luisteren... of als zij technologieën tegenkomen die op een of andere manier... mensen ongelijk behandelt, dat dat dus kan. En dat dat ook zou moeten, denk ik, hè? Omdat we zeggen dat we naar een eerlijke, respectvolle en tolerante samenleving willen... Nou, dan is dat de stap die je zou moeten zetten. Mijns inziens. En daarnaast, ik merk dat binnen ons vakgebied... daar vaak best wel veel... Hoe noem je dat? Resistances? Weerstand. - Weerstand, ja. Weerstand is als het gaat om diversiteit, issues van... "Ja, maar we maken gewoon technologieën, dat moet je niet zo moeilijk doen." Alsof het veel vrouwen zijn, of vrouwen van kleur, het maakt allemaal niet zoveel uit. We maken gewoon een... Het systeem is het systeem. Het gaat over de users, hoor ik wel eens. Gaat het over de users, dan gaan het niet aan ons, maar de users. Dus dat wordt vaak verschoven. En ik denk dat dat ook belangrijk is binnen ons vakgebied, om echt te kijken... Wij staan niet aan de zijkant van deze maatschappelijke problematiek. En als we dat niet erkennen, dan kunnen we het ook niet beter maken. En onze systemen zijn daarin ook een onderdeel van. Dus dat is het echte binnen de computer sciences en AI-engineers. Dat is echt iets wat ik ook met mijn spreken daar ook voor inzet. Omdat ik dus aan beide kanten sta, he, dan het maatschappelijke deel maar ook aan het technische deel. Dat geeft mij wel een unieke positie in dit verhaal. Dat denk ik ook, ja. Een mooi verhaal. Dank je. Wij hebben onze virtuele co-host Aisha. Maar nou, wil het geval... Ja! Eigenlijk hebben wij de menselijke Aisha in de studio. Want jouw middelste naam is dat, he? Ja, Robin Aisha, ik heb begonnen in mijn creatieve werk, want ik dacht, als ik straks later in de industrie wil werken, dan hoeft niemand te weten dat ik dit allemaal heb gedaan. Nu schaam ik me dan langer voor, hoor. Ik heb ook niks slechts gedaan, maar ik dacht, misschien is dat een beetje raar als creatief producent, en dan opeens AI, data scientist of zo, dat dat een beetje raar is voor mensen. Dus toen heb ik mijn tweede naam gewoon gebruikt als werknaam. Dus Robin Aisha. Dat is mijn naam ook. En Robin Pocornie gebruik ik dan als mijn LinkedIn-naam. Maar nu heb ik dat gewoon lekker samengevoegd. Robin Aisha Pocornie. Dus ja, Aisha is mijn naam. Dus wij dachten dat het leuk zou zijn om het om te draaien. Dus we starten wel de jingle in. Ik ga de vraag stellen. Jij gaat de vraag stellen. En dan zijn de rollen omgedraaid. Ik heb eigenlijk misschien niet zo'n intelligente vraag, maar ik zat wel te denken. Ik vond jouw vraag heel goed, Ned, om dat te stelen. Want ik heb natuurlijk een hele andere, misschien wel wat jongere, weet ik niet. Maar ik denk het, visie op hoe, binnen ons vakgebied, hoe we dat kunnen verbeteren, deze kwesties van diversiteit, inclusie en AI. Hoe zien jullie dat? Jullie hebben een hele andere ervaring dan ik, ook veel langer. Ja, zal ik hem aftrappen inderdaad? Eerst even een paar steekjes bij het technologische hart, waar we het net over hadden inderdaad. A, het stukje dat er inderdaad weerstand is en dat we dit eigenlijk niet al aan het begin tacklen. Dus ik vind dat we dit met elkaar moeten tacklen. Dus met de verschillende rollen die we allemaal hebben. En ik denk dat we er allemaal een bijdrage in hebben. En het eerste besef is, welke bijdrage heb ik? Welke rol vervul jij? Het kan gewoon iemand zijn die in de maatschappij gebruik maakt van de dienst. Maar het kan ook iemand zijn die het aankoopt, zoals we al gehad hebben. Maar ook iemand die het ontwikkelt, die de data verzamelt. En we hebben hier allemaal een rol in. Ik denk dat het stap daarin is, zorgen dat we die erkenning hebben bij elkaar. En dat we elkaar erop aan kunnen spreken, van "hé, maar staan we hier achter?" En het gesprek daarover te voeren. Dus ik denk dat daar, dus helemaal niet met per se alleen technologie, juist niet, daar moeten starten. Ja, ik heb wel, ja, hoe moet ik het zeggen, daar een soort van proces in meegemaakt, omdat ik in de naïeve veronderstelling was dat dit in eerste instantie echt wel een Amerikaans probleem was. Je hebt hier ook te maken met een Amerikaans bedrijf. Vanuit mijn technologische blik zag ik echt wel de problemen bij de grote techbedrijven, wat ze daar aan het doen waren. En kwam dat tot mij. Maar het is echt geland bij mij, bij de documentaire Coded Bias van Netflix. En wat mij daar raakte was sowieso het begin. Het begin van waar zij zeg maar het masker, het witte masker op moet zetten. Precies eigenlijk wat er met jou gebeurde met dat licht dat ze het witte masker op moest zetten. Om haar gezicht te laten herkennen voor gezichtsherkenningssoftware. Dat raakte mij op de een of andere manier ernstig. En dat werd gedurende de documentaire alleen maar erger. En vooral wat zo mooi was in de documentaire is dat ze ook lieten zien dat het ook in Europa plaatsvond. En dat heeft bij mij in ieder geval het besef gecreëerd van daar hebben we allemaal last van. En sinds die tijd ook daar natuurlijk allerlei voorbeelden van gezien in de media. En dan niet, ja uiteindelijk is, je valt altijd ergens onder een minderheid. Dat hoeft niet van kleur te zijn, dat hoeft niet. Dat maakt helemaal niks uit. Je bent ergens bij je een minderheid, dus uiteindelijk zijn we hier zo direct allemaal onderdeel van. Daarvoor waren we wel al als bedrijf bezig van hoe zou je dit nou weer naar de technologie kunnen halen. Ja, uiteindelijk vindt men dat toch beter. En dat zit ook een deel leuk. is dat we ook wel hebben gezien dat je dingen kan meten in je data. Je hebt fairness, je kan je model onder de microscoop zetten... en kijken van als ik het nou van verschillende kanten belicht. En dat vind ik daar ook wel een leuk onderdeel van. En zo leuk dat ik... Ik heb echt een passie voor uitlegbare AI. En ik denk dat dat een puzzelstukje is... in ieder geval oplossen van dit probleem. Dus als je weet hoe een model redeneert, heb je in ieder geval al een... Als ik hardop uitspreek hoe ik denk, kan een ander zeggen van... "Ja, hallo, hier zit een vooroordeel." - Woordkeuze bijvoorbeeld. - Woordkeuze of hoe je naar data kijkt. Nou ja, dat... En vooroordelen hebben we allemaal. Daar ontkomen we niet aan. Sterker nog, dat zit erin gebakken. Want in heel veel gevallen schijnen we het nodig te hebben. Waar gaat dit naartoe? Bij mij begon het zeg maar... In eerste instantie waren we er technologisch mee bezig. Toen begreep ik eigenlijk pas wat voor effect het heeft. En het heeft ervoor gezorgd dat ik heel veel onderzoek begeleid... op het gebied van uitlegbaarheid. En dat vind ik echt geweldig. Mag ik daarop doorpakken? - Zeker. Wat ik wil zeggen inderdaad is dus... Het met onze expertise openbreken van het stukje, alleen maar de sticker van AI of van een model. En daar inderdaad de handvaten geven om dat verder te kunnen onderzoeken, verklaren en dat soort zaken. En dat is een beetje de invulling die ik had inderdaad. Dat is onze rol en ja, mooi verwoord. Ja, en ik ben me heel erg bewust dat dat een puzzelstukje is. Je hebt zoveel meer nodig, al is het maar het verhaal wat jij vertelde over de universiteit. dat als jij met iets komt, dat iemand ook zegt van... Ik geloof jou. - Toch? Niet alleen geloof, maar ook gewoon zegt van... Ja, daar moeten we iets mee. - Het kan toch niet? Het lijkt zo evident, weet je. Je gezicht wordt niet herkend, daar heb je problemen mee. Los 'm op. En ja, daar snap ik af en toe echt helemaal niks van. Nee, ik ook niet. - Ja, toch? Dat is nog steeds voor mij een hele grote vraag... van waarom ze op die manier gehandeld hebben. Dus dat heeft niks meer met AI te maken, maar gewoon met de behandeling van... andere mensen maar het is voor mij waarschijnlijk voor altijd een raadsel blijven. Ja. Dus ja, dank jullie wel voor het goed beantwoorden van mijn verhaal. Ja geweldig. Ja, voor je goede inzicht. Ja, dat is maar net hoe het gegenereerd is. Ja, ik had een volgende vraag, maar die is wel groot. Dat doe je goed. Aisha is nu out of her chest. Ik dacht dat Aisha haar werk zou overnemen. Maar kijk, we doen het nog. Andersom. The human touch. De AI is overgenomen door de mensen. Ehm... Jeetje. Ik ben echt even van me afgekomen. We hebben natuurlijk ook wel meer gasten die gaten hebben over ethiek. En ik ben even de naam kwijt. Van de groep die vaak bij elkaar komt. komt toch wat erg Samaa bedoel je van Samaa hoe het Samaa en Noëlle van de Dutch AI Ethics inderdaad ja ja ja ken ik ook persoonlijk heel leuke leuke dames heel lief heel ook echt gewoon super strijdbaar dus super tof wat ze allemaal doen ja ja en in de teek van inderdaad we zijn met meer mensen hiermee bezig dus zoek ook de groepen op hier met elkaar over te hebben en en wat het voor je kan betekenen om daar een hulplijn in te hebben. Dank je wel Aisha, zou ik bijna zeggen. Robin, heel fijn dat je bij ons te gast wilde zijn en hierover wilde spreken. Ik was heel erg benieuwd naar je verhaal en ik denk dat dat voor iedereen ook van belang is. Dank je wel. Dank jullie wel en tot de volgende keer. Leuk dat je weer luisterde naar een aflevering van AETD Live. Als je ons wil steunen via Spotify heb je de mogelijkheid om 5 sterren uit te delen. Dat zou ons ontzettend helpen. Alvast bedankt!