Bevooroordeelde AI examensoftware: Het gevecht van Robin Pocornie

Robin, kun je jezelf even voorstellen en vertellen wat je doet?

Mijn naam is Robin en ik ben student bio-informatica aan de VU, de Vrije Universiteit Amsterdam. Daar ben ik eigenlijk nog steeds mee bezig met die master, al ben ik door een samenloop van omstandigheden een klein beetje uitgefaseerd uit de wetenschap momenteel. Ik werk nu als creatief producent voor evenementen en daarnaast spreek ik ook over AI en ethiek voornamelijk. Wat interessant is aan mijn positie is dat ik een computer science achtergrond heb, maar tegelijkertijd ook heel nadrukkelijk aan de andere kant van de streep heb gestaan. Ik heb heel erg last gehad van wat er mis kan gaan als dingen ethisch niet op de juiste manier zijn geïmplementeerd.

Wat is er dan precies misgegaan in jouw situatie met AI-software?

Bij de VU en bij verschillende universiteiten tijdens corona werd software gebruikt om tentamens remote te kunnen laten afleggen door studenten. De software die gebruikt werd heette Proctorio. Net als bij een echt examen op locatie heb je dan een surveillant, maar in dit geval was de surveillant vervangen door software. Die software checkt of studenten spieken of niet door middel van image data. Het systeem kijkt bijvoorbeeld of je lang wegkijkt of juist niet, en analyseert je klik-gedrag. Om in die software in te kunnen loggen, moet je je gezicht scannen. In mijn geval, ik ben een zwarte vrouw, kon ik niet in die software inloggen. Dat viel me eigenlijk al best wel vroeg op. Er was een fase waarin je bijvoorbeeld je studentenpas moet scannen, en de computer of in ieder geval de software kon dat op dat moment wel herkennen als een pas, de drie of de vier hoeken van een pas. Maar mijn gezicht kon het systeem niet detecteren. In dezelfde omstandigheden, namelijk in die kamer, kon de software dus wel mijn pas scannen, maar niet mijn gezicht.

Hoe merkte je dat de software je gezicht niet kon herkennen?

Ik kreeg een notificatie van 'room too dark', 'face not detected', dat soort meldingen. Toen heb ik een lamp op mijn gezicht geschenen en toen werkte het wel. Maar wat bijzonder is: het was gewoon overdag en het waren eigenlijk gewoon realistische levensomstandigheden waarin ik zat. Dus niet een te donkere kamer, het was niet 's avonds laat, het was gewoon 's middags met goede verlichting, niet achterverlichting, maar echt van voren, raamlicht.

Had je meteen door dat dit met je huidskleur te maken had?

Niet per se meteen mijn huidskleur, maar meer dat ik dacht: oh, dit algoritme kan waarschijnlijk gezichten gewoon niet goed detecteren. Dus ik was best wel, misschien naïef, maar ik wilde wel vertrouwen dat het niet aan mijn zwarte huidskleur lag. Maar deze software werd op dat moment al heel veel gebruikt in de Verenigde Staten, dus daar was er al een veel grotere groep gebruikers. En daar was al anekdotisch bewijs van studenten dat het gewoon heel evident was dat zwarte studenten daar last van hadden, op dezelfde manier zoals ik daar ook last van had. Toen was het eigenlijk nog een kwestie van onderzoek doen naar empirisch bewijs, of in ieder geval kwantitatief bewijs. De software was al reverse-engineered geweest door een andere wetenschapper, dus je wist in ieder geval op welke datasets het getraind was. Dan kom je er al wel snel achter dat het dus wel komt door het niet kunnen detecteren van mijn huidskleur.

Werd je alleen gehinderd bij het inloggen, of ook tijdens het examen zelf?

Ook tijdens het examen had ik er last van, en dat is ook het vage van deze software. Nog steeds in het proces, drie jaar later, is het nog steeds onduidelijk hoe het precies werkt. Maar dat is vaak bij dit soort ontwikkelingen: als je een product hebt waar je geld mee verdient, dan ga je natuurlijk niet vertellen hoe het precies werkt. Ik werd uit het systeem gegooid tijdens het examen en dan moest ik dan weer inloggen met datzelfde proces, met mijn gezicht dat niet gedetecteerd werd. En daarnaast ben je gewoon een student en je probeert gewoon je best te doen en goede cijfers te halen. Dus je bent nerveus. Ik was nerveus dat het niet zou lukken, dat ik niet in mijn examen zou komen, dat ik dan niet mijn examen zou kunnen doen. En het was ook niet even een alternatief inloggen met een workaround en alles was klaar. Nee, je werd gewoon echt gehinderd in het uitvoeren van je examens. Als ik er eenmaal in was, dan was het het zweet van mijn voorhoofd afdeppen van de stress en dan gewoon een examen maken.

Wat deed je toen je dit probleem had geconstateerd?

De universiteit gaf geen gehoor aan mijn klacht. Ik diende mijn klacht in vanuit mijn eigen ervaring, maar ook vanuit de zorg dat andere studenten dit meemaken zonder deze achtergrondkennis. Misschien hadden zij geen lamp in hun gezicht geschenen omdat ze niet wisten hoe dat werkte met de camera. Dan zouden zij misschien wel nog grotere consequenties hebben gehad, dat ze misschien hun studie niet hebben kunnen afmaken, of nog meer vertraging hebben opgelopen. Ik begon klein: eerst naar een docent, toen naar de studentenraad, toen naar de studentenadviseur, toen naar de studentenombudsman. Overal kreeg ik geen gehoor. Ik ben niet verder gegaan omdat ik het leuk vond, maar meer omdat ik dacht: deze persoon kan mij niet helpen, die wijst mij weer naar de volgende, dus daar ging ik dan weer naartoe. Uiteindelijk heb ik een soort van klachtbrief geschreven naar het college van bestuur, de ombudsman en de examencommissie van de universiteit. In die brief schreef ik: hier is wat er gebeurd is, dit is al het bewijs dat ik heb dat dit programma, dat deze software niet werkt. Het systeem moet niet ingezet worden op een publieke instelling zoals onze universiteit. En jullie moeten daar nu onderzoek naar doen, want het wordt nog steeds gebruikt.

Waren er meer studenten die hetzelfde probleem hadden?

Er is niemand bij mij aangesloten, maar ik weet wel dat meerdere studenten dit hebben meegemaakt. En ik snap dat niemand bij mij zich heeft aangesloten, omdat dat gewoon een heel erg vermoeiend en lang proces is. Ook zitten sommige studenten er echt niet op te wachten om... Ik ben uiteindelijk wel sterk in het nieuws met mijn naam, ik ben makkelijk te vinden nu, veel makkelijker dan hiervoor. Dat is wel iets wat ik zelf niet had gewild, maar waar ik wel voor durf in te zetten. Ik vind het ook belangrijk voor de volgende generatie en de volgende mensen die dit meemaken.

Heb je hulp gehad in dit proces?

Binnen de universiteit was er niemand die met me meedacht of meewerkte. Alle hulp die ik heb gehad, heb ik van het Racism and Technology Center gehad. Dat is een organisatie buiten de universiteit, helemaal volunteer run, door de oprichters daarvan die zich inzetten tegen de invloeden van oneerlijkheid in de maatschappij en in onze technologie, heel makkelijk gezegd. Het Racism and Technology Center is echt een interessant platform. Hans de Zwart, de voormalige directeur van Bits of Freedom en een van de oprichters van het Racism and Technology Center, schrijft daar heel goed over. Zij maken ook een heel mooi overzicht van waar technologie uit de bocht vliegt op dit gebied. En ze doen dat op een begrijpbare manier. Want je hebt de technologen, de wetenschappers - ik zie mezelf daar ook onder - maar ik zie mezelf ook een beetje als een vertaler tussen die twee werelden, de maatschappij en de wetenschap. Ik snap ze allebei, maar de verbinding daarin, daar zijn nog heel weinig platforms of mensen die daar echt op een begrijpbare manier die verbinding in maken.

Wanneer stapte je naar het College voor de Rechten van de Mens?

Toen er bij de universiteit geen gehoor was voor dit probleem, ben ik naar het College voor de Rechten van de Mens gestapt. Dit probleem is natuurlijk ook groter dan alleen het gebruik van deze specifieke software. Het gaat ook over software die later door de universiteit wordt aangeschaft. Als daar niet met zorg en een ander oog naar wordt gekeken, dan blijft dit probleem zich voortduren binnen de universiteit. Bij het Racism and Technology Center kende ik een van de oprichters, en daar zijn we bij elkaar gekomen om die zaak, die klacht, bij het College voor de Rechten van de Mens in te dienen. Ik heb geen juridische achtergrond en ik wist allemaal niet hoe dat werkt, dus daar heb ik hun hulp bij gekregen. Dat is echt super geweest, want zonder hen had ik dat niet kunnen doen.

Hoeveel tijd zit er tussen je eerste ervaring en het indienen van de klacht?

Mijn eerste ervaring was in september 2020, dus dat is op het moment dat ik meemaakte dat de software mijn gezicht niet kon detecteren. Ik heb in juli 2022, dus ongeveer anderhalf jaar later, die klacht ingediend. En nu zitten we in september 2023, en over een paar weken komt dat eindoordeel. Die heb ik dus nog niet. Maar dat is wel drie jaar vanaf het moment dat ik het heb geconstateerd. In het begin ga je natuurlijk ook niet gelijk uit van zo'n proces dat je gaat volgen. Dat is ook een reis die eigenlijk niet van tevoren start. Ik ben blij dat ik dat allemaal niet wist, want soms moet je niet gehinderd worden door enige kennis. Ignorance is bliss, zoals ze zeggen.

Heb je al wel een tussenuitspraak gehad?

Ja, ik heb in december 2022 een tussenoordeel gekregen waarin de 'burden of responsibility' - de bewijslast - op de VU werd gelegd. Dat is best wel een heel belangrijk ding in onze jurisprudentie binnen technologie en discriminatie en ongelijkheid. Want in Nederland is dat de eerste keer dat iemand aannemelijk heeft kunnen maken dat software heeft gediscrimineerd. Dat is voor ons al een win, want dat kon je in Nederland nog niet op die manier doen. Het college heeft ook gezegd dat de verantwoordelijkheid ligt bij de persoon die het aankoopt, dus bij de universiteit in dit geval. Dat maakt het dus wat fijner voor de consument, of de mensen die daarvan gedupeerd worden. Want als we alleen achter de leverancier zouden aangaan, dan zou de universiteit makkelijk kunnen zeggen: oké, Proctorio gebruiken we niet meer, dan gebruiken we wel een ander product dat precies hetzelfde werkt. Dan heb je het probleem daarmee eigenlijk niet opgelost.

Waarom is het zo belangrijk dat de verantwoordelijkheid bij de aanschaffende partij ligt?

Als we het hebben over AI en ethiek, gaat het vaak over de mensen die de producten maken. Dat zijn vaak witte oude mannen, en daar ben ik het mee eens dat daar een probleem ligt. Maar dat idee van datasets, trainen en modellen, dat is nog best wel gecompliceerd, ontzettend gecompliceerd voor mensen die daar nul idee van hebben. Het idee van wat je aankoopt, daar ben je verantwoordelijk voor, dat is veel makkelijker te snappen. En dat kan ook veel sneller leiden tot veranderingen, denk ik, bij de leverancier, bij de ontwikkelaars. Het is niet heel veel anders dan dat je iets koopt in de winkel en dat zij verantwoordelijk zijn dat het een goed product is. Zij mogen niet doorverwijzen naar wie er allemaal in de keten achter zit. Ook super in het Nederlandse systeem is dat dit nog niet eerder gebeurd was. Volgens mij ook over de wereld nog niet, maar dat moet ik nog even goed checken. Maar zover heb ik dit dus nog niet gezien in andere scenario's waar de persoon die aanklaagt uiteindelijk niet verantwoordelijk is voor het leveren van bewijs.

Heb je nog reacties gehad van de leverancier, Proctorio?

Indirect wel. Toen de VU in december het tussenoordeel kreeg waarin de burden of responsibility bij hen lag, moesten zij gaan bewijzen dat de software van Proctorio niet discrimineerde. Dan ga je natuurlijk wel bij de leverancier aankloppen voor data en verschillende bewijsstukken. Indirect heb ik van de leverancier, via de bewijsstukken vanuit de VU, wat Proctorio heeft aangeleverd bij de VU als bewijs dat hun product helemaal goed is. Dat kan ik inhoudelijk nog niet helemaal uitmaken tot het eindoordeel er is. Maar wanneer dat allemaal wrapped up is, dan ben ik wel van plan om daar wat meer inhoudelijk over uit te wijden. We wachten nog even af totdat het eindoordeel er is, zodat we daar gewoon nog in kunnen... Mocht er nog iets komen dat we nog iets tegen moeten zeggen, dan zijn we daarvoor ingedekt.

Is het alleen de trainingsdata die voor dit probleem zorgt, of spelen er meer factoren?

Er zijn inderdaad meerdere factoren. Als je kijkt naar het werk van de Algorithmic Justice League en Joy Buolamwini, zij heeft heel erg laten zien dat de trainingsdata van bijvoorbeeld Microsoft en Amazon uit balans is. Als vrouw van kleur heb je een soort van dubbelachterstand, want er zitten al minder vrouwen in de trainingsdataset, en nog minder vrouwen van kleur. Maar daarnaast heb ik ook op natuurkundige basis proberen te bewijzen dat de cameratechnologie überhaupt ook nog niet helemaal klaar is. Het heeft te maken met lichtreflectie. Lichtreflectie van mijn huid is anders dan die van witte huid. En daarom kunnen camera's überhaupt zwarte gezichten moeilijker detecteren. Als je daarnaast nog een algoritme erop gooit, wordt het dus nog moeilijker. Er zijn dus meerdere variabelen die het gewoon maken dat dit moeilijker mogelijk is. Niet onmogelijk, maar wel moeilijker. Dus dat is niet om totaal de verantwoordelijkheid af te halen bij de trainingsdata, maar er zijn wel meerdere lagen van het probleem.

Hoe kijk je aan tegen het gebruik van AI in creatieve processen?

Ik denk dat AI een hulpmiddel zou moeten zijn om ons leven makkelijker te maken, zodat wij meer plezier uit het leven kunnen halen. Ik denk dat bijvoorbeeld AI die kunst nabootst of kunst maakt - en dat is muziek of visual art, noem maar op, heel breed - daar ben ik persoonlijk niet een fan van. Ik denk dat kunstmaken, muziek maken, dat dat een menselijke enjoyment is. Dat is waar we veel geluk uit halen. Dus om dat dan te laten vervangen door AI, dat zou ik dan zelf niet een hele goede inzet vinden van zo'n systeem. Wat mij betreft, zeker ook in het creatieve proces, mag AI prima toegepast worden, maar als ondersteuning van, en niet ter vervanging van. Dus qua ondersteuning zeker, zowel bij muziek als bij andere creatieve uitingen. Maar niet dat AI volledig autonoom kunstwerken, boeken of muziek creëert zonder menselijke input.

En hoe kijk je aan tegen AI die menselijke emoties probeert te herkennen?

Verder ben ik van mening dat sommige prediction models, bijvoorbeeld die een soort van futuristische voorspellingen doen van 'hé, wat is de uitkomst van deze actie', of bijvoorbeeld emotieherkenning, dat dat ook een beetje jammer is. Ik denk dat we nog wel moeten leven met dat idee dat er... dat alles kan gebeuren, dat er onzekerheid is in het leven. Als het gaat over psychologische toepassingen zoals emotieherkenning, daar zou ik ook niet aan toe willen. Dat je, weet ik veel, dat het optrekken van één wenkbrauw een of andere klassificatie krijgt. Dat is ook cultureel heel verschillend. Dat kan je bijna... ja, het zou heel lastig zijn om één systeem te hebben dat dat zou moeten doen. Ik denk dat het op termijn wel zou kunnen, maar de vraag is of we het moeten willen. Kernpunten en Praktische Adviezen Bewijslast bij aankopende partij: Een belangrijke doorbraak in Nederland is dat de verantwoordelijkheid voor discriminerende software bij de aanschaffende organisatie ligt, niet bij de leverancier. Dit betekent dat universiteiten, overheden en bedrijven zorgvuldig moeten onderzoeken of software discrimineert voordat ze deze inkopen. Meervoudige oorzaken van bias: Discriminatie in gezichtsherkenningssoftware komt niet alleen door eenzijdige trainingsdata, maar ook door beperkingen in cameratechnologie zelf. Lichtreflectie werkt anders bij verschillende huidskleuren, waardoor camera's donkere gezichten moeilijker detecteren. Anekdotisch bewijs serieus nemen: Toen Robin haar ervaring deelde, bleek dit geen geïsoleerd incident. Er was al anekdotisch bewijs uit de Verenigde Staten van soortgelijke problemen. Organisaties moeten individuele klachten serieus nemen en onderzoeken of er structurele problemen zijn. Transparantie is cruciaal: Drie jaar na het incident is het nog steeds onduidelijk hoe Proctorio precies werkt. Bij software die ingrijpende gevolgen heeft voor mensen (zoals tentamensoftware), is transparantie essentieel voor verantwoording en verbetering. De kosten van procederen: Het duurde drie jaar vanaf het eerste incident tot het eindoordeel. Dit lange proces is vermoeiend en niet iedereen heeft de middelen en energie om dit vol te houden. Organisaties moeten interne klachtenprocedures hebben die snel en effectief problemen oplossen. Preventie boven reactie: Universiteiten en andere organisaties moeten vooraf onderzoeken of software discrimineert, niet pas nadat studenten of medewerkers gedupeerd zijn. Dit vereist diversiteit in testgroepen en awareness van potentiële bias. Rol van externe organisaties: Het Racism and Technology Center speelde een cruciale rol door Robin juridisch te ondersteunen. Dergelijke organisaties zijn essentieel voor mensen die tegen oneerlijke systemen vechten. AI als hulpmiddel, niet als vervanging: AI moet ingezet worden om mensen te ondersteunen in hun werk en creativiteit, niet om menselijke activiteiten volledig over te nemen, vooral niet bij creatieve processen die fundamenteel menselijk zijn. Culturele context bij emotieherkenning: Emoties en non-verbale communicatie zijn cultureel bepaald. AI-systemen die emoties proberen te herkennen kunnen daarom niet universeel ingezet worden zonder rekening te houden met culturele verschillen. Verantwoordelijkheid van technologen: Mensen met een technische achtergrond, zoals Robin, hebben een belangrijke rol als vertaler tussen de technische wereld en de maatschappij. Ze kunnen complexe technische vraagstukken begrijpelijk maken voor een breed publiek. AIToday Live is een podcast die zich richt op de nieuwste ontwikkelingen in AI en de impact ervan op verschillende sectoren. In elke aflevering spreken hosts Niels Naglé en Joop Snijder met experts uit het veld om inzicht te krijgen in de mogelijkheden en uitdagingen van AI-technologie. Luister via je favoriete podcast app: Spotify, Apple podcasts, YouTube Music, en meer.