Het snijvlak van ethiek en technologie: navigeren door de uitdagingen

Hoi, leuk dat je weer luistert naar een nieuwe aflevering van AI Today Live. Vandaag deel 2 met onze gast Kolja Verhage. Mijn naam is Joop Snijder, CTO bij Aigency. Mijn naam Niels Naglé, chapter lead data AI bij Info Support. Kolja, wederom welkom. Leuk dat je in onze podcast te gast wil zijn. Zou je je willen voorstellen aan onze luisteraars? Jazeker, ik ben Kolja Verhage. Ik ben manager in het Digital Ethics Team van Deloitte. Daarnaast vertegenwoordig ik Deloitte bij het OECD Working Party on AI Governance. Ik zit ook in de normcommissie AI en Big Data van NEN. Die werkt aan de technische standaard die uit de AI Act vanuit de Europese Unie komt. En daarnaast ben ik onderdeel van de werkgroep Ethique bij domein mensgerichte AI. Als onderdeel van de Nederlandse AI coalitie. Ja, dat is een vrij breed palet aan werkzaamheden die je doet, allemaal gerelateerd aan ethiek. Wat ik zo mooi vind, ik zit nu zo'n 10 jaar in dit vakgebied van kunstmatige intelligentie. Toen ik begon waren ethische vraagstukken niet het eerste wat bovenaan stond. A) was de technologie nog helemaal niet zo bekend, dus mensen interesseerden zich helemaal niet. Dus ik denk dat je ziet hoe breed, niet alleen de verschillende organisaties, maar volgens mij doe je het zowel lokaal, en met lokaal noem ik even Nederland, en internationaal, dat je ziet dat er steeds meer aandacht komt voor dit onderwerp. Ja, zeker. Ik ben ooit begonnen met kunstmatige intelligentie studeren aan de UvA in 2005 of 2006. En toen was het ook ethiek niet echt een vast onderdeel van de opleiding. Maar ik vond het zo interessant die maatschappelijke aspecten daarvan, dat ik daarom ben doorgaan studeren op politicologie. Om daar juist wat meer in te gaan duiken, van wat is die impact nou? En in de tussentijd tot een jaar of 2018, Toen zag je eigenlijk met de Asilomar-principes, die als eerste werden gepubliceerd, en daarna kwamen Google en OECD en Microsoft met hun ethische principes, dat toen eigenlijk pas het besef kwam van, "Goh, de technologie gaat zo hard, dat de wet eigenlijk niet meer een goede, hoe zeg je dat, guidance biedt om negatieve externalities te voorkomen. Dus we moeten verder gaan dan de wet. En hoe doen we dat? Hoe gaan we verder dan de wet? En wat betekent dat? Hoe kunnen we dat op een gestructureerde manier doen? Want ja, ethiek, voor heel veel mensen is het nog steeds vluf. Ja. - Meningen. Jouw ethiek is niet mijn ethiek. En dat soort misvattingen leiden ertoe... dat het te weinig nog echt hard wordt geoperationaliseerd in bedrijven. Maar zie je wel, steeds meer gebeuren... Het is een hele goede vraag, want de NEN is bezig met de technische standaard die vanuit Sense Analect, dat is een technische standaard, die uit de technische standaard van de NEN, die is een technische standaard die uit de technische standaard van de NEN De NEN is bezig met de technische standaard die vanuit SENSENELEC, dat is het Europese Standardisatieinstituut, gecreëerd gaat worden, waarmee bedrijven hun compliance met de nieuwe AI-Act die eraan gaat komen, kunnen aantonen. En daar is dan een soort conformity assessment, daar gaat er vanuit dat, of presumed conformity, dat als je je aan die standaard houdt, dat je dan ook check bent met de AI-act. Het lastige is alleen dat er een soort van spanning is tussen een technisch standaard, wat gewoon een harde eis is, en ethiek, die veranderlijk is en niet eigenlijk hard gecodeerd kan worden. Dus er leeft... - Je kan er geen checklist voor maken. Precies. Dus er leeft eigenlijk een grote uitdaging nu, waar er binnen ScenCenelec, maar ook binnen NEN, veel over gesproken wordt. Namelijk, hoe kan je ethiek op een technische manier operationaliseren? Meer, nog wat specifieker gezegd, hoe kom je tot de objective function, of de goal function, waarop je een AI-systeem optimaliseert, die in lijn is met bepaalde ethische waarden? En wat voor proces is daarvoor nodig? En dat proces kan je wel standaardiseren. Dus als je daar tot een bepaald mooi proces komt waarmee je de ethiek beïnvloedt, wat de uiteindelijke goalfunction is waarop je het systeem optimaliseert, is het misschien wel mogelijk, maar hoe doe je dat? Ja, even voor mezelf, of ik het goed begrijp. Dus door het proces wel te standardiseren en te toetsen of dat proces dan gevolgd wordt, weet je in ieder geval dat er over nagedacht is en dat de ethiek onderdeel is geweest van het beslissingsproces, Maar het zegt nog niks over de ethische waarden van de ene organisatie, en heel anders dan de ethische waarden van de andere organisatie. Wat het effect is op de oplossing. Ja, klopt. Maar er zijn... Nee, dat klopt. Maar binnen de AI-Act zijn er ook ethische waardes. Dus daar, die zijn dan in die gevallen de leidraad. Oké. Maar dat gaat dan... Kijk, een leuk voorbeeld dat ik vaak gebruik. Dat is een beetje een grappig voorbeeld. Dat is een grote supermarkt in Nederland die we allemaal wel kennen. Die begon met een app die ze hadden ontwikkeld. Dat was een pilot voor een aantal vestigingen voor werknemers, om een foto van zichzelf te maken waarmee ze de perfecte maat uniform zouden krijgen. Dat hebben ze toen uitgerold en vanuit de gedachte, Vanuit die optimalisatie gedachte gingen ze toen vragen aan werknemers om een foto van zichzelf te maken in hun ondergoed of in hele strakke kleding. Allemaal was dat qua AVG en cyberwetgeving, was dat allemaal perfect compliant en juridisch helemaal check. Maar toen dat in de media kwam, dat er een server was ergens waar die de mensen in de media konden opnemen, die ze dan ook in de media konden opnemen, Als je wil optimaliseren op de laagste possible error rate en dat jouw enige objective is, dan ga je niet op de laagste possible error rate gaan. Je moet het op de laagste possible error rate gaan. Je moet het op de laagste possible error rate gaan. Je moet het op de laagste possible error rate gaan. Je moet het op de laagste possible error rate gaan. Je moet het op de laagste possible error rate gaan. Je moet het op de laagste possible error rate gaan. Je moet het op de laagste possible error rate gaan. Je moet het op de laagste possible error rate gaan. Als we het heel concreet maken op dit voorbeeld. Hoe zou dan zo'n proces, zo direct gedefiniëerd door de NEN, hier verandering op hebben uitgevoerd? Stel dat dit bedrijf altijd wel toegepast had. Waar in het proces waren ze erachter gekomen van, misschien moeten we dit niet doen of anders. En dan zou je dan een heel ander perspectief zien. En dan zou je dan een heel ander perspectief zien. waar ze erachter gekomen van misschien moeten we dit niet doen of anders doen of wel doen, maar we kiezen ervoor. - Nou ja, hoe dat uiteindelijk echt technisch eruit komt te zien, dat kan op verschillende manieren, maar het faciliteren van bijvoorbeeld een impact assessment, waarin je een ethical impact assessment, waarin je juist allemaal van die verschillende perspectieven meeneemt in de ontwikkeling van je product, dan krijg je zicht op dat soort dingen. Een voorbeeld Wat ik ook in dat artikel noem, wat ik voor het OECD heb geschreven, is de toeslagenaffaire die heel vaak wordt genoemd. Er zijn heel veel aspecten van de toeslagenaffaire, maar één belangrijk onderdeel is dat het systeem, het bredere systeem, dus niet alleen maar het AI-model, maar het hele systeem van fraudesignalering, eigenlijk puur en alleen is geoptimaliseerd op fraudedetectie en fraude tegengaan. En daar werd enorm veel op gepusht. En heel veel mensen werden echt aangejaagd en geapplaudisseerd... om meer die fraudedetectie in de voorgrond te laten houden. Maar als daar in de tussentijd wat meer was gekeken naar zaken zoals eerlijkheid en discriminatie... en die mee waren genomen in de ontwikkeling van het hele systeem... Dan was de kans dat de keerzijden ervan eerder op de radar kwamen, veel groter geweest. Ja, dus tijdens design, als ik het even voor mezelf vertaal, naar de processen. Dan zou je in de designfase dat soort vragen gaan stellen. De andere perspectieven daarin meenemen en niet alleen optimaliseren op het één, maar wat als we optimaliseren op andere zaken? Of hebben we daarover nagedacht om dat mee te nemen? Ja, en dan inderdaad vooraf, maar ook achteraf. want er zijn genoeg voorbeelden van bepaalde toepassingen die in het begin een heel goed idee leken, maar gaandeweg, omdat aanpassingen, zo gaat het in de ontwikkeling van een product, dan verschuift de focus en dan kom je uiteindelijk op met een heel ander product dan in eerste instantie in de pilot fase is bedacht. Of het gebruik van het product is anders dan dat. Intenties, Hamer bijvoorbeeld. Ja, interessant. Wat we nog wel vaak zien is dat vaak nog, daar hebben we het al heel vaak over in een eerdere podcast opgeleverd, dat het vaak nog een technische oplossing is, omdat het technisch nou eenmaal mogelijk is dat we die oplossing maken, waardoor we ook vaak dit soort vraagstukken niet tacklen. Hoe kunnen we dat in zo'n proces voorkomen? Dat het niet een technisch feestje is, wat het in het begin soms vaak wel is, omdat de techniek maakt het nou eenmaal mogelijk. Ja, nou wat ik veel zie is dat, dat is een beetje een algemene uitdaging op dit moment, dat vanuit beleidsmakers, vanuit juristen, wordt de verantwoordelijkheid om ethiek, in brede zin, in de ontwikkeling van een model, van een technische oplossing, de verantwoordelijkheid om dat toe te passen, of om dat te operationaliseren, wordt heel erg bij de techneuten neergelegd. Van nou, eerlijkheid is belangrijk. Hier, techneut, ga het maar oplossen. Ga het maar bedenken hoe dat moet. Maar die antwoorden hebben die techneuten ook niet. Die zijn ook maar mensen, zeg maar. Die hebben ook niet alle antwoorden hoe het dan wel goed moet. Dus de discretionaire macht van de technische afdeling van de techneuten... is eigenlijk iets te groot. In de zin dat er ook teveel verantwoordelijkheid van hun wordt verwacht... om dit soort vraagstukken op te lossen. En mijn kijk daarop is dat beleidsmakers en juristen... meer zelf de verantwoordelijkheid moeten nemen... om ook wat over de techniek te gaan begrijpen... en dan te kunnen helpen en ermee te praten... hoe dat soort oplossingen eruit zouden komen te zien. Want we kunnen niet de volledige verantwoordelijkheid bij de techneuten laten. Dat is niet de manier waarop we dat kunnen oplossen. Hele mooi inderdaad. Ik denk dat we wel meet in the middle doen. Dat we ook zeggen tegen de techneuten, jongens als jullie nu luisteren als techneuten, wees ook van jezelf bewust, stel die vraag, is hier ook over nagedacht, is ethiek meegenomen? En hebben we dat gecoverd met elkaar? Dus dat dat ook vanuit de andere kant van de juristen komt, en ook product owners en dat soort zaken. Maar ook de techneuten, laten we elkaar daarop challengen en het gesprek met elkaar voeren. Ja, en ik zie bij bedrijven, eigenlijk een beetje zwart-wit, maar je hebt de move fast and break things organisaties, die dus heel erg gericht zijn, gewoon innoveren, laten we eerst een product maken en daarna kijken wat er gebeurt. Dat zie je toch wel over het algemeen wat meer bij kleinere organisaties. En de organisaties waar juist de techneuten zich wat oncomfortabel voelen met die verantwoordelijkheid, dat ze zoiets hebben van, ja, er wordt van ons verwacht dat wij gaan oplossen wat eerlijkheid is, voor een systeem wat super grote impact op mensen heeft. En dan aan de bel trekken, we willen hier wat guidance bij hoe we dit moeten doen, want wij gaan dit zelf niet in ons eentje oplossen. En eerlijkheid, als term is het al ontzettend moeilijk toch? Wat is eerlijk? Wat is eerlijk in de context? Voor wie? Er zijn 21 mathematische definities van eerlijkheid. Dus welke moet ik dan in deze context toepassen? En om een voorbeeld te geven, in sommige gevallen wil je dat een model mannen en vrouwen gelijk behandelt, terwijl in de gezondheidszorg wil je dat absoluut juist niet. Want dan zijn we ook verschillend. Dus wat is dan eerlijkheid? Je kan niet één metriek erop zetten en zeggen van dit model is eerlijk. Nee, precies. Ik las een paar dagen geleden nog in het Parool wat ik een mooi voorbeeld van de eerlijkheidsdiscussie vond. Daar stond als je meer geld verdient moet je dan ook hogere boetes betalen. Dat is echt zo'n mooi voorbeeld van eerlijkheid. Is dat eerlijk of is dat minder eerlijk? Dat soort vragen zijn natuurlijk politieke en maatschappelijke vragen. Daar zullen mensen heel anders op antwoorden. Heb je ergens een voorbeeld, en je hoeft het bedrijf niet te noemen, waar dit heel goed is gegaan, de implementatie van de assessments over de ethische waardes, of misschien zelfs wel de bijstelling van een project dat er liep. Maar ik heb wel een bedrijf, een groot bedrijf uit Zweden, en die zijn er wel echt heel erg ver mee. En die zijn ook wel echt op het punt dat ze het niet kunnen doen. Dus ik denk dat het een beetje een verhaal is. Maar ik denk dat het een beetje een verhaal is. Ik denk dat het een beetje een verhaal is. Ik denk dat het een beetje een verhaal is. Ik denk dat het een beetje een verhaal is. Ik denk dat het een beetje een verhaal is. Ik denk dat het een beetje een verhaal is. Ik denk dat het een beetje een verhaal is. ergen ver mee en die zijn ook wel echt op het punt dat ze goede principes hebben, definities, operationalisering rondom impact, impact assessments, een ethische comité die nadenkt over verschillende algoritmes en ontwikkeling ervan en de manier waarop data wordt gebruikt en al die aspecten in meeneemt. Dus ja, nee, die zijn er zeker, dat soort bedrijven. Dat is fijn om te horen. - Die hebben we ook wel nodig. Nou ja, als je vaak over dit soort onderwerpen praat, dan halen we natuurlijk heel snel de schandalen aan. En dan vergeten we misschien soms waar het ook goed gaat en hoe je het goed doet. Maar het zijn echt de bedrijven die echt achter hun waarde staan. De meeste bedrijven die oprecht en ook wel naar buiten treden met een boodschap. Wij vinden onze werknemers belangrijk, wij staan achter onze waarden. We vinden sustainability belangrijk als voorbeeld. En daar al jarenlang ook een track record op hebben dat ze er iets mee doen. Bij dat soort bedrijven zie je toch wel vaak dat er iemand binnen organisatie is geweest... die aan de bel heeft getrokken en die heeft gezegd... wij moeten hier met dat digitale aspect ook iets doen. Om het in lijn te brengen met onze waarden. Wat ik me dan afvraag is, wat voor discipline zit er dan om tafel? dan zie je dat het vaak een mix is van intern en extern. Dus een project manager of project owner, een technisch persoon, iemand die het heel goed kan doen, iemand die het heel goed kan doen, iemand die het heel goed kan doen. En dan zie je dat het vaak een mix is van intern en extern. Dus een project manager of project owner, een technisch persoon, iemand die het heel goed kan doen. project manager of project owner, een technisch persoon, iemand vanuit de legal hoek, een academicus, een professor van TU Delft ofzo. Ja, echt een mix, echt multidisciplinair. Want dat is de manier om ook juist die verschillende perspectieven wederom mee te krijgen in de uiteindelijke beslissing. - Mooi om te horen. En misschien wel goed om te noemen wat tussenverwaard is vaak bij dat soort implementaties van ethische comités. Waar het vaak vringt is wat wordt er gedaan met de adviezen? Dus dan komen er tien mensen, of misschien zijn het er maar vijf, bij elkaar en zeggen dit model kan wel, maar onder deze en deze voorwaarden. Wat gebeurt er dan vervolgens daarmee? Er moet dus iemand binnen een organisatie zijn die het mandaat heeft... om daadwerkelijk die adviezen te gaan doorvoeren. Of in ieder geval ook te zeggen, dit advies wel, dit advies niet. Op basis waarvan gebeurt die beoordeling. En is er vervolgens ook een budget en een mandaat... dat die persoon het ook echt kan gaan doorvoeren. En daar zie je dat veel bedrijven nog struikelen. Want het opzetten van een praatgroepje is niet zo moeilijk. Maar 'meaningful impact on ultimate decision making', zeg maar. Dat is wel lastig, want er gaan grote belangen in om. Ja, vooral dat het ook een enorme impact kan hebben op de organisatie... en op wie het van toepassing is. Dat het ook grote belangen is die meespelen. Ja, precies. En als je consistent als organisatie niet die adviezen opvolgt... waarvoor heb je dan zo'n praatgroepje? Dus wat we ook wel eens zien, dat vind ik zelf wel een interessante, is dat noemen ze comply or reply. Dus stel je er komt een advies vanuit een ethisch comité, en dat wordt dan bij Techneut, waarbij een product owner neergelegd, dan moet hij of zij of comply, dus of met die adviezen opvolgen, of reply, dus een antwoord geven waarom die niet worden opgevoegd. En op die manier, wat je daarmee bewerkstelt, is dat er toch een soort van meer ethisch bewustzijn in de organisatie komt. En een begrip over waar het dan schuurt. En wat je dan krijgt, dan krijg je ook een beetje een soort van die culturele verandering die je wil. We noemen dat wel eens 'training the ethics muscle'. Dus dat er gewoon een beetje een soort van bewustzijn over waar zitten die ethische issues en waar schuurt het eigenlijk. En als je dat steeds beter, steeds vaker hoort, dan op een gegeven moment internaliseer je dat. en is zo'n ethisch comité niet eens vaak meer nodig op de lange termijn. Ja, wel een mooie aanpak. Comply or reply. Het is eigenlijk een soort van verplichte feedbackloop op de keuzes die je maakt om de discussie gaande te houden en niet de één keer een advies te krijgen en dan zeggen we ja prima, we gaan weer verder. Precies, of zo'n ethisch comité zo machtig maken dat alles wat zij beslissen uitgevoerd moet worden, dan valt een organisatie uit elkaar, dat gaat ook niet. Ik ben onderdeel van kernteam ethiek van de werkgroep Mens Gerichte AI. Het is een redelijk complexe organisatie. Heel pompig. Het is een heel complexe organisatie. Het is een heel complexe organisatie. Het is een heel complexe organisatie. Het is een heel complexe organisatie. Het is een heel complexe organisatie. Het is een heel complexe organisatie. Het is een heel complexe organisatie. Het is een heel complexe organisatie. Het is een heel complexe organisatie. Het is een redelijk complexe organisatie. - Heel boompje ziek voor me. - Het is groot geworden. - Ja, zeker. Ze doen zoveel. Er zijn zoveel verschillende onderwerpen waar ze groepjes over hebben. Maar mensgerichte AI is natuurlijk een hele algemene. Die snijdt eigenlijk door alle onderwerpen heen. En daar zit ik in werkgroep Ethiek. Met Jeroen van der Hoven van TU Delft en Sofie Kuyt van IBM. En de voorzitter van de werkgroep Mensgerichte AI is Irvette Tempelman van VNO-NCW. En gezamenlijk denken we na over de positie wat wij denken dat, wat wij zien ook bij de deelnemers van het NALJC waar ze behoefte aan hebben, vaak grote organisaties, op het gebied van ethiek door organisatie inbrengen. Hoe wij denken dat organisaties in Nederland ethiek moeten operationaliseren, implementeren en de organisatie in kunnen brengen. Interessant. Hoe verhoudt zich dat dan zo direct tot de dingen die je bezig bent met NEN? NEN is echt gericht op het onderzoek naar de realiteit van de organisatie. En daarmee gaan we ook gaan kijken naar de realiteit van de organisatie. Dat is echt gericht op de technische standaard van de AI-Act. Dus daar is ethiek een onderwerp, maar dat is veel en veel groter. Dat gaat echt over zoveel onderwerpen. Dat technische standaard van de AI-Act en alle onderdelen van de AI-Act. Daar gaat ook mijn kennis en de technische kennis vaak te boven. want dat zijn echt hele grote complexe problemen. Maar dat is wel super interessant om mee te maken en te horen wat er allemaal gebeurt. Dus daar probeer ik een heel klein stukje aan bij te dragen. Maar ja, dat is heel groot en gaat over heel veel. Ja, en die NL AIC die komt dan zo direct met... Dat is dan veel praktischer dan. Nee, dat is eigenlijk wat... Ja, dat is een beetje hoe je het bekijkt. Het is eigenlijk over het algemeen wat meer hoog over. Dus dat is juist wat meer sturing te geven over wat is belangrijk. Waar moet je als organisatie aan denken? En waarom is ethiek belangrijk rondom AI binnen de organisatie? Wat kan je daarmee doen? Wat kan je ervoor doen om daar stappen in te nemen? Om een beetje te prikkelen voor de organisaties die er nog niet zo veel van weten of die zich afvragen, goh, hoe verder? Dus een beetje guidance, richtlijnen en niet zozeer een standaard, maar echt visie, guidance, richtlijnen. Waar moet je aan denken, dit niet vergeten. Ja, precies. En NEN is dus echt een technisch, werken aan een technisch standaard. Hoe ben je straks compliant met de AI-Act als die er komt? En dat is, ja. En gewoon verschillen. Ja, en gewoon verschillen. Leuk. Ja, we hebben een primeur. Ja, we hebben een primeur. We hebben een nieuwe co-host. Dus jij bent de eerste die daar, ja, die met haar kennis mag maken. Want het is een haar, Aisha. En nou ja, ik laat haar zelf eventjes introduceren. Fijn dat je bij ons bent. Mijn naam is Aisha. De AI van deze podcast, zou je het goed vinden als ik je een vraag stel? Ja, zeker weten. Wanneer heb je voor het laatst gekozen om iets juist niet met AI uit te voeren? Dat dat een perfect voorbeeld is van technosolutionism. Er wordt een oplossing bedacht voor iets wat op een hele analoge manier ook prima opgelost kan worden. Dus ja, wij werken natuurlijk met klanten die allemaal juist technische oplossingen willen beheren. En dat is ook een van de grote dingen. Dus ja, wij werken natuurlijk met klanten die allemaal juist technische oplossingen willen bedenken. En Deloitte werkt over het algemeen met hele grote concerns, de overheid of hele grote multinationals. Maar ook als zij komen met bepaalde tools of solutions die ze bedenken, dan stellen we toch wel altijd de vraag, kan het ook met een niet AI oplossing? of met een technische, of wat is het, een analoog technische oplossing. Ja, een proces. Ja, een proces. Ja, precies. Iets in die hoedanigheid. Mooi. Dat was een indrukwekkend antwoord, dank je wel. Zo dan. Wel gedaan. Maar dit is denk ik ook wel een mooie, dat je zegt van, laten we beginnen met na te denken, kunnen we het, moeten we het met AI oplossen? Dat is denk ik sowieso een eerste vraag, niet alleen... Dat wordt natuurlijk heel snel nagekeken van, we kunnen een technologische oplossing, dus we gaan het ook technisch oplossen. Dus ik denk dat het een heel belangrijk punt is om te zeggen, dat we het ook technisch kunnen oplossen. En dat is ook een heel belangrijk punt. En dat is ook een heel belangrijk punt. En dat is ook een heel belangrijk punt. En dat is ook een heel belangrijk punt. En dat is ook een heel belangrijk punt. En dat is ook een heel belangrijk punt. Dus we gaan het ook technisch oplossen. Ja. Dus ik denk dat het een mooie afsluiter is. Moeten we AI gebruiken? Vraagteken, toch? Ik denk een hele goede vraag. Hartstikke mooi. Super bedankt dat je onze gast wilde zijn in twee podcast afleveringen, Kolja. Dank je wel. Fijn dat je weer luisterde naar een aflevering van AI Today Live. Vergeet je niet te abonneren via je favoriete podcast app. En tot de volgende keer. (C) TV GELDERLAND 2021