AI is niet neutraal - Over ethiek in Al van start-ups tot grote bedrijven

Hoi, welkom bij een nieuwe aflevering van EITD Live. Met vandaag in de studio Colja Verhagen. Colja, welkom. Mijn naam is Joop Snijder, CTO van Aigency. Mijn naam Niels Naglé, Chapter Lead Data & AI bij Info Support. Ja Kolja, zou jij je willen voorstellen aan de luisteraar? Zeker, zeker weten. Ik ben Kolja Verhage, ik ben manager in het Digital Ethics Team van Deloitte. Daar werken we om verschillende klanten te helpen met het operationaliseren van ethiek rondom de ontwikkeling en uitrol van AI. Daarnaast vertegenwoordig ik Deloitte bij het OECD in de Working Party on AI Governance. Ik zit ook in de normcommissie AI en Big Data van NEN. Dat is het Nederlandse instituut dat werkt aan de technische standaard rondom de AI Act. En daarnaast zit ik ook in de werkgroep ethiek van domein mensgerichte AI van de Nederlands AI coalitie. Dus ik ben druk bezig. Ja, wel goed. Laten we eens bij die OECD beginnen. Wat is het? Waar staat het voor? OECD is eigenlijk een, ja, het wordt vanuit de kritische lens, lens wordt het wel een beetje de een soort rich country think tank genoemd. Het is een intergovernmental denktank eigenlijk waar voornamelijk rijke landen aan zijn aangesloten en op het gebied van governance, beleid, onderzoek, ja grootschalige onderzoeken, soort van een hele grote versie van CBS, om het maar even zo te noemen. Maar ze zijn heel erg gericht op voorstellen maken en beleidsontwikkeling op de cutting edge vraagstukken. Dus of het nou gaat over belasting zijn ze heel erg bekend mee. Of het gaat over nucleair beleid, daar zijn ze ook mee bezig. En AI, daar zijn ze ontzettend goed in. Zij zijn een van de eerste die ook value-based principles, ethische principles, hebben gepubliceerd rondom AI. En die zijn eigenlijk samen met die van de EU wel internationaal de meest erkende, meest breedgedragen principes rondom AI. Oké, en jij zegt het is vooral een set van rijke landen. Is dat specifiek zo of is dat zo gegroeid? De exacte achtergrond van het OECD weet ik niet. Het is gevormd ergens in de jaren 50 na de Tweede Wereldoorlog met echt als doel om kennis te delen en om een soort kennisinstituut op te zetten wat landen helpt met grote beleids vraagstukken. En ja, een van de kritische notes die je er ook wel bij kan zetten is dus dat zeker Als het gaat om grote vraagstukken zoals AI-beleid en AI-bestuur. Dat het werk wat de OECD doet zeer invloedrijk is. En tegelijkertijd hebben heel veel landen waar dat beleid impact op zal hebben... geen stem in die gesprekken en in dat proces. Dus ja, dat is iets wat ze erkennen. En wat ze op verschillende manieren wel aandacht proberen te geven. Mensen uit te nodigen van andere landen enzo. Dus ze proberen er wel wat van. Maar ja, er zijn ook wel kritische noodzetten te zetten bij het OECD. Hé, jij hebt een artikel geschreven voor de OECD. Ja. Die heb ik gelezen. Zou je daar wat over kunnen vertellen? Want dat was wel een heel interessant artikel. Ja. Nou, in de basis, misschien goed om even te vertellen. We begonnen met het Digital Ethics Team zo'n twee jaar geleden. Toen ben ik bij Deloitte gaan werken. Daarvoor was de oprichtster van het team, Hillary, al ongeveer een jaar bezig... om het team op te zetten en na te denken... wat we eigenlijk gaan doen met het team voor verschillende klanten. Dus toen ik begon te werken bij Deloitte, zijn we echt gaan nadenken... Wat is de, in start-up-termen, de product market fit? Waar ligt de behoefte in de markt? En wat kunnen wij bieden om die behoefte in te vullen? Maar ook, hoe kunnen wij daar een beetje sturing aan geven? Door presentaties te doen, door spreading the gospel, zoals ik het noem. Echt vertellen aan organisaties waarom het belangrijk is... om na te denken over ethiek operationaliseren binnen de organisatie rondom AI. Daar zijn we druk mee bezig geweest en heel veel presentaties gedaan, met heel veel bedrijven gesproken. Ook heel veel knikkende hoofden gezien, maar nog niet heel veel bedrijven die echt de stap wilden zetten om het te gaan operationaliseren. Ook al zagen ze wel in dat het belangrijk was, is of gaat worden. Ja. Veel hing aan de AI-Act. De AI-Act zal daar ongetwijfeld een push ook aan geven. Maar er was eigenlijk maar een kleine selectie bedrijven, die er eigenlijk al zelf mee bezig waren, die de budget beschikbaar maakten en echt de tweede stap wilden nemen, om het echt in te bedden in de organisatie, in organisatieprocessen, om die ethische reflectie erin te krijgen in de ontwikkeling en deployment van AI. En over de afgelopen twee jaar verschillende ervaringen die we bij klanten hebben gehad, een aantal dingen vielen mij op. En die heb ik eigenlijk geprobeerd te destilleren in dat artikel. Eigenlijk neer te zetten, op te schrijven wat ik als een soort van algemeen verhaal zie, wat de grote uitdagingen zijn bij klanten op dit onderwerp. Ja, en is daar nog onderscheid te maken in type klanten? Dat sommige klanten andere uitdagingen hebben dan andere klanten? Dat valt eigenlijk wel mee. Je hebt wel een verschil tussen de publieke en private sector. Daar zie je wel iets van verschil... met de manier waarop budget beschikbaar wordt gemaakt. Bij de overheid zie je dat als het vanuit de politiek... en vanuit de toplaag van de ambtenarij erkend wordt als een uitdaging, iets waarop geacteerd moet worden, dat er budget beschikbaar komt. Bij bedrijven ligt dat meer in de business case. Waar zit die business case in? Maar dat gezegdhebbende zie je toch dat over het algemeen dezelfde soort vragen naar boven komen, namelijk wie of welk onderdeel van de organisatie neemt op dit nieuwe onderwerp eigenaarschap. Waar ligt het? Ligt het bij de privacy-afdeling, bij de security-afdeling? Is het een soort nieuwe afdeling? Maar wie gaat die dan opzetten en wie gaat daarvoor betalen? Dat soort vragen zijn eigenlijk algemeen ongeacht publiek of privaat. Wat mij opviel, we hebben samen in de training gezeten... van de Universiteit van Utrecht over de IAMA, Impact Assessment... Mensenrechten en Algorithmes, hele mond vol. Dat daar vooral heel veel functionarische gegevensbeschermers zaten. En ik vroeg me af, vind jij dat de meest logische plek... waar dit soort ethische vraagstukken zouden moeten beginnen? Het viel me inderdaad op dat het veel vanuit de FG-kant... interesse is voor die impact assessments. en dat heeft waarschijnlijk voornamelijk te maken met de link met datagebruik. En... Ik zou ook wel erkennen dat veel van de vragen rondom AI eigenlijk beginnen met datagebruik. Met wat voor data gebruik je? Waar komt die data vandaan? Heb je zicht op de transparantie van de datasets? Kan je dan zien hoe een model getraind wordt? Dus die data-vraagstukken begrijp ik, en daarmee zie ik ook wel de link met de FG. Maar als ik kijk naar organisaties die zelf modellen ontwikkelen, dan ligt de impact van ethiek en ethische operationalisering veel meer in de data analytics hoek. Dus veel meer in de head of data, head of data analytics, die kant. En de FG is natuurlijk een onafhankelijke positie binnen een bedrijf die een toetsing eigenlijk doet en niet in de ontwikkeling zelf van toepassingen, van modellen betrokken is. Dus als je het echt hebt over hoe operationaliseer je het, dan is de FG eigenlijk een verkeerde plek. Dan moet je meer bij de CDO zijn, de Chief Data Officer. -Ik denk wel weer logisch dat die als eerste in aanraking komen, want die zien het aankomen. Het is hun vakgebied van data en die zien het dus al aankomen. Dus ik denk dat het wel logisch is dat die ook naar dat soort trainingen gaan. Maar inderdaad, wat je zegt, bij operationaliseren zullen andere facetten eerder van belang zijn. Inderdaad de business case, de strategie die je als organisatie hebt. Ja precies en daar zit dan veel meer de druk van uit die posities op. Dat er een goede business case moet zijn en dat die eerst aangetoond moet worden voordat er wordt gekeken naar andere aspecten. En dat bij hele grote complexe bedrijven zie je vaak dat er twee vragen gesteld worden. Is it legal and is it profitable? En En als daar alle twee gewoon een check op is, soms wordt er dan een soort van ethische check nog gedaan, maar de uitkomsten daarvan worden eigenlijk altijd gezien meer als een soort van onderhandeling of een soort punt van discussie van ja, we kunnen het wel doen onder die en die voorwaarden, in plaats van dat wordt gezegd, nee, dit valt niet in lijn met wat wij willen als bedrijf. We stoppen de ontwikkeling, ook al is het legaal en ook al is het winstgevend. Dat zie je eigenlijk heel weinig. Er zijn wel één of twee bedrijven waar ik dat heb gezien, maar dat is de uitzondering. Toen ik je artikel las, werd ik daardoor geprikkeld. Ik zet even mijn water weg hoor, want ik heb af en toe een kribbel in mijn keel. Ik ben een licht verkouder, dus als je af en toe wat hoort, dan ligt dat daaraan. Dat triggered mij dat deel van... waarbij je eigenlijk aangeeft... Hoe zeg je dat? Bedrijven zijn eerder geneigd om eigenlijk over die over die etiek heen te stappen. Nu zijn wij dat wel wel gewend. Zeg maar ik heb gewoon een aantal maanden, nou zal het volgend jaar geweest zijn, ook gewoon echt een opdracht geweigerd omdat wij zelf vonden, dat is nog niet eens het management of dat soort, dat wij gewoon vonden van ja, maar dit is gewoon ethisch niet verantwoord. Dat ging over hoe er omgegaan werd met medische gegevens van mensen. En ook, weet je, misschien zeg maar, wat jij zegt, ja de check, het was legal, het was wettelijk mocht het. Er zat een business case achter, maar wij hadden ook nog zoiets als een beroepsethiek. Want hoe dingen gemaakt waren en wat ermee gedaan moest worden, daarvan zeiden we, ja, maar daar kunnen wij ons helemaal niet in vinden. Maar dat kom je dus heel weinig tegen, zeg je. Nou, ik kom het weinig tegen in de zin van dat het proces stopt... en er gevraagd wordt aan de ontwikkelaars... 'Ga terug naar de tekentafel en vind een oplossing... waar wel alle groene vinkjes op ethiek verschijnen.' Ik laat het zo zijn dat er een paar rode zijn die we met de koop toenemen. Want het is winstgevend en het is legaal, dus niemand zal ons echt tegenhouden. Het zijn bedrijven die echt veel, die echt gebouwd zijn op bepaalde waarden. Familiebedrijven zie je dat vaak, die heel erg value-driven zijn en heel erg geloven in een bepaalde manier van in de wereld staan. Die echt gaan kijken van nee, is dit wel in lijn met waar wij voor staan? En als dat het niet is, dan moeten we het ook niet doen. Maar ja, dan komt altijd weer de vraag, als het economisch wat slechter gaat en de druk komt er echt op, Hou je je dan vast aan je waarde of niet? En dat zijn dus de enkeling die dan zeggen... nee, we moeten ons vasthouden aan onze waarde, want uiteindelijk komen we er sterker uit. Duidelijk. En je schrijft in dat artikel eigenlijk ook van het moet van zo hoog mogelijk... in ieder geval die waarden komen en gepropageerd worden in het bedrijf, als ik het goed gelezen had, waarbij je zegt... want dat maakt het, dat het echt beleefd wordt in een organisatie... waardoor die keuzes ook worden gemaakt. Ik wist ook bijvoorbeeld dat ik die opdracht gewoon moest weigeren en wilde weigeren, omdat dat hoort binnen de cultuur van onze organisatie. Sterker nog, als ik dat had aangenomen... Had je vraagtekens gehad. Ja, zeker. En dat is ook goed, dat die vraagtekens er dan ook zijn. Dat je ook niet bij één persoon dit belegt, maar dat het echt de cultuur van de organisatie is dat je elkaar erop aan kan spreken. Ik denk dat dat ook wel een ontwikkeling is die nog echt gaande moet worden. Het kan van twee kanten komen. Het kan van bottom-up en top-down. Maar over het algemeen, en dat zie je vanuit de verandermanagement literatuur, ik ben er geen expert in, maar de mensen die ik daarover heb gesproken, hebben een heel groot bekeken van hoe het gaat. En dat is een heel groot bekeken van hoe het gaat. En dat is een heel groot bekeken van hoe het gaat. En dat is een heel groot bekeken van hoe het gaat. En dat is een heel groot bekeken van hoe het gaat. En dat is een heel groot bekeken van hoe het gaat. Het moet wel vanuit het leiderschap gedragen zijn. Als het leiderschap van een bedrijf niet zegt 'dit vinden wij belangrijk', dan is het heel erg moeilijk om vanuit de onderkant van de organisatie daar verandering in te brengen. Dus ik had daarover, dat zeg ik ook in dat artikel, een tijd geleden de chiefs van de bedrijven in de OVD-organisatie. Ik heb ook in dat artikel een tijd geleden de Chief Science Officer van Microsoft gesproken. En die zei eigenlijk precies hetzelfde. Het moet vanuit de leiderschap komen, maar er zijn wel wegen om druk te zetten op de leiderschap, om hun koers te veranderen. En hij noemde een voorbeeld dat ik wel interessant vond. Dat was namelijk de Internal Audit afdeling. Hoe zij die hadden ingericht, was dat de Internal Audit afdeling rapporteert aan de Board of Directors. Dus niet aan de CEO en de CFO, maar direct naar de Board of Directors. En als de Internal Audit afdeling concludeert... er wordt hier niet gehandeld in lijn met onze ethische waardes... dan kan die Board of Directors volgens de CEO zeggen... je moet koers veranderen. En die hebben dat dus op zo'n manier ingericht... wat ik een heel slimme, interessante manier vond... om dat eigenlijk bottom-up erin te krijgen. Dan heb je hele andere checks en balances op dit gebied. Dat vind ik zeker wel een mooie. Ja. En Microsoft is geen kleine organisatie. Hoe zie je dit bij kleine organisaties? Ja, daar is het een grotere uitdaging. Kijk, bij hele kleine organisaties, bij start-ups en beginnende scale-ups, om het maar zo te noemen, zie je dat de drive here om responsible AI, om het maar even zo te noemen, of digital ethics, een beetje hetzelfde noemer, zeg maar, om daar iets mee te gaan doen, dat die druk alleen maar of inherent vanuit een founder die dat echt belangrijk vindt en daar iets mee wil doen en geen compromis wil sluiten met een funder die zegt van nou, zet dat maar even opzij. Maar dat is heel moeilijk, want de meeste founders willen gewoon verder en groeien en die willen wel die budgetten binnenkrijgen. Dus de enige manier om het dan alsnog te bewerkstelligen is eigenlijk vanuit de venture capitalists, vanuit de VC's, vanuit de funders, Dat die zeggen, wij vinden dat belangrijk en wij stoppen alleen geld in jouw startup, als je hier ook over nadenkt. En die heb je. Die komen er steeds meer. Ook in Nederland hebben we er een aantal. Dus dat is een hele mooie ontwikkeling. En hoe die dat dan intern operationaliseren in de kleine organisatie, is vaak meer gericht op de technische aspecten van ethiek. Dus kijken we naar bias en fairness in de dataset. Kijken we naar waar we de data vandaan halen, data sourcing. De uitwerking van de modellen, of er geen discriminatie in plaatsvindt. Dat soort vraagstukken, de meer technische vraagstukken. En pas als de organisatie wat groter, wat volwassener is, dan komen wat meer die organisatorische vraagstukken te pas. Met dingen zoals wanneer doen we een impact assessment? Moeten we een ethics board hebben die advies geeft over de ontwikkeling en uitdruk van een model? Moeten we ambassadeurs in de organisatie hebben rondom dit onderwerp? Dat soort vragen en cultuurvraagstukken. Ja, het wordt inderdaad belangrijker hoe groter je wordt. Precies. Want het is steeds moeilijker om dat goed in de hand te houden. Precies. Ja. Hé, en wat... Die Defend Your Capitalist, dat klinkt een beetje als dezelfde constructie... als dat eigenlijk bij Microsoft. Dus je gaat eigenlijk naar een hogere instantie... die in ieder geval degene die de dagelijkse leiding heeft... om die in ieder geval te controleren. Dat vind ik wel een mooie constructie. Omdat, ja, zo had ik hem nog nooit gezien of gehoord. Dus dat is wel een hele mooie. En als je nu als startup of scale-up wel zou willen beginnen hiermee, wat zou je mensen aanraden, luisteraar? Ja, ik zou zeggen als startup, scale-up, als je ermee wil beginnen en je denkt, nou, het is wel belangrijk dat we hier iets mee doen, dan is de eerste stap eigenlijk, definieer voor jezelf binnen de context en de use case, Wat jouw principes zijn als organisatie, definieer die. Dus wil je nondiscriminatie, sta je daarvoor. Sta je voor autonomie. Om tot specifieke principes te komen, moeten we een specifieke use case hebben. Of een specifiek bedrijf in een bepaalde industrie. Maar in de medische sector bijvoorbeeld is patiëntbelang... Dat zou een heel veelvoorkomend principe zijn. Als je die voor jezelf opstelt als organisatie, als start-up, dan is dat de eerste stap. Dan is de tweede stap, wat zijn die definities? Wat betekent het voor jou? En om die gewoon op te schrijven en dat gewoon uit te schrijven, dat is een dag werk met een groepje mensen, brainstormen, wat vinden wij belangrijk, dan het definiëren, Wat betekent dit voor ons? Wat betekent dit voor onze industrie? En dan bij de ontwikkeling van... En zit dat, sorry dat ik je onderbreek, Toer. Maar is dat in dezelfde grootte als dat je bijvoorbeeld je missie en visie bepaalt? Ja, en het is echt iets anders dan bedrijfsethiek. Want bedrijfsethiek, dat kan je op eenzelfde manier wel aanvliegen. Wat vinden wij belangrijk? Dat we collegiaal zijn? Het zijn allemaal bedrijfsethische principes die je kan bedenken, maar dat is fundamenteel echt iets anders dan de digitale ethiek, de AI-ethiek. Want dat gaat veel meer over de impact van technologie op de maatschappij en ook het erkennen dat technologie niet neutraal is. Technologie heeft invloed op ons handelen, het verandert ons handelen. En dat erkennen en dat beseffen hoe jouw product jouw klanten kan beïnvloeden, hun handelen kan beïnvloeden, dat is heel belangrijk. En daarvoor kunnen die ethische principes leidend zijn, om dat goed te begrijpen en uiteindelijk een beter product te maken, als je dat goed op de radar hebt. Heb je een voorbeeld over waarom technologie niet neutraal is? Want ik denk dat best wel een hele hoop mensen denken dat technologie wel neutraal is. Een bekend voorbeeld, dat wordt veel gebruikt door de grote technologie-ethiek professor Peter Paul Verbeek, die is nu rechterop magnificus aan de UvA, zat eerst in Tilburg. Die gebruikt het voorbeeld van drempels, van verkeersdrempels. En dat vind ik altijd een hele mooie, want we kunnen denken, nou ja, verkeersdrempels, dat zijn gewoon stukken steen die neer worden gezet, heel neutraal, heeft verder geen waarde. Maar wat er in feite wordt bewerkstelligd met verkeersdrempels, is dat wij onze snelheid inhouden, omdat wij een waarde hebben, namelijk het beschermen van kinderen bijvoorbeeld. Dat is een ethisch principe, veiligheid. Wij willen veiligheid oprationaliseren als ethisch principe, dus wij bouwen drempels om ons gedrag aan te laten passen, en wij minder snel gaan rijden. Als die drempels er niet waren, waarschijnlijk zouden we ons gedrag niet direct aanpassen. Dus het is een waardeoordeel, een waarde implementatie dat wij verkeersdrempels bouwen... omdat wij veiligheid als ethisch principe belangrijk vinden op straat. Ja, ik vond de training die wij hadden gehad ook wel een mooi voorbeeld. Nu vertel ik dan even naar Niels. Wat daar werd gezegd is de bankjes in de openbare ruimte. Daarvan zou je ook kunnen denken van ja, het is bankjes zitten, dat is voor iedereen. Maar die zijn zo gemaakt dat de zitting waarop je zit schuin af loopt. Daar zit een opening en dan heb je een leuning. Maar dat schuin aflopen zorgt er dus voor dat mensen daar niet op kunnen slapen dakloos. Dus daarom is ook zo'n product, zo'n heel eenvoudig product, niet neutraal. Dat is ontworpen met een bepaalde doel binnen een bepaalde norm. Ja, wordt alleen niet hard uitgedragen. Ik denk dat dat bij onze oplossingen ook vaak het probleem is, dat er misschien wel iets in de technologie zit, maar dat we het niet uitleggen. Want ik wist het namelijk niet. Dat is eigenlijk ook wel een allergie naar ons werk, inderdaad. Hoe zorgen we ervoor dat we het ook uitleggen, dat het zo gedesignd is om onze principen te ondersteunen. Want dat bankje wist ik niet. Van die drempels, daar kan ik enigszins in komen. Maar eigenlijk daar ook het belang van transparantie en toelichting is, denk ik, daar ook van belang. En als ook een van de luisteraars daar meer over wil weten, is het zeker interessant om... is het werk van Peter Palverbeek op het gebied van handelingsethiek, mediating technology, zoals hij dat noemt, om daar eens in te gaan duiken. Want dan begrijp je ook wel meer dat een hamer, kan je natuurlijk zien als gewoon een object, maar een hamer beïnvloedt ons handelen. Het maakt bepaalde acties mogelijk. En hij zegt dus, wat de meeste mensen zouden zeggen is, Een hamer heeft niet een bepaalde ethische waarde. Het is de mens, want of je slaat een ander mens zijn hoofd in of je gaat een huis bouwen. Dat is de menselijke beslissing. Maar zonder die hamer kon die keuze ook niet gemaakt worden. Dus die hamer maakt het handelen mogelijk voor het een of het ander. Het geeft ons eigenlijk verantwoordelijkheid. Ja, precies. Dat is ook wel wat we vaak zeggen over EI natuurlijk. Impact die je ermee kan maken. En dan is het net als vuur, daar kan je je handen mee warmen... of je huis mee verwarmen, maar je kan hem ook afbranden. Precies. Dus het gaat uiteindelijk weer om de mens die de keuze moet maken... wat doen we ermee? Maar ook om het beseffen van hoe je zoiets ontwerpt. En daar gaat het dus om. Hoe ontwerp je zo'n hamer? Heb je dan bepaalde veiligheid die je erin ontwerpt? waarmee je mensen hun gedrag kan sturen. Dat je het moeilijker maakt om iemand hoofd in te slaan op een of andere manier. Of niet. En dat kan je dus ook bij AI doen. Dat je dus die ideeën van wat wil je ermee bereiken, hoe wil je dat mensen handelen met deze technologie, dat je die in het ontwerp laat terugkomen. Ik vind het een hele mooie dat je net zegt van AI gaat eigenlijk weer om de mens. En wat wij ermee doen. Dus ik denk dat het een mooie is om ermee af te sluiten. Dank je wel. - Dank je wel. Leuk dat je weer luistert naar een aflevering van de AIToday Live. Vergeet je niet te abonneren via je favoriete podcast app en mis geen eindklaarverlevering. [Muziek]