Hoe maak je je morele kompas leidend - Jo-An Kamp

We zijn vandaag te gast bij Dutch Data Forum, georganiseerd door Heliview.

Diverse experts en ervaringsdeskundigen komen langs in onze pop-up studio van AIToday Live in Den Bosch.

We zitten in een hele mooie omgeving, het congrescentrum hier in Den Bosch.

Mijn naam is Joop Snijder, CTO bij Aigency.

Mijn naam is Niels Naglé, chapter lead Data & AI bij Info Support.

En haak vandaag Remote aan, dat is vandaag iets ander geluid, maar dezelfde persoon.

Kijk, dat scheelt.

Jo-An, zeg ik je naam zo goed trouwens?

Het is Jo-An.

Jo-An, Jo-An, Jo-An, welkom in onze podcast.

Zou jij willen voorstellen aan onze luisteraars?

Ja, is goed.

Mijn naam is Jo-An Kamp, ik ben docent bij de Fontys Hogeschool ICT.

Ik geef les aan ICT'ers.

En ik ben onderzoeker bij een ander instituut van Fontys.

En daar onderzoek ik de impact van technologie op de samenleving.

En de ethische haakjes die daarbij komen kijken.

Leuk.

Wij zijn nogal technisch en technologisch ingestoken, dus dat is sowieso interessant.

Zou je daar wat over kunnen vertellen, wat je daar dan in onderzoekt?

Ja, het is eigenlijk voortgekomen, ik geef nu al negen jaar les ongeveer bij de hoogschool ICT.

En een paar jaar geleden begonnen we met een aantal docenten tegelijk achter de oren te krabben van

die studenten van ons die maken van alles.

En op het moment dat het technisch allemaal werkt en de bukjes eruit zijn,

dan gaan ze dat eigenlijk automatisch lanceren de maatschappij in.

En wij hadden daar een beetje ongemakkelijk gevoel bij van kunnen we dat eigenlijk nog wel maken

om dat gewoon te doen?

Of moeten we eens gaan nadenken over wat er eigenlijk allemaal kan gebeuren in die maatschappij

en of alles wat 'well intended' uitgevonden is, ook wel zo uitpakt in de praktijk?

Want er zijn best wel wat voorbeelden uit de geschiedenis van techneuten die huilend weg zijn gelopen

uit Silicon Valley met 'had ik maar nooit de retweetknop bedacht op Twitter'

of 'had ik maar nooit gewerkt aan de Facebook elections in Amerika vanuit het Cambridge Analytica schandaal'

wat er uiteindelijk uit voortkwam.

Terwijl op het moment dat die technologie ontwikkeld werd,

daar waarschijnlijk nog helemaal geen veldje lucht was.

Dat zijn wel inderdaad meteen voorbeelden die spreken, want daar hebben we behoorlijk last van.

Retweet en alles wat daarbij komt kijken.

Ja, en dan hebben we nog niet zoveel desinformatie en trollen en alles gehad.

En bedenk je dan ook hoe je je daarop kan voorbereiden als ontwerper van de technologie?

Nou, niet ik persoonlijk, maar ik wil vooral mijn studenten behoeden dat ze die techrecrets van de toekomst worden, zeg maar.

Dus ik wil ze de handvaten geven om zelf na te kunnen denken over 'wat ben ik nu eigenlijk aan het maken?'

'Wat kan er potentieel allemaal gebeuren?'

en 'wat voor maatschappij ben ik eigenlijk aan het bouwen en wil ik daar zelf wel in leven?'

Dat zijn eigenlijk heel maatschappelijke vragen die niet zo technologisch van aard zijn,

maar ik denk dat die wel heel belangrijk zijn om te stellen.

Ja, zeker. Absoluut. En is daar dan een aanpak voor of is het echt een bewustzijn dat je dat moet gaan doen?

Er is een aanpak voor en we zijn begonnen eigenlijk bij de techniekfilosofen, van 'wat is daar al over geschreven?'

'Kunnen we dat misschien gebruiken?'

En die techniekfilosofen gaan wat hoog over voor mijn soort studenten.

We hebben makers die willen gewoon met de handen dingen maken.

En op het moment dat je dan met filosofen aankomt, dan kijken ze allemaal een beetje glazig.

Ik had niet meteen het idee dat dat ging werken, zeg maar.

Ik kan me er iets meer voorstellen.

Dus wat we hebben gedaan, we hebben dat theoretische verhaal vertaald naar een heel praktische toolkit

waarin we zeggen van 'we hebben een heleboel vragen voor jullie in een aantal categorieën'

en als je nou gaat nadenken over die antwoorden, dan kom je vanzelf in het proces van het ontwikkelen op de juiste dingen.

Dus ga vooral die innovatie niet stilzetten vanwege een ethisch bezwaar, niet met hakken in het zand staan.

Maar laat die innovatie gewoon plaatsvinden, maar dan wel op de goede manier door tussentijds iedere keer ethische vragen te stellen.

Dan bouwen we samen een beter product.

Mooi. En dat is dan, je zegt, het zijn kaarten, dus het is ook echt iets fysieks?

Het is iets digitaals. We hebben ook wel een keer een kaartenset gemaakt.

Maar in principe op tict.io staat een toolkit die voor iedereen gratis toegankelijk is.

Dus voor techneuten, maar ook voor niet-techneuten, want ook mensen die technologie implementeren of daarmee te maken hebben,

die zouden er ook over na moeten denken, vinden wij. Dus niet alleen ICT'ers.

Maar dat is de Technology Impact Cycle Toolkit.

Oh, zo, daarom tict.io. We zullen in ieder geval het linkje opnemen in de beschrijving van de podcast.

Dus dan kunnen mensen dat ook meteen even nakijken.

Het ziet er leuk uit.

Het wordt digitaal aanhaakt, dus ook digitaal gelijk even kunnen kijken.

Maar het ziet er mooi uit met best practices, manual, methodebeschrijving, online courses.

Zeker, kunnen we meenemen in de omschrijving bij de episode.

Leuk. En ik kon helaas je presentatie hier op Dutch Data Forum niet volgen vanwege een vorige opname.

Maar in de beschrijving zag ik staan dingen over dystopische beelden, maar ook over utopisch.

En dat dystopisch komt bij ons best wel wat vaker voor in de podcast, omdat we het over ethiek hebben

en misschien ook wel ongewenste effecten van machine learning.

Dus ik was eigenlijk vooral even benieuwd naar juist de utopische kant daarvan.

Zou je daar iets van kunnen vertellen?

Ja, je hebt inderdaad de tech optimisten en de wat negatievere mensen in de wereld.

Ik denk dat beide perspectieven nodig zijn, dat we vooral de balans moeten zoeken.

Dus als je alleen maar gaat nadenken over de risico's, en dat heb ik ook wel eens gedaan,

want er zijn bestaande toolkits die bijvoorbeeld acht risicokategorieën hebben,

waar je dan over na kan gaan denken met z'n allen.

Ik heb dat zelf een keer in de praktijk uitgeprobeerd, maar ik werd daar zo depressief van,

wat er allemaal mis kon gaan, dat ik bijna het vak ontvlucht was, zeg maar.

Terwijl ik ook wel dacht van ja, we kunnen ook zoveel mooie dingen met technologie.

Het is een deel van het probleem, maar het is ook een deel van de oplossing.

Dus als we nou gaan nadenken over wat voor mooie dingen kunnen we maken met technologie,

maar tegelijk ook wat voor risico's zijn er, en we maken daar een mooie balans in.

Sterker nog, we gaan eens nadenken over wat zou er over twintig jaar kunnen gebeuren

als die technologie gelanceerd wordt.

Dan heb je een veel afgewogenere balans eigenlijk in utopisch en dystopisch,

want die twee scenario's die brengen ons niet verder.

Dat gaat in de discussie ook niet goed, want dan gaan mensen één perspectief kiezen

en dan vindt de een dat die gelijk heeft en de ander vindt ook dat die gelijk heeft,

en dan kom je niet meer verder.

En dat is wel wat je in de praktijk vaak ziet, dat iemand of inderdaad een heel dystopisch beeld heeft,

of juist heel utopisch, ja, je gaat honger uit de wereld helpen of zo,

dat soort grote termen worden er dan gebruikt.

Ja, interessant.

Je kunt het ook bewust wel doen, hè.

Dus ik geef ook wel studenten de opdracht van, jullie zijn de black hats en jullie zijn de white hats,

die termen kennen jullie, en ga maar eens vanuit die utopische of dystopische bed met elkaar praten,

maar je merkt ook dat je dan gewoon niet verder komt met elkaar.

Ja, de red team, de blue team, dat soort.

Ja, maar het is wel heel interessant om die discussie te voeren,

want je merkt wel wat eruit komt dan.

Ja, dat is best wel een leuke oefening die dus uitgevoerd kan worden.

Je zegt net 20 jaar vooruitkijken.

Hoe denk je dat de mensen die het internet hebben uitgevonden,

zouden die 20 jaar in de toekomst hebben kunnen kijken?

Nou, dat voorbeeld heb ik concreet net genoemd in de presentatie.

Oh, nou, daar wist ik niks van, sorry.

Dat is grappig dat je dat aanhaalt.

Daar zat namelijk Tim Berners-Lee, die heeft, dat is niet helemaal 20 jaar geleden,

maar een aantal decennia geleden het WWW uitgevonden bij CERN, toen hij daar zat.

Met de intentie, dan heb ik hyperlinks en pagina's,

kan informatie ontsloten worden voor iedereen,

en dan maak ik eigenlijk de wereld democratischer,

want dan heeft iedereen toegang tot dezelfde informatie.

Dat waren de uitgangspunten van toen het internet begon eigenlijk.

En juist hij zegt, het internet is verwoorden tot iets wat ik niet had kunnen voorzien.

Er zitten allemaal trollen op, er is desinformatie,

er worden advertenties opgeknikkerd door bedrijven die veel geld hebben,

en zorgen dat er mensen dingen gaan kopen die ze niet nodig hebben.

Het is verwoorden tot iets wat ik niet had kunnen voorzien.

Dat is zo'n typische spijt op de hand,

die nu bezig is met het bouwen van een platform,

wat hij Solid heeft genoemd, een soort digitale datacluis,

waarin hij zegt, wat er nu gebeurt is dat je bijvoorbeeld bij Facebook lid wordt,

en alle kleine lettertjes ziet en dan maar op ja duwt en denkt, zal wel.

Maar er zijn al die data van Facebook.

En wat hij zegt, ik wil dat internet terugbrengen naar zijn democratische roots.

Al die data zijn van jou, die zitten in jouw kluis,

en je kan als je je aanmeldt voor een app,

zelf bepalen welke data je op dat moment aan dat bedrijf wil geven,

en daarna krijg je ze weer terug, want ze zijn van jou.

Dus het is ook heel fascinerend, zeg maar,

dat mensen dus ook als de context verandert,

ook in één keer anders kunnen gaan nadenken over de dingen die ze gebouwd hebben.

Dus ik wil mijn studenten eigenlijk behoeden

om die technische spijt op tante van de toekomst te worden.

Ja, zeker.

Nee, maar ik nam deze natuurlijk niet zomaar,

omdat ik denk dat niemand toen heeft kunnen bevroeden

wat de betekenis zou worden van deze technologie.

Laat staan de adoptie gaat, denk ik,

en daarna wat er allemaal mee gebeurd is.

Dus soms is dat best wel lastig.

En juist omdat wij nu bezig zijn met kunstmatige intelligentie,

daar wordt natuurlijk ook, het is een heel krachtig middel.

Dus het is in die zin ook best wel heel erg lastig

om vanuit daar te kijken van, ja, maar wat,

welke effecten gaat het op lange termijn hebben?

Ik heb vorige week bij een conferentie in Amerika,

ging het over technosolutionism, moet ik het even goed zeggen.

Waarbij je voor iedere oplossing technologie inzet.

Nou, dan is dat al sowieso niet handig.

En daar werd ook gezegd van, ja, kijk nou eens naar de korte termijn,

middel lange termijn, lange termijn.

Korte termijn vond ik makkelijk.

Middel lange termijn ging ook nog wel.

Maar juist die lange termijn, die fascineert me zo,

omdat dat zo lastig is.

Hoe kijk je daar dan naar?

Ja, dat is ook heel moeilijk, want je komt eigenlijk in een soort van,

perspectief wat je niet kan overzien.

Niemand weet hoe de toekomst eruit ziet.

Dus je moet een soort van voorspelling doen

op basis van dingen die je niet kan voorzien.

Maar ik denk dat moeten we toch proberen.

Misschien hebben we ook wel meer kunstenaars nodig dan techneuten.

Of moeten we die samenwerking opzoeken en dingen niet alleen door techneuten,

maar door een veel bredere groep laten ontwikkelen

van mensen die meekijken en die meedenken.

Ja, precies. Uiteindelijk heb je natuurlijk één blikveld als persoon.

Je zegt dan uit verschillende disciplines dat je daar je blik kan verruimen.

Dat vind ik wel een mooie.

En bijvoorbeeld als jij iets aan het ontwikkelen bent,

vraag je buurvrouw er maar eens bij in die ontwikkelgroep.

Of trek iemand van straat.

Want dat zijn de mensen voor wie die technologie uiteindelijk relevant wordt.

En we laten ze vaak niet meedenken aan de tekentafel.

Dus het is best raar als ik om me heen kijk op een hbo-opleiding.

ICT is, nou wat is het, 90% jongens tussen de 20 en de 38.

En die bepalen voor de hele wereld.

Ja, hoge opgeleid.

Wat is een nieuwe Uber-platform en Airbnbs en alles worden.

Dan denk ik dat is misschien wel een heel beperkt perspectief op de wereld.

Want we slaan het vrouwelijk perspectief vrij makkelijk over.

Want dat zien we relatief weinig.

We slaan het perspectief vanuit andere culturen misschien veel te makkelijk over.

Dus ga eens breder kijken en ga ook breder testen in bredere doelgroepen.

Van waar landt jouw product eigenlijk en voor wie is dat?

En wat vinden ze daarvan?

Die spreekster die had heel mooi een foto van de arbeiders van Amazon van het distributiecentra.

En die zegt van ja, heel veel algoritmes gaan over deze mensen.

Ja, maar over mensen in plaats van voor.

Precies, dat.

En dat wordt dan heel snel vergeten eigenlijk.

Ja, we gaan met mensen praten, gaat ze vragen.

Dus ik geef UX lessen ook.

En dan is ook mijn UX les nummer één is, jij bent niet de doelgroep.

Want jij zit er helemaal met je neus in, zeg maar.

Dus jij kan helemaal niet beoordelen of die website goed werkt.

En of mensen op dat juiste knopje klikken.

Want jij klikt natuurlijk op dat knopje, want je hebt het zelf gemaakt.

Dus je moet je perspectief verbreden.

Ga naar buiten, ga testen.

Ga desnoods testen met paper prototyping en halve afgeproducten.

Maar zorg dat je niet iets helemaal maakt.

En op het laatst dan gaat kijken van, oh, werkt het ook?

Heb je een idee van, want zeker UX design, we hebben tegenwoordig design thinking.

Er zijn heel veel aanpakken, user testing, die er allemaal zijn.

En toch wordt het relatief heel weinig gebruikt.

Nou, bij ons wel.

Nou ja, ik kijk ook even naar Niels, van de projecten waar jij zit.

Ik moet eigenlijk altijd zitten drukken en doen van, valideer nou eens wat je gemaakt hebt.

Hoe komt het nou daadwerkelijk over?

Ja, ik zie het in de praktijk gelukkig ook regelmatig wel voorkomen.

Maar ik zit ook echt in het data gebied.

En ja, meestal heb je ook niet per se de in-depth kennis over de data.

Dus je kan nog niet eens het antwoord geven. Dus dat geluk hebben we dan.

Dus omdat je het niet weet, moet je het bij de andere partij gaan vragen.

Maar ik onderken wel dat het te weinig wordt toegepast in de praktijk.

Ik zou het vaker graag zien, inderdaad, zoals net genoemd.

Met verschillende perspectieven naar die oplossing te kijken.

Of we wel hebben gemaakt wat we echt nodig hebben.

En dat begint al bij het doorvragen bij de probleemstelling die wordt aangeboden.

Zelfs daar moet al meer onderzocht worden. Is dit echt wel de vraag achter de vraag?

Of kom je al met een oplossing bij mij?

Ja, dat is ook standaard waar ik bij afstudeerders constant op terugkom.

Wat probleem ben je nou eigenlijk aan het oplossen?

En is technologie daar wel de oplossing voor?

Want dan heb je weer dat zeg, solutionism of optimism.

We zijn geneigd om maar gewoon een technische oplossing te bedenken.

Omdat we toevallig technologische mensen zijn.

Maar ja, mijn student een tijdje geleden maakte bijvoorbeeld een app voor eenzame ouderen.

Dat kost dan een paar maanden ontwikkeltijd.

En in die tijd had je ook gewoon koffie kunnen gaan drinken met die oudere mensen.

Dus soms is een andere oplossing gewoon veel efficiënter.

Maar het is best wel heel erg lastig om daaruit te stappen.

Ja, heel grappig is dat. Of eigenlijk minder grappig.

Ja, het is minder grappig, maar eigenlijk ook wel heel simpel.

Dat maakt het ook weer heel moeilijk. Hoe krijgen we die simpliciteit weer terug?

Op de werkvloer of in de gesprekken om dit met elkaar aan te gaan.

Ik denk dat er muurtjes moeten wegbreken.

Muurtjes moeten wegbreken tussen management en de developers.

En vanochtend was er ook iemand die had het over DevOps.

En die had dat tot BizDevOps gemaakt.

Om alle muurtjes daartussen en daar ook een breed team van te maken.

Dus dat soort oplossingen zijn denk ik wel goed.

En dat heeft Edje Hans-Krum ons ook wel meer gebracht.

Dat we meer met diverse mensen in een team gaan samenwerken.

Want als je alle technologie door de techneuten laat bedenken...

en alle business dingen door de managers...

dan kan je naar elkaar blijven wijzen, maar dan komen we dus niet zo veel verder.

Zeker niet.

En dan ontstaan er ook dit soort problemen soms.

Ja.

En als we kijken naar jouw presentatie die je gegeven hebt...

wat zijn de dingen die je mensen mee hebt gegeven in je publiek?

Ik heb ze vooral meegegeven om je eigen morele kompaslijnen te maken.

Dus je kunt natuurlijk zeggen dat is de verantwoordelijkheid...

van iemand anders binnen mijn organisatie.

Kan zo zijn, formueel gezien.

Maar dat ontslaat je niet van het nadenken over...

wat vind ik nou eigenlijk zelf en wat vind ik nou zelf...

wat voor een wereld we aan het bouwen zijn.

En dan sla ik daar eigenlijk wel achter of kan het misschien beter of mooier.

Ik denk dat iedereen die verantwoordelijkheid moet pakken vanuit zijn eigen rol.

Zeker, daar ben ik het helemaal mee eens.

Ja.

En vooral als...

Stand up, speak up.

Ja.

En zeker als we naar AI machine learning kijken...

is het gewoon belangrijk dat je daarover na blijft denken...

van wat mogelijk ook negatieve consequenties kunnen zijn.

Ja.

Dus je weet niet...

Zeker op dit congres lopen natuurlijk een heleboel mensen rond...

die met AI en data bezig zijn.

En juist die mensen moeten ook nagaan van...

misschien heb ik het technisch allemaal wel juist ingericht...

en komen er allemaal wel de juiste cijfertjes uit.

Dan heb ik het in een mooie dashboard gezet...

zodat het management het ook snapt en weet ik wat.

Maar dan nog heb ik daarmee misschien ook een bias in de data zitten.

Sluit ik misschien onbewust mensen uit?

Dat soort vragen die horen daarbij.

Die zijn gewoon één en een gekoppeld.

Dus het is niet het één of het ander.

Het is en en.

Ja, je moet het echt by design meenemen.

En dan moet je het ook niet alleen op het laatst...

als een soort groen ethisch vinkje aan de chief ethical officer gaan vragen.

Dat kan juridisch misschien wel goed zijn om dat te doen.

Daar niet van.

Maar ik zou zeggen neem het mee in het hele proces.

Ga gewoon denken tijdens het doen.

En kom daar gewoon iedere keer op terug.

Terwijl je aan het bouwen bent, maak gewoon betere dingen.

Ja, eigenlijk hebben we een soort van...

want je hebt van de maatschappij heeft natuurlijk zijn eigen normenwaarde.

Daarbinnen heb je je organisatie.

Die zal het ook al in ieder geval vernauwd hebben.

En dan heb je je eigen morele kompas, zeg je.

Ja.

Toch?

Dat is hoe je daarnaar kijkt.

Ja.

Oh ja.

Mooi.

Gewoon een kleine aanzetting daarop.

Het stopt ook niet als het in productie is.

Dat moet je ook niet vergeten.

Dus het blijft continu onder de aandacht moeten zijn...

bij de verschillende disciplines.

Wordt het nog steeds gebruikt zoals het toen bedacht is.

Dus het stopt ook niet.

En dat moet je ook niet vergeten.

Ja, helemaal met eens.

En als de context verandert, dan verandert eigenlijk je hele product ook weer.

Dus dan moet je weer teruggaan naar die ethische vragen.

Van klopt eigenlijk alles nog wel met hoe ik het toen bedacht heb?

Ja.

Het is niet een project dat zo even afgelopen is.

Nee.

Waar zie jij, als we het hebben over de effecten van AI...

als we dat hier filosofisch mogen bekijken...

waar zie jij de effecten naartoe gaan?

Als we het hebben over lange termijn.

Ik denk dat AI heel veel positief impact kan hebben in de maatschappij.

Dus daar ben ik echt die tech-optimist.

Het feit dat een AI-systeem bijvoorbeeld...

veel makkelijker huidkanker kan herkennen dan de arts...

omdat hij veel sneller kan scannen door alle wetenschappelijke publicaties...

en alle beelden die er eerder zijn genomen van een melanome bijvoorbeeld.

Dat zijn echt dingen die in potentie gewoon alles kunnen versnellen...

en verbeteren en de wereld mooier kunnen maken.

Ik zie ook de negatieve kanten van AI.

En dat vind ik vooral eigenlijk op democratisch gebied...

vind ik dat een ding.

Dat er straks mensen zijn die die AI-toepassingen ontwikkeld hebben...

die daar commerciëel belang bij hebben...

en die daardoor de eigenaar worden van iets...

wat eigenlijk van ons allemaal zou kunnen zijn.

En dan ontstaan er nieuwe kloven in de maatschappij...

tussen de have- en de have-nots.

En dat is wel iets waar ik me zorgen om maak.

Want je ziet nu al dat er mensen zijn die digitaal wat minder vaardig zijn dan anderen.

Daar zal Janita Sluurman waarschijnlijk ook over gehad hebben vandaag.

[onverstaanbaar]

Dat is bij Niels op de achtergrond.

Dat heb je als je online aanhaakt.

[lachen]

Ik dacht al hoor ik Janita Sluurman op de achtergrond.

[lachen]

Maar haar verhaal ging over data literacy.

Dus daar ontstaan kloven.

Maar daar ontstaan natuurlijk ook kloven van mensen...

die gillend rijk kunnen worden met dit soort nieuwe technologie.

En die zich dat kunnen toe-eigenen...

waardoor andere mensen daar juist weer geen toegang toe hebben.

En dat vind ik maatschappelijk ook wel iets waar we over na moeten denken met z'n allen.

En waar we met wetgeving en vanuit Europa bijvoorbeeld ook over na zou kunnen.

En ik weet ook dat het gebeurt vanuit Europa.

Ja, het leuke is we hebben een podcast opgenomen met Christian van Hagen.

Dus als je die niet geluisterd hebt, best luisteren. Doe dat.

Die heeft het over inderdaad alle wetgeving in Europa wat er aan komt.

Hoe je je daar in ieder geval afwassel op kan voorbereiden.

Ja, ik zat bij zijn sessie en ik vond het heel interessant.

In die zin dat hij zei...

jullie maken jullie nu waarschijnlijk zorgen over alle wetgeving die er aankomt.

Maar als ik het koppel aan mijn ethische verhaal...

ben ik eigenlijk een stuk gerustgesteld door zijn verhaal.

Dat de EU daar zo goed mee aan de weg timmert.

Want in de Nederlandse Tweede Kamer zitten relatief weinig techneuten.

Relatief weinig mensen die echt verstand hebben van wat er technologisch gezien aan het gebeuren is.

Dat vind ik ook gevaarlijk.

Dus het feit dat er nu in een hele brede context op het hele Europese continent over nagedacht wordt...

wat willen we eigenlijk en willen wij in China worden of in Amerika?

Of zitten we daar tussenin en wat voor wetgeving is daarvoor?

Vind ik eigenlijk juist wel gerustgesteld.

Ja, ik vond het een mooi verhaal wat dat betreft.

Het gekke is dat er eigenlijk al jaren gevraagd wordt...

en gepleit wordt om een ministerie van Digitale Zaken.

Dat blijft er maar niet.

Oekraïne heeft dat overigens wel. En Estland ook.

Ja, er zijn meerdere landen die dat inderdaad hebben.

En het gekke is, weet je, ons leven wordt...

beheerst is misschien niet het juiste woord, maar in ieder geval ondersteund door heel veel digitale zaken.

En dat daar dan zo weinig aandacht voor is.

Ja, maar dat heeft denk ik wel te maken met het filosofische perspectief...

wat veel mensen nog hebben, dat technologie neutraal zou zijn.

En als je dat perspectief in je achterhoofd hebt...

dan lijkt het ook alsof je dus aan de technologie zelf niks hoeft te doen, zeg maar.

Terwijl ik denk van ja, maar hallo, het is een en een met ons verbonden.

Dus op het moment dat we die technologie niet reguleren...

reguleren we ook niet wat er in de maatschappij met ons gebeurt door die technologie.

Dus het is wel degelijk echt een heel, heel belangrijk thema.

Ja, nee, helemaal mee eens.

En er komen ook hele gekke dingen uit voort.

Ik weet niet, heb je toevallig de documentaire Coded Bias gezien op Netflix?

Ja, daar krijg je natuurlijk kippenvel als de hoofdpersoon, als zij begint met van...

ik wilde gewoon gezichtsherkenning hebben.

En dat zij is van Afro-Amerikaanse achtergrond en dat dat gewoon niet gaat.

En op het moment dat zij een wit masker, gewoon letterlijk een wit masker opzet...

dat de gezichtsherkenning het wel doet.

Dus het heeft hele diepe invloed op ons.

Ja, en dit is maar een heel zichtbaar ding.

Ik heb ook wel eens een AI-systeem op basis, dat was van MIT.

Op basis van mijn interesses en likes op social media...

kon die uitrekenen wie ik waarschijnlijk was.

En ik heb natuurlijk interesses in technologie en innovatie.

Ik werk in de ICT-wereld enzovoort.

Ik voelde me aankomen.

Het vrouwelijke perspectief was nergens meer te vinden.

Terwijl ik denk, die zijn er dus ook.

Dat is echt lastig, zeg maar.

En voor je advertenties...

Je had het net over de medische wetenschap.

En als daar dit soort dingen ook ontstaan...

waarbij je dus alleen maar als man goed behandeld wordt.

Dat is wel zo.

Want de standaard mens waarop alle medische onderzoeken gedaan worden...

is de man.

En de crash-test-dummies voor auto's die botsen...

zijn ook alleen op mannen.

En als je dat dan met een vrouwelijke cup F doet...

dan slingert iemand de complete auto door...

omdat die gordel helemaal niet blijkt te passen.

Maar niemand die dat heeft voorzien.

Terwijl ik denk, het is echt wel niet een significant klein groepje of zo.

Het is de helft van de bevolking waar we het hier over hebben.

Dus hoe kunnen we die over het hoofd zien?

Ja, dat is bizar.

En ik vind het ook wel goed dat juist die discussies rondom AI spelen.

Het gekke is, daarvoor is het nauwelijks onderwerp van gesprek geweest.

Want dit hebben we natuurlijk al decennia.

En nu met AI, omdat we met die data bezig zijn...

hebben we het ineens over bias in data.

Maar ik denk dat dat heel gunstig is.

Omdat er dus dan ook naar andere industrie-sectoren...

ook nu anders gekeken wordt.

Het lijkt net of het eerst goed fout moet gaan...

voordat we doorzien dat het goed fout had kunnen gaan.

Dus die toeslagenaffaire heeft ons ook iets gebracht.

Want we waren er nooit zo kritisch op geweest...

als het niet eerst fout was gegaan.

Maar dat is het rare van technologie.

Technologie gaat vooruit op alles in de maatschappij.

We kunnen ook gewoon dingen lanceren omdat het innovatief is...

en er nog geen wetgeving voor is.

En vervolgens, pas als het fout gaat...

gaan we wetten maken en dingen reguleren.

Dat is een hele rare volgorde.

Maar daar zie je ook al dat op gemeenten- en op Europees niveau...

ze ook proberen om dat meer te voorzien.

Dus dat vind ik ook wel geruststellend.

Ja, zeker. Nou, absoluut.

Zijn er...

Stel, hè...

Nee, niet stel. Onze luisteraars zijn leergierig.

Dus dat zijn eigenlijk ook een soort van studenten.

Wat zou je die als geïnteresseerde in AI-machine learning...

mee willen geven vanuit jouw vakgebied?

Wees er sowieso niet bang voor.

Dus AI voelt voor sommigen als een soort black box...

en je weet niet precies wat er op de achtergrond gebeurt.

Maar IT'ers merk ik in de praktijk...

die kun je gewoon aanspreken en vragen stellen...

en ze schijnen helemaal niet zo heel hard te pijten.

Meestal geven ze gewoon een antwoord.

En ook nog best wel een begrijpelijk antwoord, zeg maar.

Dus wees er niet te bang voor.

Zie het niet als iets abstracts wat ver van je af staat...

maar ga gewoon vragen stellen van waarom doe je dat.

Weet je niet welke vragen je moet stellen?

Ga dan naar die TIK-tool, want daar staan die vragen in.

Ik heb dat een keer met hogeschool- of journalistiek studenten...

die ook niet zo technisch gedreven zijn of het algemeen uitgeprobeerd.

En juist door de goede vragen te stellen...

kom je ook met betere antwoorden terug.

Alleen je moet wel weten wat die vragen zijn.

Dus laat je helpen daarin en wees vooral niet te bang.

Ja, mooi dat er dan meteen zo'n tool beschikbaar is.

Dat je inderdaad geholpen kan worden...

van welke vragen je moet stellen.

Lijkt me een hele mooie tip om mee af te sluiten.

Dank je wel, Johan.

Niels?

Ik had me even geïnspireerd door een bericht die je op LinkedIn had gepost.

Over dat je een tijdje terug de Moral Design Spel hebt gespeeld in Breda.

Dus ik was even nieuwsgierig, wat is de Moral Design Spel?

Ik ben lid van een elektoraat, een onderzoeksgroep binnen Fonterse.

Het heet Moral Design Strategy.

En binnen dat elektoraat proberen we de burgen...

aan de tekentafel te krijgen van nieuwe technologie.

Dus dat is eigenlijk een beetje hetzelfde...

maar dan van de andere kant bekeken.

Ik heb net het perspectief verteld vanuit de ontwikkelaar.

Maar juist ook als je kijkt, als die nieuwe technologie er is...

hoe krijg je de juiste mensen aan tafel?

Over wie het betreft.

En de gemeentes, die stoel je daar een beetje mee.

En dat Moral Design Spel is eigenlijk een tool...

waarmee je gewoon onder het genot van wat biertjes en borrelnootjes...

dat werkt best hè...

in discussie kunt gaan over welke waarden spelen hier eigenlijk...

en waarom ben ik het ergens mee eens of oneens.

En op basis van welke waarden vind ik dat.

En kunnen we elkaar ook overtuigen van onder bepaalde voorwaarden...

vinden we bijvoorbeeld wel dat er een drone mag vliegen boven mijn achtertuin.

En dat zorgt ook dat we meer bij elkaar komen...

dan alleen maar de verschillen te benadrukken.

Dat geeft hele interessante discussies.

En het geeft bijvoorbeeld de gemeentes ook goede input...

om te kijken van wat gaan we wel of niet toelaten of toestaan.

Dus dan zit je ook weer in die reguleringskant.

En het is vooral ook heel erg leuk om te doen.

Oh mooi.

En kunnen we die ook ergens vinden, dat spel?

Of is dat...

Ja, als je naar de website van het lectoraat gaat...

die heb ik even niet helemaal paraat.

Maar als je 'Moral Design Strategy' intoetst op Google...

dan kom je vanzelf ergens op de Fontys pagina.

Dan vind je dat spel.

Oh, dan zullen we die ook even opnemen.

Ja, ik zal die link nog wel even aan jullie doorsturen.

Oh, heel graag.

Ja, wij kunnen daar ook voor langskomen met de onderzoeksgroep.

En dan moderaten we dat in een groep.

En komen met het spel dan al langs.

Echt een fysiek bordpel is het wat op tafel gelegd kan worden.

Oh geweldig, gaaf.

Dat is wel interessant.

Daar ga ik eens even over nadenken.

Ik ben toch wel nieuwsgierig.

Nou, we moeten toch nog een paar minuten extra tijd inpikken.

Jullie werken bij Info Support en bij ETC, zag ik.

Wat doen jullie als IT'ers in de praktijk...

met dit soort ethische vraagstukken?

Als je merkt dat er iets speelt of iets een beetje schuurt.

Nou, dat is een hele goede vraag.

Dat nemen we zeker mee.

Ik denk juist omdat wij ook...

Wij behandelen de ethische vraagstukken best wel heel vaak in de podcast.

Ik denk dat Niels en ik daar ook wel heel erg scherp op zijn.

Maar wij nemen dat ook mee in onze ontwerpen.

Dus we kijken ook in eerste instantie van...

komen er überhaupt persoonsgegevens aan bod?

Laat ik het anders zeggen van...

ben je bezig om iets te maken wat in de levenssfeer van personen komt?

Er zijn natuurlijk ook heel veel AI-machine learning modellen...

die dat helemaal niet raken.

We zijn nu bezig met het omzetten van containercodes...

dat die uitgelezen kunnen worden.

We hoeven geen dystopische scenario's voor te verzinnen.

Dus daar zijn we wel scherp op.

We nemen dat mee in het ontwerp.

En we hebben ons ook gecommitteerd aan de seven key requirements...

voor ethical AI.

Dat zijn van die Europese guidelines.

En daar houden we het ook tegen aan.

En we hebben ook onze eigen...

Die hebben we ook uitgewerkt in onze aanpak.

Want die guidelines, dat is vrij hoog over.

Dat is echt van, ja, denk hier aan, denk zo, denk zo.

En dat hebben we echt in de standaard aanpak meegenomen.

Dat we ook zeggen van, ja, dit moet je ervoor doen, dat moet je ervoor doen.

Hier moet je nakijken, dit moet je documenteren.

Dus van alles zit daarin meegenomen.

Omdat we het ook belangrijk vinden dat het ook ethisch verantwoord is.

Waar die grenzen liggen is natuurlijk altijd heel moeilijk en lastig.

Maar onze medewerkers moeten daar in ieder geval over nadenken.

Ja, dat is mooi om te horen.

Ja hè? Ja.

Ja, ik wil er een avond in erop.

We zijn natuurlijk ook consultieorganisatie.

Dus we maken maatwerk.

Dus hier is het ook belangrijk dat de consulters weten...

dat hier het gesprek over aangegaan moet worden met de klant.

En als er iets opvalt, dat je daarover met elkaar in gesprek gaat...

en ook met collega's onderling hierover kan spreken.

Van hoe gaan we hiermee om en hoe sta ik er zelf in?

En ik denk dat dat vanaf nu af aan...

en eigenlijk in het verleden ook al wel steeds vaker gebeurt.

Maar ik denk dat we in de toekomst veel vaker dit gesprek zullen gaan voeren.

Merken jullie dan weerstand?

Of zien mensen het als een bisschen een benefit...

om ethisch verantwoord dingen te ontwikkelen?

Weerstand heb ik nog niet gehad.

Ja, de weerstand is misschien van...

God, maar waarom stel je deze vragen?

En ja, daar is ook je rol als consultant...

wat mij betreft ook gewoon je meerwaarde in...

om die vragen gewoon wel te stellen.

En dan inderdaad misschien maar even vervelend over te komen.

Maar die vragen hebben dan een bepaalde reden...

en een bepaald doel die je hebt.

Dus ja, niet altijd worden ze er vrolijk van als je de vragen stelt.

Maar dat wordt achteraf altijd heel erg gewaardeerd...

dat de vragen gesteld zijn.

Dus dat is even een perspectief hoe er naar gekeken wordt.

Mijn persoonlijke ervaring is dat ook...

een beetje cultuur en misschien wel generatieverschillen...

er wel gevoelsmatig in zitten.

De nieuwe, jongere generatie...

die vragen zichzelf makkelijker stellen en vaker stellen...

heb ik het idee.

Oké.

Ja, en ik heb ook nog een aanvulling...

want ik heb het natuurlijk net heel erg op organisatieniveau beschreven.

Wat we ook eens gedaan hebben...

we hebben een AI-community binnen onze organisatie...

waar we regelmatig bij elkaar komen.

En daar hebben we juist ook dat morele kompas bij elkaar getoetst.

Met stellingen, met dilemma's...

wil je wel of niet, zeg maar, voor bijvoorbeeld een wapenleverancier...

zou je autonome wapens willen ontwerpen, ja of nee?

En waarom dan niet?

Dus dat soort discussies hebben we ook gevoerd...

om dat dus bij elkaar te toetsen van waar ligt ieders persoonlijke grens?

En ik weet van één collega...

die daar is gevraagd om bijvoorbeeld bij...

nee, ik moet het anders zeggen...

die was eigenlijk ingedeeld voor een project bij een slachthuis.

En zij gaf aan, daar heb ik gewoon zelf morele bezwaren tegen.

En die is daar ook niet op ingezet.

Dus er wordt ook rekening gehouden...

met ieders individueel moreel kompas, waar mogelijk.

En ook eens dat weer balanceren natuurlijk.

Want soms heb je ook zoiets van...

je moet juist op de olietanker stappen om het een beetje bij te kunnen sturen.

Dus dat is de andere kant.

Ja, maar hoeveel invloed heb je?

Maar goed, dat is gebeurd.

Ja, dat is gebeurd.

En het is wel grappig dat je deze vraag stelt.

We moesten even over nadenken van...

op welke punten gebruiken we dat?

Dus als ik dat zo op een rijtje zet...

ik denk dat we daar wel regelmatig mee bezig zijn.

Ja.

Nou, misschien kan de Toolkit jullie ook nog een stukje daarbij helpen.

Nou zeker. En zeker ook richting klanten...

richting andere practitioners.

Dus nee, zeker.

Ik ben heel erg benieuwd.

Ja, hij is gratis en voor iedereen gewoon ongevankelijk.

Dus je mag hem gewoon gebruiken.

Nou, geweldig.

Dat is superleuk.

Dat is superfijn.

Nou, nogmaals, Johan, dank je wel.

Dank je wel voor dit goede gesprek.

En ik denk dat we er weer veel uit hebben geleerd.

Jullie ook bedankt.

Leuk dat je weer luisterde naar een aflevering van AIToday Live Podcast.

Zorg dat je geen aflevering mist.

Dus abonneer je op Spotify, Apple Music...

nee, niet Apple Music, Apple Podcast moet ik zeggen...

en Google Podcast of je favoriete podcast...

heeft ook alle manieren om meldingen te krijgen bij nieuwe afleveringen.

Dank je wel.

[geen spraak]