Verantwoorde AI en workshops voor ethisch bewustzijn

Leuk dat je weer luistert naar een nieuwe aflevering van de AIToday Live. Mijn naam Niels Naglé, chapter lead Data & AI bij Info Support. En ik ben Joop Snijder, CTO bij Aigency. En we hebben wederom Rijk Mercuur te gast, bij de aflevering. Vorige aflevering mocht je nog niet geluisterd hebben, zeker een aanrad om even terug te luisteren. In de vorige aflevering, Rijk, had je het over workshops die je geeft. Maar voordat we daar verder induiken, misschien dat de luisteraars de eerste niet hebben gehoord, zou je even kort kunnen voorstaan. Dat is goed. Mijn naam is Rijk Mecuur. Ik heb een bachelor master in PhD in Artificial Intelligence. En ik werk tegenwoordig bij Jiro, waar we ons inzetten voor verantwoorde AI. En waar we workshops geven om de kennis over AI bij de bedrijven te brengen. Verantwoordelijke AI. Joop en ik hebben het er heel vaak over tijdens de podcast. Op de wandelgangen en dat soort zaken. Wat is voor jou verantwoordelijke AI? Ik denk dat het begint bij waarde. Dus vaak bij technologie denken we aan waarde als efficiëntie. Technologie maakt het leven makkelijker, gemakkelijk. Maar je hebt eigenlijk klassiek tien basiswaarden, volgens een bekend model van Swartz. En andere waarden daarin zijn bijvoorbeeld eerlijkheid en gelijkheid en transparantie. En zulke waarden worden vaak gegeten bij technologie. Dat zijn wat mij betreft wat meer de menselijke waarden. Dus we willen eigenlijk AI menselijk maken. Het menselijke samenbrengen met het technologische. Ja, datgene is denk ik ook wel een andere mindset. Inderdaad, wat je zegt, triggerde mij wel inderdaad. Efficiëntie, processen efficiënt te maken, zorgen dat de opslag goed is. - Zie je dat op jullie website veel staan? Ja, dat klopt. - Dit is hoe jullie klanten trekken, toch? Maar dit soort termen eigenlijk. Efficiëntie is inderdaad natuurlijk voor de IT vlak wel heel erg belangrijk. En misschien dat daardoor juist het andere stukje soms wat ondersneeuwt inderdaad. Dat nu eigenlijk steeds belangrijker begint te worden met deze ontwikkelingen, denk ik. Ja, klassiek zijn dat soort waardes, efficiëntie, meer met technologie verbonden. Dat is wat technologie doet. Het is een beetje een stokpaadje. Het slaat alles plat eigenlijk. Het paakt alles in duidelijke variabelen die het allemaal combineert. En daardoor kan alles een stuk efficiënter zijn. Net zoals er steeds minder types schoenen zijn bijvoorbeeld. Of ik heb een maat van bijna 47 en een wat te brede voet. Daar kan je helemaal geen schoenen voor vinden, omdat het niet zo goed past binnen het systeem. Zo is het ook met technologie. Eigenlijk moet alles passen binnen dat efficiënte technologische systeem, zodat het zo snel mogelijk werkt. Af en toe vind ik het ook wel fijn hoor. Al die keuze. Als die keuze zo reus is, dan heb je weer keuzestress. Af en toe is het ook wel lekker dat er niet te veel keus is hoor. Zeker, dat is ook heel erg. Maar wel belangrijk inderdaad, die je aangeeft inderdaad. Het moet ook wel voor iedereen inclusief zijn, dat jij ook gewoon schoenen kan halen. En zo jouw AI-oplossing ook voor jouw toepassing gebruikt worden. Precies, dat ook een gezinsherkenning is voor jou als jij een niet-witte huidsvluur hebt. Ja, inderdaad. In de workshop, als je kijkt naar de workshops die je gehad hebt, Wat is nou de meest prangende vraag van degene die jij op de workshop langskrijgt? - Ik moet gelijk even met de billen bloot, want we hebben eigenlijk nog geen workshop gegeven. We zijn net begonnen. Dus dit is echt iets wat we nu van de grond proberen te krijgen. Maar ik heb al wel veel gesprek gehad met de Utrecht Data School over deze workshop. Even kijken. En de vraag was, wat de meest prangende vraag is die je daar omhoog hoort te komen. Mijn insteek is denk ik dat ik veel over bias hoor daarbij. Dus over hoe je daarmee omgaat. En wat ik ook merk bij de gesprekken met Ultra Data School, en wat ik daarvan hoor, is dat eigenlijk willen zulke bedrijven echt heel graag ook meer bezig zijn met ethiek en met mensenrechten. Maar ja, er mist vaak een moment waarop ze dat kunnen. Er mist eigenlijk een reflectieruimte. En daardoor krijgen ze eigenlijk, ja, ook weer in het efficiëntie-denken van het bedrijf, missen ze eigenlijk deze stap om je ethisch over na te denken. Ja, dat snap ik. En met die mensenrechten, gaat dat met de Data School dan over de IAMA? Impact Assessment Mensenrechten en Algoritme? Ja, dat is het protocol dat we gebruiken. En daar begeleiden we mensen dan in een workshop in. En we hebben ook het Data Protocol dat we ook gebruiken. Dat noemen we dus de workshop Data Ethiek. Die is wat meer gericht op data en ethiek. En de andere is meer gericht op algoritme en op mensenrechten. meer juridisch, meer ethisch, meer data versus algoritme. Daar hebben we denk ik twee hele belangrijke basis al mee. Als je kijkt naar die laatste workshop, wat is daar typisch de doelgroep voor? Nou ja, we hebben het in de vorige aflevering gehad over een belastingdienst, die een algoritme inzet voor de toeslagenaffaire. Het lijkt me heel verstandig geweest dat zij een Yama-protocol hadden ingevuld in onze workshop, algoritme en mensenrechten hadden afgenomen. Ik denk dat dan het idee dat misschien sommige variabelen wat gevoelig liggen, zoals nationaliteit, heel snel naar voren was gekomen. De impact op mensenrechten, dus het gelijkheidsprincipe hier in dit geval. Ook de onschuldpresumptie, dat is het idee dat je onschuldig bent, totdat het tegendeel bewezen is. Nou ja, dat is het, mensenrechten waren naar boven gekomen. En zoals ik ook in de vorige aflevering zei, dat kan misschien nog steeds zo uitvallen dat je denkt, Dat is het waard. Wij winnen hier zoveel mee dat we dat eigenlijk proportioneel vinden. Maar waarschijnlijk was er al uitgekomen... dat het algoritme relatief weinig levert op en dat het zo pijnlijk is. Dit moeten we gewoon niet doen. Om die vraag van Joop nog even iets verder af te pellen. Wat voor businessrollen zou je dan verwachten in zo'n workshop? Dat is echt heel belangrijk bij de workshop. Dat we meerdere rollen aan tafel hebben. We willen dat er gesprek wordt gevoerd tussen die rollen, wat normaal niet wordt gevoerd. Dus hebben ze een jurist, dan willen we die aan tafel. Hebben ze een data scientist, nou ja, de manager, projectbegeleider, maar ook degene die de externe communicatie doet. Het is ook heel belangrijk dat je over zulke dingen nadenkt. Bijvoorbeeld wat ik net zeg, we weten dat zulke mensenrechten geschonden worden, maar we vonden het in verhouding met het doel. Nou, als je zo'n verhaal hebt klaar liggen, dan is het ook te verkopen. Dan is het ook duidelijk voor de ander. Nou ja, dan weet je in ieder geval dat er ook over gesproken en over nagedacht is. Dat is een geruststellend gedachte dat er over nagedacht is. Ja, precies. Leer je in de workshop ook hoe je de mensenrechten ten opzichte van elkaar kan wegen? Ja, dat. Want ik heb toen, zeg maar, ik heb ook zo'n training gehad van Iris Muijsen, een van de schrijvers van de IAMA. Zeker, ben ik ook geweest. En zij heeft mij toen verteld dat er 200 plus mensenrechten zijn. En daar schrok ik echt enorm van. Dat wist ik niet eens. Ik ken ze niet allemaal uit je hoofd. Alle 200, noem ze. Nee, zeker niet. Maar zeker vooral dat je, wat ik daar in ieder geval uit meenoem, is van als je goed doet voor de één, heb je op zijn minste aan de andere kant van de weegschaal dat je slecht bent voor een ander. Ja, ik vind dit eigenlijk ook het lastigste aan zo'n workshop, aan uiteindelijk proberen hier ethische beslissingen in te nemen, is dat je een afweging moet maken tussen iets wat bijna niet afweegbaar is. Dat noemen we in de wetenschap incommensurable. Dus dat betekent dat het niet eigenlijk op dezelfde lijn ligt. Dus een bijvoorbeeld vriendschap en geld verdienen of zo. Als je die twee dingen tegenover op probeert te wegen, dan kom je eigenlijk niet tegenuit ofzo. Dat zijn heel andere dingen. Die zijn eigenlijk niet met elkaar te vergelijken. Die zitten niet op dezelfde getallenlijn. Weegt 4 vriendschappen tegen 10 geld af. Ja, maar we hebben ook zoiets als wat soms sacred values worden genoemd. En zo heb je denk ik ook mensenrechten die echt cruciaal zijn. Als er echt bijvoorbeeld wordt gevraagd of jij een vriend zou doden voor geld of zo, dan zou je zeggen, nou ja, geen enkel bedrag. Het is gewoon niet, het is te heilig voor mij. Zo hebben we bij mensenrechten zulke dingen ook wel. Ik denk wat we in de workshop doen is een stap zetten in het veel explicieter maken. Dus het wordt duidelijk welke mensenrechten worden geschonden en in welke mate. En nou ja dan heb je dus nog steeds dat laatste stukje wat je gewoon als organisatie moet doen waar geen één antwoord op is. En dat is uiteindelijk daar een moeilijke politieke afwegingen maken. Maar we hebben in ieder geval alle data op tafel. Ja precies. Ja en het zijn ook inderdaad denk ik echt persoonlijke afwegingen. Want het gaat over, er ligt geen jurispidentie onder, want anders kan je de keuze heel makkelijk maken, want dan heb je gewoon wetgeving. En dit gaat juist over een braakliggend terrein waarin je zelf de keuze moet maken. Of heb ik dat verkeerd begrepen? Dat klopt ja. En een persoonlijke keuze, ja je ziet ook dat mensen soms daar gewoon andere afwegingen in maken en dan gaan die mensen hopelijk met elkaar in gesprek en uiteindelijk zoals bij heel veel politieke dingen proberen we dan toch ja voor nu meer in te zetten op duurzaamheid ook al kost dat ook meer geld als zo uiteindelijk vinden we toch ja ik heb toch dat is belangrijker ja kan ik daar dus eigenlijk mee concluderen dat we bij de implementatie hopelijk op de duur ook zien wat een beetje de cultuur en de ethiek van een organisatie of van een oplossing is ja en wij Wij geloven heel erg dat de cultuur van een organisatie, of in ieder geval de ethiek, in principe dat de mensen allemaal het goed willen doen. En dat ze ook echt waarde hebben en dat ze het belangrijk vinden om, nou ja, transparant te zijn of om bezig te zijn met gelijkheid. En dat die dingen dus inderdaad meer naar boven komen op het moment dat je daar een expliciet gesprek over voert. En dat je ziet hoe ze verbonden zijn met de keuzes die je maakt in je algoritme. Dus hoe je echt een keuze kan maken voor, nou ja, dit algoritme voorspelt misschien minder goed, maar het is wel eerlijker. Dat zou dus kunnen. Wat ik me dan afvraag is van waar leg je dat soort keuzes vast? Want die discussie die voer je, die heb je met de mensen in de groep in de ruimte, maar hoe ga je dat borgen? Ja, dus we hebben, het verschilt een beetje per workshop, maar in een workshop bij de workshop Data Ethiek hebben we twaalf stappen. En we zitten eigenlijk om tafel en de mensen hebben een gesprek en zo gauw ze een gezamenlijke conclusie hebben, dan schrijven ze dat op een post-it dan pakken ze het eigenlijk erbovenop. Dat is een hele fijne speelse manier om eraan te werken. Uiteindelijk schrijf je dat allemaal samen om in een stukje documentatie. Bij het JAMA-protocol hebben we eigenlijk, zoals de workshop algoritme en mensenrechten, is er eigenlijk een document klaar waarin je alle antwoorden gelijk kan invullen. En dat is dus ook gelijk je verantwoording, dat document, wat je inderdaad kan representeren als er een volgende toeslagenaffaire is. en mensen vragen hebben. Het liefst voorkomen natuurlijk. Voorkomen, precies. Nou ja, ik denk dat dat echt helpt. Ja. Op voorhand die gesprekken voeren in plaats van achteraf. Dat is denk ik ook wel goed. Het stukje efficiëntie waar we beginnen mee starten, is daar denk ik wel onderdeel van. Ik hield er een quote die ik ook op de weg tijdens het project heel vaak tegenom. "Go slow to go fast." Af en toe moet je even rustig aan gaan om echt meters te kunnen maken. Die continu weer in mijn hoofd nu zitten te resoneren. Dus ik wil het toch even uit hebben. Volgens mij is dat wel belangrijk bij dit soort zaken waar het niet alleen gaat om efficiëntie, maar ook wat voor impact maken we. Om daar even rustig bij stil te staan en met meerdere perspectieven te kijken naar de vraagstukken. Ja, ik doe me ook denken aan een van de vragen in de D-Day protocol. In het begin is wat is je onderbuikgevoel? En dat is ook zoiets wat even tijd nodig heeft. Dus je moet even over een project hebben nagedacht en alle feiten eigenlijk bij elkaar hebben. En dan kan ook voor een deel het onderbewuste aan het werk. En kan je ook een onderbuikgevoel hebben bij van ja maar volgens mij doen we hier toch iets fout. Volgens mij wordt toch een bepaalde groep hier weggezet als minderwaardig. Dat is niet genoeg. Je moet het natuurlijk nog steeds uitwerken. Onderbuikgevoel is niet het enige waar we op af willen gaan. Maar wat ik daar interessant aan vind is dat mensen kunnen dus heel veel met eigenlijk een onderbewust gevoel, met een intuïtie. En dat is ook waar onze ethiek uiteindelijk op gestoeld is. Uiteindelijk zijn het intuities over bepaalde gevallen die we proberen te rijmen allemaal. Dan kunnen we het niet overlaten aan techniek. Dat is iets wat mensen juist heel goed kunnen. Die kunnen zoveel verschillende input meenemen, zoveel sociale variabelen over hoe dit gesprek loopt en welke rollen we daarin hebben en welke staat we daarin hebben. Dat kan op dit moment in ieder geval een AI nog helemaal niet. Daarom is het zo belangrijk dat we dus ook luisteren naar de mensen die dan die algoritmes maken en uiteindelijk uitvoeren. Mooi, hè? Vind je dat IAMA ethische vraagstukken voor ieder AI-model zou moeten voeren? Ja, deze vraag stelde ook iemand in de podcast. Wat ik hier lastig vind, is dat je ook bepaalde creativiteit en een soort speeltuin voor mensen wil waarborgen. ook dat mensen die werken aan algoritmes dat ze creatief kunnen zijn, dat ze het gevoel hebben dat ze iets mogen uitproberen. Op het moment dat het in werking gaat en dat het dus ook het impact heeft, vooral natuurlijk wat gevoelige impact, ja dan moeten we echt zo'n gesprek daarover voeren. Maar ik kan me goed voorstellen, een vriend van mij werkt bij een elektriciteitscentrale en die werkt met weerdata. Volgens mij is weerdata echt een klassiek geval van dat het helemaal niet gevoelig Ik heb geen privacy voor de weer of de aarde. Precies. Nee, wel bepaalde emotie, maar geen privacy. Jij hebt emotie over het weer bedoel je? Jazeker wel. Ja, jouw interpretatie misschien. Ja, dus er zijn ook wel gevallen, er zijn trouwens ook gevallen waar machine learning klassiek het goed doet. Dus zo gauw er minder menselijke aspecten in de data zitten, hoe beter eigenlijk machine learning werkt. En hoe meer het gaat over sociale complexe problemen. Dus we hinten eerder even naar Cambridge Analytics, de vorige aflevering, over hoe daar misschien een politieke impact is geweest van het gebruik van Facebook data. Dat wordt gezegd, maar dat is volgens mij extreem complex. Om echt te voorspellen wat mensen gaan stemmen op het gebruik van hun Facebook. Tenminste, meer dan een simpel algoritme zou kunnen. Dus hoe meer menselijke aspecten, hoe meer emotionele aspecten, hoe meer ethische aspecten erbij komen kijken, hoe slechter machine learning eigenlijk is in een goede voorspelling maken. Zijn er voor jou ergens grenzen dat je zegt, hier zou ik het niet voor inzetten? Hier zou ik het überhaupt niet, nou ja, te eerst bij alles wat op een simpelere manier kan, en op een transparantere manier. Ze denken dat we heel vaak gewoon een Excel-sheet genoeg hebben, en dat we niet een heel AI-model nodig hebben. Bij heel veel andere gevallen, en dat zijn klassieke voorbeelden als killer drones, of bij inderdaad dingen waar fraude detectie, vind ik ook een spannend geval, nu aanbevelingssystemen vind ik ook spannend. Daarbij gaat het erover dat er zo groot impact op mensen heeft, dat er een human in de loop zit. Dus dat op zich mag je wel een algoritme gebruiken, maar er moet altijd een mens het algoritme interpreteren en controleren, voordat we het uiteindelijk het effect laten hebben op de wereld. Ja, dan is explainability denk ik ook wel heel erg van belang, want als je dat alsnog wil inzetten, dat je nu wel goed kan verklaren hoe het tot stand gekomen is en dat het begrijpbaar is om de keuze goed te kunnen maken. Precies. En dat is misschien ook wel goed om te zeggen is we vergeten ook dat AI klassiek eigenlijk twee delen heeft. Dus we praten heel veel over wat het het subsymbolische deel wordt genoemd. Dus dat zijn de machine learning modellen. Maar eigenlijk is er ook wat soms de good old fashioned AI wordt genoemd. Het symbolische deel. En dat is, ja, heel vroeger waren dat expert trees. Dat is een soort bomen waar je doorheen ging om een soort ja/nee-beschissingen te maken. En dat is klassiek veel transparanter. En de uitdaging waar we nu voor staan is om die twee weer bij elkaar te brengen. Dus machine learning modellen blijken gewoon echt heel goed te werken. Het is ook wel grappig om mee te maken. Tien jaar geleden waren mijn promotoren bijvoorbeeld echt nog heel sceptisch daarover. Die waren nog een beetje in de ontkenning van... Ja, dit is niet wat wij doen, dus het zal wel niet heel veel succes hebben. Maar het is nu echt onontkenbaar dat dit het meeste effect heeft op de maatschappij... en het meeste wordt ingezet. En ja, ook wel het meest effectief is op bepaalde vlakken. En nu willen we op een of andere manier weer iets hybrids hebben. We willen weer het symbolische combineren met het symbolische. uitlegbare. Die symbolen zijn meestal uitlegbaar, daarom worden ze symbolisch genoemd. Tegenover subsymbolisch, dus iets wat tussen symbolen in zit, met allemaal nulletjes en eentjes en nodes in een neuronetwerk die geen betekenis meer hebben en die niet uitlegbaar zijn. Ik heb geen heel kleedje te geven over AI, maar... - Leer ze aan. - Oh, Joop, je valt weg. Ik hoor je niet meer. - Ik had hem op mute staan. Een van mijn honden is af en toe wel eens verbaald. Nu was je zelf ook niet verbaal. Nee, daarom. Juist explainable AI, interpretable machine learning is echt een vak waar ik heel veel passie voor heb. Daar kunnen we het niet genoeg over hebben wat mij betreft. Zeker die terug naar wat jij net zei. Niet alleen van ja als je het makkelijker en eenvoudig kan oplossen moet je misschien helemaal niet met machine learning beginnen. Helemaal met je eens. En de volgende stap is eigenlijk kan je het met een zo eenvoudig mogelijk algoritme het liefst zo interpreterbaar mogelijk oplossen. En als dat niet lukt weet je dan ga je eigenlijk pas kijken wat mij betreft zeg maar naar stappen verder. Dus je black box is wat mij betreft je laatste redmiddel of zo. Ja. Dat wordt nou wel eens vergeten. We zijn zo bezig met alle nieuwsten van het nieuwste. Hoe complexer de algoritmes, hoe meer denken dat dat oplossingen biedt. En we vergeten eigenlijk een heel deel wat gewoon heel goed werkt op best wel hele eenvoudige manieren. Zeker. Mijn PhD ging eigenlijk over computersimulaties maken. Dat is ook een deel van kunstmatige intelligentie. En dat is dus heel kennisgedreven, waarbij je ook... Nou, heb je ook verschillende stromingen, maar één van de stromingen is 'keep it simple, soup it'. En dat is eigenlijk, je begint met een soort simpel mogelijk model van de werkelijkheid... en je bouwt steeds verder. En vanuit kennis die je hebt uit papers, maar ook vanuit expertinterviews... probeer je langzaam steeds meer te begrijpen van hoe maakt een mens bijvoorbeeld een keuze... of hoe werkt het systeem. Zodat je begrijpt wat de simulatie doet, waarom je dat hebt toegevoegd, hoe uiteindelijk wat er uit de simulatie komt in verhouding staat tot wat daarin is gestopt. En dus ook de mechanismes waardoor het gebeurt heel expliciet hebt, waardoor het heel uitlegbaar is. Dat verhaal mis ik eigenlijk heel erg in de AI-discussie. Dat is helemaal ondergesneeld door big data en machine learning modellen. Ja, ik denk dat dat ook weer een stukje is. Het is best complex om iets simpel te maken. En hier zeggen we, we moeten het simpel maken, simpel starten. En ja, nu wordt het ons soms makkelijk gemaakt om het complex te maken. En dat is echt wel zonde op sommige gebieden, in mijn mening. Ja, ik moet nog denken, er zit wel klassieke machine learning in, een manier dat je zo min mogelijk variabelen in je model wilt. Je wil eigenlijk dat het zoveel mogelijk voorspelt met zo min mogelijk variabelen erin. Dus er zit wel een soort neiging naar simplicity. Maar misschien niet in de transparantie of in de mechanismes. Ik denk dat dat aspect met name dan wat onderbelicht is inderdaad voor dat gedeelte. Nog een jullie tekenten met 'Nee, nog weer'. Kijk, dan ga ik toch weer met data. Sorry, toch weer over data. Maar we hadden het net over zaken waar het bij de maatschappij komt, bij de mensen, bij de emotie. Missen we daar ook niet eigenlijk gewoon het stukje input, een stukje data tot ons beschikking hebben over ons onderbuikgevoel? Vraag ik me dan af als ik jullie zo mooi praat. Het is bijna alsof je een paradox zegt ofzo. Het onderbuikgevoel, dat we daar de data over missen. Voor een deel kunnen we veel meer misschien uitvragen over wat, hoe wil je wel eerst denken aan intenties, aan beliefs, aan desires, intentions, dat soort aspecten, om die mee te nemen. Aan de andere kant is het natuurlijk super moeilijk te vatten wat het precies is, wat onze intuïtie is. En welk psychologisch model we kiezen om daar, om dat uiteindelijk in data te vertalen. Er zit heel veel interpretatie en keuze in. Ja, dat is ook heel mooi wat ik dacht inderdaad. Eigenlijk willen we nu weer terug naar het onderbuikgevoel, terwijl de voorbeelden we daar te hebben om het onderbuikgevoel ook af en toe even niet altijd mee te willen nemen, want sommige beslissingen wil je dat onderbuikgevoel juist even weghalen. En het stukje centraal stellen van gelijke behandeling, zeg maar. Dus klinkt een beetje paradoxaal, ja. Het is ook klassiek wat er in de psychologie gebeurt. Dus uiteindelijk hadden we de black box op een gegeven moment. Dus de skinner box is het bekende voorbeeld met een muis die steeds een belletje hoort en dan kijkt hij eten. Uiteindelijk hoort hij het belletje en dan gaat hij al kwijlen, of dan zie je al dat hij eten wil. Of de Pavlov reactie. Dat was allemaal het idee van, we willen niet meer kijken in de menselijke geest. We willen eigenlijk alles vanuit externe ideeën, externe data, willen we dat allemaal kunnen verklaren. Op een gegeven moment is daar ook in de psychologie een tegenreactie opgekomen. We willen eigenlijk wel de cognitie meenemen. We willen dat het in menselijke taal uitlegbaar is wat er gebeurt in een mens en misschien zelfs in een dier. Ik zie al eenzelfde soort iets waar we misschien met de AI heen kunnen. Hele mooie. Joop, heb jij nog een final question aan Sanne? Is dit een mooie om mee af te ronden? Nee, ik denk dat het allemaal heel duidelijk is. Dank je wel, Rijk. En zeker, nou laten we de link ook in de show notes opnemen naar de workshop. Ik denk dat het echt superbelangrijk is dat mensen dit ook gaan volgen. Dus hoe meer mensen begrijpen wat kan, wat niet kan, waar je op moet letten, welke keuzes je moet maken, ik denk alleen maar beter. Dus ik dank je voor je inzichten. Ja, ik wou nog zeggen, dit is Hero en de website is ai.hero.nl. En neem contact op als je interesse hebt in een workshop. Zeker wel. Zeker. Dankjewel. Dankjewel luisteraars voor het luisteren deze aflevering. Rijk, dankjewel dat je ons mee wilde nemen in het stukje psychologie en alle andere onderwerpen die we hebben aangestipt. Vond je dit een leuke aflevering? Vergeet niet te abonneren op je favoriete podcastkanaal. En tot de volgende keer. Heel graag gedaan. (C) TV GELDERLAND 2021