Vervolg AI & Geautomatiseerde ketenbesluiten (met Marlies van Eck)

Hoi, leuk dat je luistert naar deze aflevering van de AIToday Live Podcast.

Vandaag hoor je onze gast Marlies van Eck vertellen over haar proefschrift over geautomatiseerde

ketenbesluiten.

Malice is juriste bij Hoogheemstra & Partners en vertelt ons wat geautomatiseerde ketenbesluiten

zijn.

Nog belangrijker, wat dit betekent voor het ontwerpen en bouwen van AI-systemen.

Je luistert nu het tweede deel van het gesprek met Marlies.

Heb je het eerste deel gemist?

De link staat in de beschrijving van de podcast.

Mijn naam is Joop Snijder, ik ben hoofd van het Info Support Research Center AI en samen met

mijn collega Niels Naglé, chapter lead data in AI, duiken wij in iedere aflevering in

de wereld van professionele AI.

Ja, even terugpakken inderdaad.

We hadden het punt over als het bij een individu gaat, dat dan inderdaad weer de samenwerking

weer even allemaal de handen van af trekt en gaat wijzen.

En ja, dat is ook een beetje het fenomeen van gedeelde verantwoordelijkheid is eigenlijk

geen verantwoordelijkheid.

Wie is er nou daadwerkelijk aansprakelijk?

Volgens mij is dat heel lastig om vast te stellen.

Wie is nou aansprakelijk voor welk stukje als er een keten is?

Ja, en ik wens me soms ook wel eens bang dat dat ook het aantrekkelijke is van werken in

een keten.

Oh ja, dat zou zonde zijn als dat het is inderdaad.

Dan had ik er nog niet naar gekeken.

Ik zei laatst ook, nou doe maar gewoon maar een keten.

Er zijn ook echt geweldige debatten in de Tweede Kamer geweest waarbij de keten ook

letterlijk zeg maar zo werd geïnstitueerd.

Dan had je Wekers bij de Bulgarenfraude die natuurlijk moest vertellen al wat vreselijk

wat er bij de belastingbedingingen is gebeurd.

Maar ik heb hier natuurlijk verder helemaal geen invloed op gehad, want dat heeft de maak

ook al niet gebeten.

Die hebben al die mensen ingeschreven in de basisregistratie per zoon en toekom.

Daardoor weer de minister ervoor naar boven.

En uiteindelijk stonden ze met z'n drieën, want er was ook nog iemand van het Openbaar

Ministerie om te kijken of er ook nog strafrechtelijk iets moest gebeuren.

Dan had je drie ministers.

Ja, Kamer, waar is natuurlijk dan geen schijn van kans.

Ja, dat is een mooi voorbeeld inderdaad.

In de wetgeving is het mogelijk om zo'n ketenverantwoordelijkheid dan eigenlijk ergens te beleggen?

Of is dat heel lastig?

Het punt is eigenlijk dat je zou willen dat je een soort ketenaansprakelijkheid hebt.

Zoals je ook in de bouw hebt.

Dat ik laat wat naar huis bouwen en wat dan de aannemer uitsprookt met de mensen die die

daar laat werken.

Is officieel niet mijn probleem.

Juridisch gezien kan ik gewoon naar die aannemer.

Dat is ook met allerlei producten.

Dus ik ga naar de mediamarkt en ik koop daar een televisie.

En dan mogen zij niet zeggen, ja ga maar naar Philips als de televisie niet goed is.

Het is allemaal wettelijk geregeld.

Dat soort processen zou je hier eigenlijk ook willen.

En officieel is dat ook de voorgang van de AVG.

Dan had je al de wet beschermd voor zogeschrijven.

Daar stond ook al heel duidelijk in.

Het is niet het probleem van de burger als er iets fout gaat in de keten.

Je mag je tot alle instanties wenden.

En zij zorgen ervoor dat het overal wordt opgebouwd.

Dus het zijn ook geen nieuwe concepten.

Alleen het wordt nog helemaal niet uitgevoerd.

Wat mij ook wel opvalt is dat zelfs bij het product,

als je het hebt over een systeem met machine learning, artificial intelligence,

dat daar al niet eens, zeker als het de publieke ruimte in komt,

dat er verplichtingen zijn, dat het getoetst is, dat het in ieder geval al goed werkt.

Dat vind ik eigenlijk al vreemd.

Dus je laadt het over aan de bouwer, de ontwerper, om het zo goed mogelijk te doen.

Maar als je kijkt naar allerlei, je noemde net gewoon heel simpel een lamp.

Een lamp moet natuurlijk van alles, voordat je een lamp op de markt brengt,

voordat ik die hier in mijn fitting mag draaien,

is er al zoveel gebeurd, getest, aangetoond, dat dat ding veiliger is.

Alles erop en eraan.

Er moeten hele beschrijvingen bij van hoe dat ding werkt,

als het niet goed werkt, waar kan je terecht, dat soort zaken.

Ik vind dat zo apart dat wij dit soort modellen, algoritmes,

de publieke ruimte in mogen gooien, zonder dat daar zo'n kade omheen zit.

Helemaal eens. Ik zeg heel vaak, je kan echt beter dit gaan doen

dan bijvoorbeeld een frietkraam beginnen.

Als je een frietkraam begint, dan moet je vergunningen hebben,

je moet allerlei formulieren invullen, je moet hygiënisch,

je moet qua arbeid goed in elkaar zitten, je moet ook alles aantonen,

want de verantwoordelijkheid ligt bij wij dan als frietkraamhouder.

Terwijl dit gebeurt gewoon. Dat heeft mij ook heel erg verbaasd.

Ja, en wat ik ook wel apart vind, is dat er nu van de wetenschappelijke raad

voor het regeringsbeleid, die hebben een mooi stuk uitgebracht aan advies

voor de regering, en ze hebben het heel erg over contextualisering.

Wat ik wil zeggen, is dat ze zeggen van ja, maar het is niet,

zij maakten een analogie met de verbrandingsmotor,

ze zeggen van die verbrandingsmotor is een geweldige techniek,

die kan je voor van alles inzetten, daar is de auto op gebaseerd,

maar om die auto uiteindelijk goed te laten functioneren,

laten we het zo zeggen, is er een context nodig.

Dat noemen ze dan die contextualisering, en die context is,

je hebt wegen nodig, je hebt verkeersregels nodig, je hebt een rijbewijs nodig.

Er zit een gigantische context omheen om uiteindelijk die verbrandingsmotor

in die auto te laten renderen, laten we het zo zeggen.

Het gekke is dat voor AI dat een beetje, denk ik, zo is.

En als je naar algoritmes in het algemeen kijkt,

en zeker bij die toeslagenaffaire, dat het best wel voor een gedeelte contextualisering was,

wetgeving, instanties waar je terecht kan, bezwaren die je kan maken,

allemaal dat soort zaken, en toch hebben die niet gewerkt.

Dus ook als we zouden zeggen, het is misschien een lange vraag,

van ja, maar als we dat allemaal inregelen,

dan blijf je nog steeds met het menselijke aspect zitten van,

wat gaan we ermee doen?

Ja, dat heeft denk ik ook mee te maken dat het niet direct zichtbaar wordt

voor mensen die er geen verstand van hebben.

Dus als mensen weten hoe het er, ik heb met heel veel programmeurs gesproken,

en dat was heel erg grappig, want die zeiden, ja, ik weet wel dat het ongecode,

dat het niet perfect is, maar ja, binnen de gegeven tijd moest het gewoon af.

En nou ja, laten we zeggen dat het voldoet de 80% van de gevallen.

Wordt het eenmaal uitgerold en geïmplementeerd, dan wordt het ingezet voor,

nou ja, meer dan 90% van de gevallen. Dus daar gaat al iets fout,

want ik denk dan als gebruiker, denk ik al, dat die geschikt is voor 90% van de gevallen.

Dus we worden ook te weinig geïnformeerd van, let nou hier op,

want mogelijk is het model niet geschikt om die vragen te beantwoorden.

Ja, en zeker bij machine learning AI weet je zeker dat je niet te maken hebt met 100% precisie,

want als je dat zou hebben, dan kan je dat ook in regels vatten

en is überhaupt, zeg maar, zo'n model niet nodig.

Dus inherent aan zo'n model geldt dat die maar tot een zoveel procent betrouwbaar is,

of accuraat is, waarbij je weet hoeveel uitval er is.

Ja, en dat vind ik heel zorgelijk, omdat de expert, die weet het heel erg goed,

maar dan kom je bij de manager en die heeft natuurlijk een beperkt aantal medewerkers,

laten we wel zijn, de overheid, daar is de laatste jaren enorm in geïnvesteerd,

om het vriendelijk te zeggen. Dus je hebt een beperkt aantal mensen

die dus met die uitval iets kunnen gaan doen.

Wat je dan ziet, is dat die uitval wordt bijgeschroefd,

tot het aantal mensen wat je hebt.

Dus daar zie je, dat wist ik dus niet, dat die uitval ook weer manageable is,

tot aan het aantal mensen wat beschikbaar is.

Een rechter bijvoorbeeld, stel dat, een rechter daarna gaat kijken,

die moet natuurlijk eigenlijk al dat soort dingen weten,

anders weet hij niet waar hij naar kijkt.

Dat merk je zelf ook met een auto waar wat iets meer assistentie in zit,

dat je heel snel door hebt van, oh hij slaat aan met een fiets met een grote regen,

dan denk je ook al dat hij moet afremmen.

Of hij zet een fietspad aan voor een stroop waar ik niet op mag rijden.

Dus dan heb je heel snel door wat hij wel en wat hij niet kan.

Dat gevoel, dat moeten eigenlijk ook de leken veel beter gaan ontwikkelen.

Want wij leken, kennen waarschijnlijk veel te veel macht of verstand of wijsheid toe aan systemen.

Er is een hele beroemde AI-wetenschapper uit de jaren 60, Weizenbaum,

en hij heeft ELISA destijds uitgevoerd, dat was een chatbot.

Dat weet jullie wel waarschijnlijk, waarmee mensen psychiater, psychologie, respect omvoeren.

En Weizenbaum die zei altijd dat wij mensen echt geneigd zijn om heel veel macht toe te kennen aan dingen die we niet begrijpen.

En hij zei je moet echt eigenlijk meer naar gaan kijken zoals je naar een illusionist kijkt.

Dat je probeert te betrappen op een trucje.

Maar niet gaan achteruit zitten en kijken van wat voor bovennatuurlijke machten is hier aan het werk.

Ja, wel mooi, maar ik denk ook een hele lastige. Want ik probeer dat even naar de persoon te trekken,

voor wie we dan oplossingen bouwen. Dat kunnen burgers zijn, dat kunnen organisaties zijn.

Kan je daar die vraag neerleggen dat ze zich telkens moeten gaan verwonderen en laten gaan nadenken over,

zitten er nog bepaalde zaken. Is dat niet iets wat bij de oplossing, je noemde net product,

eigenlijk is het een levend product, dus meer een voedingsmiddel wat we maken.

Kan daar niet iets in dat proces vastgelegd worden? Want dit kan je toch niet bij de burger zelf neerleggen?

Nee, nee, zeker niet. Maar het is meer dat je dus die instituten eromheen en die contextualisering,

dat die veel beter in staat zijn om kritische vragen te stellen.

En bij de burger, daar zou je van willen dat die kan vertrouwen op een zekere maat van kwaliteit.

Dat is wel het mooie van de verordening. Aan de ene kant wordt het een enorme papierberg,

waarvan we nog niet weten, lijkt dat nou noodzakelijkerwijs tot betere producten?

Maar het feit dat je echt pas iets op de markt mag brengen en verkopen of gebruiken,

als het aan allerlei dingen voldoet, dat moet toch al een zekere vertrouwen gaan geven aan burgers.

Ja, en het zou ook wel fijn zijn dat je echt geïnformeerd wordt als er een besluit over jou genomen wordt.

Als er een besluit genomen wordt, dat je dat als burger gewoon weet.

En niet dat er inderdaad wat bij de belastingdienst gebeurde van die zwarte lijsten,

dat je niet eens weet dat er besluiten over je zijn genomen.

Ja, en weten is een invloed. Dat is een tweede natuurlijk.

Ja, want mensen willen ook weten waarom sta ik erop.

Dat antwoord krijgen ze ook niet vaak, omdat het er gewoon niet is, het antwoord.

Nou, ze gaan nu terugdenken.

Denken ze, ja, die ene keer dat ik bij de douane een probleem had toen ik ging vliegen,

heeft dat misschien hiermee te maken. Dus het is heel naar.

Maar transparantie zou al heel erg helpen als het op de beslissingen zou staan.

Dat zou ik heel fijn vinden als op elk beslissingsstaat,

dat is in Frankrijk verplicht, als je een beslissing van de overheid krijgt, staat erop.

Het is een algoritmische besluitvorming. We gebruiken daar die en die regels bij.

Dit en dit is het model. Zoek het op op internet, want dan staat alles openbaar of zoveel mogelijk.

Dan kan je de verschillende lagen aan geïnteresseerde burgers bereiken.

En weet de rechter ook veel beter van, oh, ik moet hier extra op gaan zetten.

En dat is in Nederland nog mondjesmatig, ook dat eigenlijk een AVG verplichting is.

Maar bijna alle grote organisaties verwijzen gewoon naar de website.

Ja, gek is dat. En precies wat jij ook daar beschrijft over dat van Frankrijk,

van hoe zij dat geregeld hebben. Dat vond ik zo'n mooi voorbeeld.

Dat je inderdaad gewoon brieven krijgt, je krijgt verwijzingen, je krijgt een uitleg.

En doordat zo'n brief opgesteld moet worden, verplicht je degene die aan het bouwen is,

dat er ook een uitleg mogelijk is.

Want anders kan straks die brief niet gestuurd worden of staat er alleen maar onzin in.

En dan kan het ook niet alleen maar op een technische manier moeten beschreven zijn,

maar ook zodanig dat het herleidbaar is naar het besluit, dat het ook begrijpelijk is.

Dat vond ik er ook zo mooi aan.

Dat was ook een onderdeel van het, het moet een begrijpelijke uitleg zijn.

Ja, en ik denk dat in de context van de overheid, die neemt eenzijdige beslissingen,

die mag allerlei dingen die gewoon de burgers onderling niet mogen.

Ik denk dat het dan heel erg lastig gaat worden als er wordt gewerkt met machine learning,

die men zelf ook nauwelijks kan uitleggen.

Er komt een breekpunt dat burgers dat gewoon niet accepteren.

Dat zie je nu ook al in de coronatijd.

Er komt een punt waarop burgers, heel veel mensen die bij de overheid werken,

vergeten in wat voor geprivilegde posities ze zijn.

Zodat zij eenzijdig kunnen zeggen, jij gaat nu belasting betalen.

Je krijgt geen uitzondering van betaling.

Dat is een machtsverhouding.

Dat vergeten ze.

Maar die machtsverhouding betekent ook dat die heel breekbaar is.

Vertrouwen in een, bijvoorbeeld belastingdienst, is enorm afgenomen.

Is nu veel lager dan een jaar of twee geleden.

Op een gegeven moment kan je wel denken van ja, maar met machine learning

worden misschien veel betere beslissingen genomen, misschien ook eerlijker.

Maar als je dus niet echt aan iemand kan vertellen, u krijgt deze boete,

want u heeft een vuilniszak verkeerd geparkeerd.

Maar een beslissing als het systeem heeft de vuilniszak gedetecteerd,

de kans is aanmerkelijk dat die van u was.

Of we weten eigenlijk niet waarom het systeem u een boete oplegt.

Dat wordt echt een vervelende verhouding.

Dat laatste kan sowieso niet.

Vorig seizoen hebben wij heel veel aandacht besteed aan explainable AI en interpretable AI.

Wat je ziet is dat deze behoefte van het uitleggen van uitkomsten van modellen,

dat die steeds groter wordt.

Daar wordt gelukkig ook heel veel onderzoek in gedaan.

Daar doen we zelf ook aan mee.

Dat soort onderzoeken waarbij je echt ziet dat je niet alleen maar een technische uitleg kan geven.

Dat je zegt, op basis van deze en deze technische gegevens komt er dit technisch besluit uit.

Maar dat je terug moet naar een dusdanig niveau dat of de burger dat kan snappen,

maar dat zou ook een orator moeten kunnen zijn die daar op een andere manier naar kijkt.

Op allerlei niveaus moet je die uitleg kunnen geven.

Als je dat niet kan, dan moet je heel goed nadenken of je het wel wil inzetten.

Waarbij ik denk dat je heel snel de keuze moet maken om het dan niet in te zetten.

Als het niet uitlegbaar is en het heeft wel invloed op de levenssfeer van mensen,

moet je het niet inzetten.

Ja, en je zou ook nog kunnen voorstellen dat in een medische setting,

bijvoorbeeld mensen op een gegeven moment zo'n heftige diagnose hebben gekregen met zo weinig voor uitzicht,

dat je zelf kiest, als dit het model aangeeft dat dit een methode zou kunnen zijn voor mij,

dan neem ik die gok.

Dan ga je echt met elkaar beslissingen afwegen en je bent heel geweldig geïnformeerd.

En dan is het ook geen geautomatiseerde beslissing.

Dat is wel een mooie die je aanhaalt, want ik vind wel een heel groot verschil.

Dan krijg je een advies uit het model wat je meeweegt en daar heb je meer ruimte in,

in beperkte uitleg en dat soort zaken.

Of is het een geautomatiseerd besluit en daar moet het echt heel helder zijn.

Waar is het op gebaseerd? Hoe zou je het besluit kunnen beïnvloeden?

Daar komen heel veel aspecten bij kijken. Als het een advies is,

dan kan je zelf als mens nog van allerlei dingen meewegen en wordt het dan ook jouw besluit.

Dan moet jij ook je besluit kunnen uitleggen.

Ja, en dan kan het een enorm toegevoegde waarde hebben, de machine learning.

Ja.

Nou, leuk. We hebben een hoop gesproken zo.

Ik had ook echt een hele lijst, maar ik denk dat we daar best wel een hele hoop van...

Oh ja, ik had nog wel één vraag.

Jij hebt in je proefschrift heel veel over good administration.

Kan je uitleggen wat dat is en wat we daarmee moeten?

Ja, in Nederland hebben we het dan heel vaak over de beginselen van behoorlijk bestuur.

Dus van de overheid vinden we dat die iets netter moet zijn.

Dat als er moeilijke keuzes te maken zijn, dat ze zich behoorlijk hebben te gedragen.

Het moet behoorlijk zijn. Behoorlijk.

In het Engels spreken ze vaak over good administration.

Dat is nog iets moreels waarder. Het moet goed zijn.

Er zit een zekere moraliteit in.

Daarom vind ik dat zo mooi. En in het Europees recht geldt ook dat er een recht is op good administration.

En dat recht op good administration houdt in dat de overheid niet aan vriendjespolitiek mag doen.

Je mag geen verschil maken in burgers, mensen met grote pot of mensen zonder grote pot.

De overheid moet als er keuzes te maken zijn tussen de uitgoedbelangen of het individuele belang,

moeten ze eigenlijk voor het individuele belang kiezen.

Daar mag geen willekeur plaatsvinden.

Het zijn allemaal kwaliteitseisen waarvan we zeggen dat de overheid, juist door het feit dat ze zoveel macht hebben,

moet zij zich ook echt netjes gedragen.

Dat biedt dus een heel goed toetsingskader om te kijken wat mag dan wel en wat mag dan niet.

Het zorgvuldigheidsbeginsel is bijvoorbeeld een hele mooie.

Bij het zorgvuldigheidsbeginsel ga je ervan uit dat de overheid alles aan doet om eerst heel veel informatie te vergaren

voordat ze een beslissing nemen en niet zomaar lukraak jouw beslissing sturen.

Dus dat stelt ook eisen aan je processen.

Een andere hele belangrijke die nu heel erg in het nieuws is,

ik heb net gemist, want er is vandaag een hele belangrijke uitspraak over, dat reduceren we nu ineens,

ik denk om twee uur is de beginsel, maar dat is het evenredigheidsbeginsel.

Dat is iets wat wel in verhouding moet staan, de ernst van wat je hebt geconstateerd,

moet in verhouding staan tot de beslissing die je neemt.

Met name de evenredigheid zag je in de toekslag afwerking, dat is natuurlijk voorkomen weg,

zeker als je nagaat dat het ook allerlei doorwerkingen had in mensen hun leven buiten toekslagen.

En daar moet de organisatie zich veel bewuster van zijn.

Dus die evenredigheid is ook een heel erg belangrijke, mooie invulling van een ruime norm van goed administration.

En betekent dat een bouwen van systemen hier ook nog iets mee moet?

Of is dat echt wel iets?

Ja, het leukste zou natuurlijk zijn, als we Denemarken dan weer volgen,

Denemarken die heeft de verplichting om niet alleen een DPIA te maken,

maar je maakt echt een impact assessment op de beginselen van behoorlijk bestuur.

En pas als je die hebt doorstaan, dan mag je je systeem gaan bouwen.

En dus daar zit een heel mechanisme in, ook van dat dus al dit soort afwegingen van

wat ben je aan het doen, heb je wel een wettelijke titel om dat te doen,

of is het gewoon dat je aan het hobbyën bent, ga je erover?

Dat zien we ook bij overheden, die gaan eigenlijk helemaal daar niet over.

Dus een burgemeester die bijvoorbeeld iemand een online, heb je dat gezien?

Een burgemeester die gaf iemand een online straatverbod, die mocht niet meer tegen de buurt.

Daar gaat de burgemeester helemaal niet over.

Ga je erover? Wat zijn die voordelen? Hoe vul je die in? Ga je daar netjes mee op?

Prudent? Ga je meteen erop in? Of ga je gelaagd? Ga je eerst waarschuwen?

Zoals dat dan ook bij de opvoeding van je hond of zo gaat.

Dan ben je juist heel erg in de harde lijn.

Al die afwegingen zitten dan in zo'n impact assessment.

En zij hebben in Denemarken dan ook een instituut die dat dan toetst?

Ja, ze hebben daar ook een ombudsman.

De ombudsman heeft daar meer bevoegdheden dan in Nederland,

maar daar procederen ze weer veel minder bij de rechter.

En de ombudsman heeft dit als nieuw beginsel ingevoerd.

Wat eruit gaat vloeien uit zoiets.

In je proefschriften stel je ook heel veel vragen op.

Uit mijn hoofd geloof ik iets van 47 vragen rondom die Good Administration.

Ik denk dat wij in ieder geval in Nederland dat zouden kunnen gebruiken

om eens door te nemen als je aan dit soort systemen bouwt.

Om eens naar die vragen van jou te kijken.

Want ik denk dat die heel veel prikkelen en triggeren

van waar je misschien nog nooit aan gedacht hebt.

Dus dat heb ik er in ieder geval ook uitgehaald.

Dat neem ik wel mee bij het volgende, om eens daar eens goed naar te kijken.

Ja, hartstikke leuk. Mooi.

Niels, heb jij nog vragen?

We hadden al gesproken, ik zou een beetje de...

Je had een mooie vragenlijst aan inderdaad.

Eigenlijk zijn er heel veel herkenningspunten.

Naar de eerdere podcast die we opgenomen hebben,

over sponsoren, dat wij dat gewoon willen uiten.

We staan voor kwaliteit. Daar staan we niet alleen voor.

Daar kan je als één partij voor staan.

Maar het belangrijke is inderdaad dat we met z'n allen en de ketens daarvoor gaan staan.

En hopelijk door dat de prediken, en dit in de podcasten bespreken,

ook dit soort onderwerpen te behandelen.

Hoop ik dat we met z'n allen dit steeds meer gaan inzien.

Het belang van governance, het belang van kwaliteit.

En dat verantwoordelijkheidsgevoel, en met name verantwoordelijkheidsgevoel

over welk impact maak je, komt, vind ik hier heel erg mooi naar voren.

Dat we dat steeds meer gaan ademen als BV Nederland.

Ja, en om dat dan af te sluiten.

Wij zijn denk ik heel erg bezig, vooral in de podcast,

maar ook wat Niels zegt, om eruit te dragen van

je bent niet zomaar even een ontwikkelaar van, weet je, je draait een model in elkaar.

Dat lijkt te werken, daar krijg je hele mooie technische gegevens uit.

Zeg van nou, de betrouwbaarheid is zo hoog.

Hup, we gooien het maar live.

Dus Marlies, heel erg bedankt dat je onze gast wilde zijn.

Wij hebben er veel van geleerd, denk ik, als ik ook van Niels spreek.

Zeker.

Het was een eer. Ik hoop dat je het leuk vond.

Ja, hartstikke leuk. Leuk om nog een keer verder over te praten.

Ja, laten we die optie in ieder geval open houden.

Zou ik heel erg leuk vinden. Heel hartelijk dank.

En aan de luisteraars, als je vragen hebt over dit onderwerp,

heel graag. En attendeer collega's van je op de podcast.

En dan tot de volgende keer.

Marlies, dank je wel.

Leuk.

Jullie bedankt. En het is echt wel leuk om een keer te kijken of we iets gezamenlijk kunnen doen.

Zeker.

Zoveel mooie raakvlakken inderdaad.

Ja, hartstikke goed.

Houden we de kop wel.

Oké, doei doei.

Doei doei.

Bedankt weer voor het luisteren.

De volgende aflevering is weer een part 2's aflevering.

Ik hoop dat je dan weer luistert.

Vind je het leuk deze podcast? Deel het dan graag met collega's of anderen.

Abonneer je in je favoriete podcast app.

En in Spotify kun je ons tegenwoordig een beoordeling geven.

Zouden we super cool vinden. Dank je wel.

Ondertitels ingediend door de Amara.org gemeenschap