Clusteringalgoritmen en vierogen principe: hoe Floryn hun model verbetert

[Muziek] Hoi, leuk dat je weer luistert naar een nieuwe aflevering van de EOTD Live. Mijn naam is Joop Sneijder, CTO bij Agency. En mijn naam Niels de Clee, Chapter Lead Data AI bij Infosport. En we zitten weer met Marijn van Aerle van Florijn, die ons in de vorige aflevering veel inzichten heeft gegeven over explainable AI, uitlegbaarheid. En we praten met hem verder over dit onderwerp. Marijn, dankjewel dat je ook de tweede deel wilde doen met ons. We hebben het de vorige keer gehad over uitlegbaarheid. En een van de dingen die mij in ieder geval nog als vraag oppopte... is als je nou uitleg geeft aan je klanten... dan zou je eigenlijk ook een soort van binnenkant... geef je delen misschien van de binnenkant van je model weg... dat als mensen het maar vaak genoeg proberen... dat ze weten hoe de redenering van jouw model eruit ziet. Is dat erg? Nee. - En waarom niet? Nee, kijk, even denken. We geven best veel informatie aan onze klanten hierover. Dus ten eerste krijgen ze natuurlijk op een uitlegbaar manier te horen... waarom we het wel of niet doen. Maar ze krijgen ook een dashboard met alle data erin. Dus wij verzamelen data van iemand, dat is een zakelijke bankrekening. Wij combineren en aggregeren dat in allerlei KPIs, grafieken en verdelingen. En daarvan krijgt de klant zelf ook een dashboard... zodat hij zelf kan zien hoe zijn bedrijf ervoor staat. Dus ik snap je vraag, dan geef je vrij veel weg. Nou vinden wij dat eigenlijk niet zo erg. Want die beslissing weggeven aan je klant als die bijvoorbeeld niet klopt, is eigenlijk heel goed. Want dan gaat die klant je vertellen dat het niet klopt. Dat is fijn, het liefst zien we het eerst zelf dat het niet klopt. Maar soms heb je daar een gesprek over met je klant en dat is eigenlijk heel fijn. Dus onze klant ziet die data, onze salesafdeling ziet een deel van die data. En die twee kunnen een heel goed gesprek hebben inhoudelijk over een onderneming. Inhoudelijke, financiële gesprek met mensen met kennis. Dus eigenlijk hartstikke fijn dat je dat weggeeft. Dus je krijgt eigenlijk ook feedback om straks je modellen beter te maken? Ja, absoluut. En om de dataverzameling beter te maken. De kwaliteit, het inzicht erop. Of een nieuw soort bedrijf dat we nog niet eerder hebben gezien... waarbij een klant zegt, deze KPIs zijn zo... omdat mijn bedrijf nou eenmaal deze dienst op deze manier doet. En daar kunnen wij weer van leren. Het model is eigenlijk daarin de minst belangrijke schakel. Dus wat je nodig hebt, is je hebt een enorme software-infrastructuur nodig om dit allemaal te kunnen doen. Je hebt die koppelingen met banken nodig. Je moet al die data verzamelen, je moet dat labelen. Dan breng je dat allemaal op een plek bij elkaar, kun je een model optrainen en daar komen we dan uiteindelijk... Ja, het model is heel platgezegd de weging tussen al die verschillende factoren. Aan zich, aan die weging, daar heb je niet zo veel aan. Het gaat om dat hele apparaat eromheen om het effectief te kunnen gebruiken. Als ik jou nu ons model geef, dan moet je eerst even de rest van ons bedrijf opzetten. Kun je daarna heel handig dat model gebruiken. En dan kun je het ook niet meer aanpassen omdat je niet weet hoe het werkt. Dus daar kom je eigenlijk nergens mee. Nee hè? We moeten eerst maar eens beginnen met een startkapitaal. Dat is ook erg uitdagend, maar dat is voorzienings voor een andere podcast. Maar je zegt dat je het hele bedrijf moet optuigen. Wat zijn nou elementen die het mogelijk maken dat dit model ook iets voor je betekent? Aan wat voor onderdelen moet ik denken? Ja, je hebt... Ik noemde het net heel kort, maar je zit eigenlijk... Het belangrijkste is... Ik zie het altijd als een soort piramide, waarbij je heel goed je dataverzameling en je datahuishouding op orde moet hebben. Dus je moet echt zorgen dat je... En dat gebeurt meestal. Dat zijn data engineers of data analisten. BI-analisten worden ze soms wel genoemd. Die zijn eigenlijk Russie aan het doen. Daar hoort Niels heel blij van. Als ik mensen dat hoor zeg ik in de podcast, helemaal props. Er zijn veel mensen die willen heel graag machine learning doen en AI. Die lezen dat dan, die horen dit soort podcasts en denken, dit ga ik doen. Maar eigenlijk is het een soort kerst op de taart van een data-huishouding die je al moet hebben. Als je niet een model kan maken wat met een coin flip werkt en je kunt dat benchmarken. Als je niet met simpele business rules kan bepalen wanneer je bijvoorbeeld een krediet wel of niet zou doen, dan heb je eigenlijk nog niks te zoeken met AI, vind ik zelf. Helemaal meer. Al je datafouten zullen door een model ergens opgepakt worden op een manier die je niet begrijpt. En dan kun je maandenlang dat soort dingen gaan proberen te fixen. Maar eigenlijk ben je dan je onderliggende data aan het fixen. Dat kun je veel efficiënter doen als je dat onderaan in die piramide oppakt. Dus ja, wat heb je nodig? Data engineers, data analisten. Je hebt veel software engineers nodig, want bij alles wat je in productie neemt, je dataverzameling, je algoritmes, je model die je in productie wil draaien, daar heb je software engineering bij nodig. Dat is... Ja, in veel gevallen vind ik dat nog moeilijker om die puzzel te maken, dan om het model te trainen. Bij ons zijn machine learning engineers ook eigenlijk, nou ja, zeg maar half software engineers, omdat wij het heel belangrijk vinden dat zij zelf verantwoordelijk zijn voor ook het runnen van hun model. En dat ze ook bezig zijn met niet alleen, Ik heb een model, dit is de score jongens, veel succes ermee. Maar dat zij ook betrokken zijn bij het draaien en benchmarken, monitoring van dat model, want dat is eigenlijk veel meer werk dan het trimmen van een model. En daarnaast heb je denk ik, zeg maar allerlei juridische, ethische experts. Ja, absoluut. Kijk, de financiële sector waar wij in zitten, die ligt wat dat betreft altijd onder een vergrootglas. En ik denk ook dat dat verder volkomen terecht is. Absoluut. Dus ja, zeker daar moesten we in een vroeg stadium over nadenken. Ja, voor een startup is dat moeilijk om dat goed te doen, want dat kost een hoop geld die je misschien niet hebt. Nou, wij zijn gelukkig goed genoeg gevund om dingen in één keer goed te doen. Maar dat betekent eigenlijk dat je een interne compliance-afdeling hebt, dat je dingen hebt op GDPR-vlak, een functionaris gegevensbescherming, dat je een goede advocaat hebt die je documentatie kan schrijven, maar die ook kan valideren of je processen kloppen. Wij staan voor een deel van onze dienstverlening vanwege PC2 ook onder toezicht van de Nederlandse bank. Dus ja, je moet daar veel in investeren om dat goed op orde te hebben. Het gaat ook om geld van mensen, dus het is logisch, denk ik. Wat jij ook al zegt, dat model is, als we het afgerond doen, een heel klein speldenprikje in je hele organisatie. Alleen al dat je een PSD2-licentie krijgt, daar moet je al zoveel moeite voor doen. Ja, dat is een traject van negen tot twaalf maanden geweest. En ja, de 1000 tot 2000 pagina's zijn documentatie. Ja, dus succes met je model. Ja, en dan heb je nog de ongoing monitoring en de verplichtingen die daar allemaal bij komen kijken. Er zijn ook andere, bij iedere bedrijfstak zitten er overigens, wij hebben dan die PC2, maar iedere bedrijfstak heeft denk ik zijn eigen uitdagingen op dit vlak. Oh zeker. Die altijd erbij komen als je geautomatiseerd beslissingen gaat nemen. In de vorige aflevering kwam even tussen neus en lippen door, fairness en bias kwam voorbij. Daar hebben jullie denk ik ook mee te maken. Ja, absoluut. Er zijn ook gewoon echt voorbeelden geweest in het uitdelen van leningen aan mensen... waarbij gekeken wordt naar parameters die niets te maken hebben met wat wij dan noemen feitelijk financiële data. Dat is waar wij ons namelijk op willen baseren. En ja, dat is heel belangrijk. Je wil niet bepaalde groepen systematisch uitsluiten. Je wil niet parameters meenemen die je helemaal niet mee mag of wil nemen. Zoals iemand zijn afkomst, geloofsovertuiging en wat dan ook. En dat is superbelangrijk om daar je model op te benchmarken. Ik ben natuurlijk een techneut hierin en geen ethisch persoon of een advocaat ofzo. Dus mijn visie is denk ik dat modellen een uitgelezen kans zijn om dit goed te doen. Als je ze maar combineert met goede explainability en als je daar maar met mensen naar kijkt. Ja, want dan krijg je ook een vorm van transparantie toch? Ja, je ziet wat het model doet. En bij een afdeling mensen, daar hebben we bij onze vrienden van de Belastingdienst gezien, die kunnen ook prima systematisch dingen doen die je niet wil. Dat zijn mensen, maar die vormen met elkaar eigenlijk ook een systeem, waar ook een bepaalde bias in zit, die je er ook alleen maar uit krijgt, door het systeem van buitenaf te observeren, de beslissingen te bekijken, te benchmarken. Ja, en dan zie je die bias. En dat is bijna dezelfde systematiek als waarmee je een model benchmarkt. Behalve dat het bij modelwakkers een stuk sneller gaat om hier achter te komen dan bij mensen. Maar dit is superbelangrijk voor ons. Wij doen ook een aantal onderzoeken, een vervolgonderzoek van de huur. Maar we zijn nu ook weer bezig met de TU Eindhoven, met de stagiair, om daar naar te kijken. En we hebben sowieso op de belangrijkste parameters zelf al benchmarking draaien, sinds we beginnen, om ervoor te zorgen dat we dit niet doen. Ja, mooi. Ik denk dat dat ook gewoon van essentieel belang is. Dat je al begint met eigenlijk bias, Nou ja, laten we zeggen het bestrijden van bias by design. Ja, ja, kijk, dat is altijd wel een mooie... een beetje advocaat van de duivel of tegenwerper, maar ergens is natuurlijk op een technisch niveau, wat wij doen, is natuurlijk het creëren van bias, want wij willen... Ja. Het idee is... Kijk, als... Je scheidt de mensen die je wel of niet een lening wil geven. Ja, exact. En dat wil je graag tussen twee leningaanvragen ongeveer op dezelfde manier gaan doen. Anders, ja, anders dan werkt het hele systeem natuurlijk niet, want dan moet je iedereen individueel opnieuw gaan bekijken. Wij willen juist leren van wat we in het verleden hebben gedaan, om te bepalen wat we in de toekomst gaan doen. Dat is het concept achter dit. Kredietverlening, zoals het al onder de jaren gebeurt. Maar je moet vooral zorgen dat je dat doet op basis van, wat ik al zei, feitelijk financiële informatie. En geen informatie die daar eigenlijk niks mee te maken heeft. Ja. In de vorige aflevering heb ik verteld dat we elkaar zijn tegengekomen in het kader van het onderzoek van de HUNA, Explainable AI. Daar heb je een presentatie gegeven. En een van de dingen die zit echt voor in mijn hoofd, volgens mij gaat het ook over die barriers, dat jij vertelde van als mensen worden afgewezen, tenminste mensen worden niet afgewezen, het bedrijf wordt afgewezen op het krediet, dat je beoordelaar nog een seintje zou kunnen krijgen uit een ander model die zegt dan, dat is vreemd, want gelijksoortige gevallen hebben het wel gekregen. Ja, klopt. Ja, dat klopt. Een grappige verspreking, trouwens, mens wordt afgewezen. Zo voelt het namelijk wel altijd. Dus je wijst een bedrijf af, maar zo voelt dat niet. Zo voelt het voor mij ook niet over ons bedrijf als iemand daar iets van vindt. Precies. -Dat is je eigen ding. Dus je wijst net zo goed de mens als de ondernemer af. Althans in het gevoel van mensen. En daar moet je ook heel zorgvuldig mee omgaan, maar goed, buiten dat. Ja, dat klopt. We hebben die wisselwerking tussen mens en machine, die hebben we vanaf het begin al erin zitten. In het begin gewoon handmatig door continu naar dossiers te kijken, maar dat worden er steeds meer. En die gaat eigenlijk twee kanten op. Namelijk, de mens doet een afwijzing. Dat is inderdaad het voorbeeld wat jij noemt. De mens wijst een dossier af. Maar het model ziet eigenlijk dat gelijksoortige dossiers meestal worden goed gekeurd. Dan hebben we een systeem, dat noemen wij dan een challenge. Dus dat een taakje in het systeem aanmaakt van, hé, let op. Deze deal wordt eigenlijk normaal gesproken goed gekeurd. Maar nu keur je hem ineens af. Wat is hier aan de hand? Dan wordt er een taak aangemaakt voor een extra underwriter om daar ook eens naar te kijken. Dus dan krijg je een vierogen principe wat je toepast op die aanmelding. En dat is niet per se om die mens dan een tik op zijn vingers te geven, want in de meeste gevallen zit... Nou ja, de meeste weet ik eigenlijk niet, dat zou ik de getallen moeten naslaan, maar heel vaak ligt het ook aan het model. Dus we zien eigenlijk van ja, dat is een kans voor ons weer om te leren wat is hier aan de hand? Waarom verschillen het model en de mens van mening? Naar twee kanten toe toch? Want als de machine het wel goed heeft, is dat een leren voor de beoordelaar. En als de beoordelaar het juist heeft, is het de kans om te leren voor de machine. Ik vind het zo'n mooi principe. We hebben natuurlijk heel veel over, hoe bestrijd je nou bias en fairness en hoe ga je met fairness om. En dan hebben we het vaak ook over human in the loop. Daar hebben jullie natuurlijk ook echt heel duidelijk geïmplementeerd in je organisatie. En dat je daaronder nog eens een keer de machine in de loop hebt. En voor de mensen kan besluiten. Dat vind ik echt zo'n coole toepassing van de clusteringalgoritme. Zeker. En eigenlijk, je zei het in de vorige aflevering ook, eigenlijk is het soms heel simpel. Want eigenlijk, als je nu naar terug gaat, is het van waarom doen we dit niet vaker? Ik hoorde van Joop en ik was helemaal geïnspireerd in dat. Waarom geruiken we dit niet nadat de keuze gemaakt is? Vaak stopt het dat de uitkomst er is. en dat we dan ook gewoon weer verder gaan. Terwijl, nee, hier kunnen we ook weer van leren, door inderdaad weer op deze manier ermee op te gaan. Een heel mooi voorbeeld. Ja, we bouwen hem in dus eigenlijk net nadat de keuze gemaakt is, maar voordat we die keuze communiceren aan onze klant, zodat daar nog ruimte zit om iets aan te passen of om iets te veranderen. En ja, daar komen veel learnings uit. Dus eigenlijk iedere... We hebben sowieso interne tooling waarmee eigenlijk iedere onenigheid tussen mens en machine aan het licht komt. En dan zitten we periodiek, spreken de underwriters en het machine learning team met elkaar af. En die bespreken die cases om na te gaan van ja, wat is hier aan de hand? Missen wij een bepaalde feature? Klopt de weging van het model niet? Is er iets veranderd in de wereld waardoor dit nu ineens zo gebeurt? En ja, daar komen heel veel nieuwe inzichten uit. En ja, we kunnen ook oprecht meer klanten helpen doordat we in sommige van deze gevallen tot de conclusie komen. Ja, wacht eens even. Als we in die twee, drie andere gevallen... Want het systeem kan ook... Daar hebben we een leuk onderzoek gedaan mee, samen met de TU Eindhoven. Het systeem kan ook similarities, dus gelijksoortige dossiers erbij zoeken. En die dan presenteren aan de mens. Hij zegt niet alleen van de waarden, deze lijken 0.2 op elkaar. Hij zegt ook, en het zijn bijvoorbeeld deze drie, die eigenlijk voor de computer dezelfde karakteristieken hebben. En dan dwing je een mens ook om uit te leggen, om uit te leggen van ja maar ja wat zijn dan die verschillen daartussen en meestal zijn die er overigens hoor dus ja en daar leer je dan van ja geweldig en hoe wat je hebt het over de afwijzingen dat die als als mens gevoelsmatig zo binnenkomt heeft de beoordeler daar dan ook last van als die machine zegt van misschien zit je niet goed ja nee dit is geen populaire dit Het is niet per se een heel populair model wat we hebben draaien intern. Het is, dat is denk ik ook logisch, want een mens stopt tijd in een beslissing. Dat is ook waarom ik zeg, en dat is ook waarom het vrij vaak aan het model ligt. Omdat onze mensen dit eigenlijk best wel goed kunnen. Dus ja, dat slaat eigenlijk vaak die kant op. Het wordt soms ook wel gezien van, nou, hebben we een challenge. Ja, ik heb toch al gezegd dat ik het niet goed vind. Dus ja, inderdaad, dat is niet per se een heel populair model. Maar goed, we kunnen ook de zaken aanwijzen... waarin de beslissing heeft gedraaid tot een omkering. Maar het is precies wat het is, want niemand vindt het leuk... om overruled te worden, en dan helemaal niet door een computer. Dus het gaat eigenlijk om de interne dialoog die eruit komt. En als die dialoog dan tot een omkering van de beslissing leidt... dan is het eigenlijk niet zo'n probleem meer. Dus wat je zeker niet moet doen is gewoon deze challenge moet zeggen. Ja, het model zegt dat het anders moet. Dus ja, je hebt pech. Dat is wat je dus niet moet doen. Geen computer says no. Nee, of yes in dit geval. Maar het is wel een mooie manier om te gaan meten. Want hoe minder challenges je zou krijgen, hoe beter eigenlijk die mens en machine tot elkaar komen. Ja, dat is het meten. Hoe dicht die bij elkaar zijn, daar zijn we heel druk mee. Dus dat is heel belangrijk. We willen dat die twee, ja, convergeren, die twee waardes. Maar dat is natuurlijk lang niet altijd zo. En dat moet je uitsplitsen in allerlei dimensies. Maar daar zijn we heel druk mee. En straks gebeurt er weer wat in de buitenwereld... ...en dan loopt het weer uit elkaar. Bij covid gingen al onze KPIs helemaal mis. Omdat je bijvoorbeeld, nou ja, één van onze KPIs was toen... ...kijken naar belastingachterstanden. Die had ineens iedereen. Omdat je geen belasting meer hoefde te betalen. En nu is dat nog steeds een ding... want heel veel ondernemers moeten dat nu weer terugbetalen. Dus daar wil je ook weer een indicatie voor hebben. Dus ja, dat blijft bewegen. Ook met de logistieke uitdagingen die er dan in de wereld zijn met China, waar issues waren. Dat zijn allemaal trends die er doorheen lopen, die je moet proberen op te pikken. En eigenlijk ben je dan met je model vaak te laat. En wil je dan, als je de eerste kleine indicaties in je model ziet, wil je meteen met je mensen schakelen. En vaak gaat het natuurlijk andersom, want die mensen lezen ook het nieuws. En dan ga je zoeken in je model of je er al iets van kan zien. Dus ja, dat is heel belangrijk. Zo'n model heeft ook allerlei targets. Dat is misschien ook nog wel goed om te zeggen. We hebben het nu over het model dat ja of nee zegt, maar zo werkt het natuurlijk niet. We hebben modellen die zijn gebaseerd op menselijke beslissingen. Dan kun je ook nog eens kijken in welke productcategorie en over welke tijdseenheden. Want een beslissing uit 2018 die we hebben genomen, die is niet meer één op één te vergelijken met de beslissing die we nu nemen. Dat is ook heel lastig. En je hebt allerlei targets. Bijvoorbeeld, vond een mens het oké om deze klant te accepteren, ja of nee? Maar ook, voor hoeveel dan? Dus, hoeveel geld? Misschien kunnen we helemaal niet aan de klant wensvol doen als we het model volgen. Dus daar wil je ook genuanceerd in zijn. En je hebt de KPI. Want een mens kan wel zeggen, ik wil hem niet goedkeuren. Maar het meest interessante is natuurlijk, wat gebeurt er dan met zo'n klant? Als we hem wel goedkeuren, wie heeft er echt gelijk aan het eind van het liedje? En dat is een hele moeilijke dataset, want je bent heel lang bezig... en je wil helemaal niet dat het misgaat. Ja, dus dat is... Ik weet van creditcard maatschappijen, die zitten natuurlijk altijd met de fraude detectie. En wat zij doen is gewoon een heel klein percentage van iets wat het model heeft ingeschat... als zijne dit is frauduleus, om dat door te laten gaan... om te leren of dat daadwerkelijk frauduleus is. Maar ik denk niet dat jullie die luxe hebben om op die manier dat model door te trainen. Nee, we hebben nu sinds start iets meer dan 700 miljoen uitgeleend. Dus het gaat op zich al wel om forse bedragen. Maar we hebben dit nog niet op deze manier gedaan. Nee, we zitten op hele lage percentages wat betreft het aantal klanten... ...dat ons niet meer kan terugbetalen. En dat vinden we nog belangrijker dan de juiste model hebben... ...om dat getal zo laag mogelijk te houden. Dus nee, we hebben dat nog niet gedaan. Nee, snap ik ook. Een vraag die bij mij nog leeft is, de ondernemers geven inzicht in hun onderneming, ook financiële gegevens. Hoe ervaren ze dat? Ja, ik denk dat in de basis zou ik zeggen dat mensen het liefst geen inzicht geven. En dat lijkt me ook heel gezond. Maar het gaat wel om een financieringsaanvraag. En als jij een hypotheek aanvraagt of als jij een private lease auto wil hebben, dan gaan ze ook al vragen om een bankafschriftje en om een loonstrook en dat soort dingen. Dus ik denk dat mensen wel snappen van, ja luister, jullie maken daar ook 250.000 euro naar mijn bedrijf over. Ik kan me voorstellen dat jullie benieuwd zijn hoe het gaat. Want het is best eng. Dat merken we. Wat je wel ziet is dat de eenvoud is daarin wel belangrijk. Dus de APIs die wij gebruiken, die zijn publieke, dat is de PSD2-API. Het is wel heel makkelijk om daar data mee aan te leveren. En je moet eigenlijk gelijksoortige data anders aanleveren, want dan moet je al je jaarrekeningen, en dan gaan ze vaak doorvragen, Colombo-balans en alle andere onderliggende stats. En dan zeggen ze, ja, nee, mijn jaarrekening is te oud, dus doe ook maar even een tussentijdse van dit kwartaal, en doe maar ook maar die maand. Ja, dan ben je ook... - Investering of kwart tijd en... Ja, en dan ben je... Dan geef je natuurlijk ook heel veel prijs over je onderneming, wat ook begrijpelijk is, maar dat is veel moeilijker en bewerkelijker allemaal. Want ja, die data kan weer gemanipuleerd zijn en wat dan ook. En wij gebruiken eigenlijk meer de bron-data daarin. Maar ja, het eerlijke antwoord is wel, ja, tuurlijk is er een kleine barrière voor mensen om die data aan ons te geven. En dat is waarom je zo transparant mogelijk wil zijn over wat je er dan daarna mee doet. Die dashboards die je al eerder noemde, inderdaad weer teruggeven van de inzichten. Dat is misschien ook heel zelfs wel waardevol voor een ondernemer, om dat over zijn eigen onderneming weer terug te zien in een andere vorm, hoe daarna gekeken wordt. Ja, we krijgen daar goede feedback op. Het is niet ons kernproduct, het is niet om financieel inzicht te geven aan ondernemers, maar we merken wel dat we steeds meer tractie krijgen op dit onderdeel. Ja, en wat ik al zei, we vinden het zelf heel fijn, want we krijgen alleen maar feedback over of ons systeem werkt of niet. Bij start hadden we dit alleen maar voor een deel van onze klanten. Niet voor klanten doorlopend, dus alleen bij de aanvraag. Maar de customer success kreeg gewoon vragen van waar is dat dashboard nou heen? Dus daar hebben we natuurlijk meteen voor gezorgd dat het ook doorlopend inzichtelijk is. Mooi compliment ook wat je kan krijgen voor de klanten. Dat is ook mijn afdronk van de twee afleveringen. van eigenlijk hoe duidelijker en transparanter je bent... naar zowel je beoordelaars als je klanten... dat je eigenlijk zoveel leert dat daardoor je modellen beter worden... waardoor je eigenlijk je business laat groeien, toch? Of ik dat zo afronden? Ja, absoluut. Kijk, je kaarten tegen de borst houden wat dit betreft... dat werkt niet in je voordeel. Nee, ik vind dat echt een hele mooie conclusie. Zeker. -Dank je wel. Ja, jij bedankt. Jullie bedankt. Leuk dat je weer luisterde naar een aflevering van EOTD Live. Vergeet je niet te abonneren in je favoriete podcast app. En tot de volgende keer. TV Gelderland 2021