Macht van Interpreteerbare AI: Transparantie en Toekomstige Wetgeving

Welkom en leuk dat je weer luistert naar een nieuwe aflevering van de AIToday Live. Met vandaag een speciale gast Bas Niesink en samen met Joop Snijder gaan we in gesprek over interpreteerbare AI. Bas, leuk dat je aan wil sluiten en het met ons wil hebben over interpreteerbare AI. Leuk dat ik hier welkom ben. Zou je eerst even kort willen voorstellen aan de Ik ben Bas Niesink, data scientist bij Info Support. Bijna zes jaar alweer en vanuit die hoek veel met AI bezig. Leuk dat we je in deze uitzending mogen hebben inderdaad. Interpreteerbare AI. Uitlegbaarheid, interpreteerbaarheid. Neem ons mee, wat is bij jullie het beeld als we het hebben over interpreteerbare AI? Nou binnen Info Support als je het hebt over interpreteerbare AI, Dan gaat het heel erg om het uitleggen hoe een machine learning model voorspellingen maakt. Dus het opentrekken van die black box. En dan moet je denken aan eigenlijk karakteristieken van het model weergeven. Hoe werkt zo'n model als algemeenheid, maar ook voor een specifieke beslissing die gemaakt is op basis waarvan is dat gedaan. Dus eigenlijk alles dat ermee te maken heeft om te begrijpen hoe zo'n model tot zijn voorspellingen komt. Oké. Ja en dan zou je nog een onderscheid kunnen maken tussen explainable AI, en hoe dat zich relateert met de output. Als je dat hebt, noemen we dat vaak een glassbox model. Dus daar kun je er een beetje in kijken. En waarin je dan een soort van scherm van... je kunt dan een soort van scherm van de uitleg van de AI, die je dan kunt gebruiken om te laten zien... hoe dat zich relateert met de output. En dan heb je ook een soort van... een soort van scherm van de AI, die je dan kunt gebruiken om te laten zien hoe dat zich relateert met de output. Dus daar kan je er een beetje in kijken. En waar Bas het net over had, dus dat je echt de interpreteerbaarheid hebt, dan heb je net over whitebox modellen. Ja, oké. En dat is eigenlijk ook een benadering dan, denk ik. Als we blackbox, glassbox, is het nog steeds een benadering van door het prikken en analyseren daarvan? Of zie ik dat verkeerd? Nou ja, het zijn twee andere manieren van werken inderdaad. Bij de ene zijn je modellen inherent uitlegbaar. zit dat ingebouwd in het model, dan kan het ook een keuze zijn om bewust een model te kiezen die goed uitlegbaar is. In de andere situatie pak je een willekeurig model en ga je die achteraf uitleggen. In beide gevallen kijk je nog steeds naar die resultaten die best vergelijkbaar zijn met elkaar, om te zien hoe zo'n model dus zijn voorspellingen gemaakt heeft. En waarom is het eigenlijk belangrijk? Ja, dat is... Ja, misschien erg voor de handen, maar wel goed om het even met elkaar over te hebben. Zeker, en een heel belangrijke vraag ook. Ja, waarom is dat belangrijk? Je moet het zo voor je zien. Je hebt uiteindelijk een model gemaakt. Die gaat waarschijnlijk bij een organisatie meehelpen bij besluitvorming. Die gaat voorspellingen maken, die gaat allerlei gave dingen bedenken. Ja, dan wil je wel weten op basis waarvan dat gebeurt. Want je moet een stukje vertrouwen krijgen in dat model. Je moet weten dat zo'n model goede voorspellingen aan het maken is. die op juiste factoren gebouwd zijn, waar je ook op basis van je daadwerkelijke voorspellingen kan maken. Om een voorbeeld te geven, ik heb een aantal jaar van het Info Support bij Netbeerde gezeten. Daar heb je engineers die werken daar misschien al 20 jaar, 30 jaar, voeten soms letterlijk in de modder, weten alles over die stroomkabels en alles over de koppelstukken daartussen. Ja, als je aan komt zetten met een model die aangeeft dat een bepaald koppelstuk opgegraven moet gaan worden omdat je denkt dat er iets mis is, dan wil zo'n engineer echt wel weten op basis waarvan hij dat doet, want die heeft zelf ook zo'n onderbuikgevoelens, die heeft zoveel verervaring, die wil weten op basis waarvan dat gebeurt, dus die moet je echt gaan overtuigen met die uitleg dat je model best wel ergens kaas van gegeten heeft, dat het echt wel een idee heeft op basis waarvan er een gaaf werkzaamheid moet komen. Dus als ik het dan zo hoor is het dus de uitlegbaarheid richting degene die het model gebruikt, de uitkomst, dat hij daar dus ook een goed vertrouwen in kan opbouwen. Zeker. Zijn er nog andere factoren die van belang zijn naast vertrouwen in het model? Natuurlijk, je moet ook weten dat het model dat je aan het maken bent, dat je dat op een deugdelijke manier aan het doen bent. Het is heel makkelijk om met machine learning factoren te pakken waar iets in zit dat we data leakage noemen. Eigenlijk heb je dan… Lekage. Data lekkage. Eigenlijk heb je dan nog iets in je, je bent altijd met trainingsdata, ben je van die voorspelregels aan het maken. Eigenlijk lekt er dan iets van de data van hetgeen je wil voorspellen. Lekt ermee als inputparameter en zonder het een heel technisch verhaal te willen maken. Dat zorgt eigenlijk voor dat je een model hebt die zich op papier beter voor lijkt te doen dan die in werkelijkheid is. Als je die in de praktijk gaat toepassen, dan kan het zijn dat die heel erg tegenvalt ten opzichte van de performance die je dacht dat die zou gaan halen. Ja, dus het is niet zozeer leakage, lekkage dat het iets weggaat, maar dat er iets meekomt in de stroom van data, die dus het model en de output daarvan beïnvloedt. Je moet het zo zien dat als je een model aan het trainen bent, dan wil je hem dus iets leren zodat die ongeziene data, dat die daar de juiste voorspellingen of de juiste klassificatie van kan geven. Als er zeg maar dezelfde data uiteindelijk vanuit het test set ook in de trainings set zit, dan heeft hij dat al geleerd, dus dan lijkt het alsof hij dat soort gevallen ook goed kan herkennen uit je test set, maar dat blijkt dus, ja dat is dus die lekkage, dat hij die alles een keer gezien heeft. Als je dan in productie komt en er komt ongeziende data voorbij, kan hij dus daardoor veel slechter daarmee omgaan dan in de trainingscyclus eigenlijk lijkt. Ja, dus we gaan de lotto doen. Eigenlijk heeft hij het lotto nummer al gezien en gaat hij het lotto nummer voorspellen. Dus het is altijd prijs. Ja, het leuke dan van die dingen uitlegbaar maken is dat je dan ziet van, hé, kijk naar een paar factoren, dat had ik misschien helemaal niet verwacht. Dan ga je praten met de business, is het logisch dat op basis van deze factoren een voorspelling wordt gemaakt? En dan kunnen die dingen als die datalekkage aan het licht komen. Dan ga je in gesprek met de business. Zijn er nog andere rollen die komen kijken... bij het beter interpreterbaar maken van de AI-oplossing? Ik wil toch nog terug voor de data scientist zelf. Want je hebt ook nog zoiets als het Cleverhands-effect. Het Cleverhands-effect is dat de machine uiteindelijk... iets anders geleerd heeft dan je denkt dat hij geleerd heeft. Dus een blackbox-model zou best wel iets geleerd kunnen hebben... bij het klassificeren van foto's. dat hij uiteindelijk naar de achtergrond heeft gekeken, in plaats van naar het object waar jij naar op zoek was. Dus als jij schapen moet klassificeren ten opzichte van wolven, dat hij denkt van, oh ja, maar alles wat met een groene achtergrond, dat zie ik dan als een schaap. En met je interpreteerbaarheid, dan is dat heel makkelijk eruit te halen. Als dat een black box is, is dat heel erg lastig. En wij kunnen als mensen heel makkelijk het verschil zien tussen die schaap en die wolf, en dan zullen we die fouten wel zien. Je kan je voorstellen in situatie bijvoorbeeld met röntgenfoto's, dat als daar hele subtiele verschillen zitten in wat hij geleerd heeft, dat we dat met het blote oog misschien helemaal niet meer waarnemen, en dat we dus pas in productie erachter komen, dat die machine uiteindelijk helemaal niet het juiste geleerd heeft. En dat is dus het Cleverhandsproces? Ja, om die even uit te leggen. Cleverhands was een zogenaamd slim paard in het begin van de 20ste eeuw. En allerlei taken kon hij uitvoeren, zoals rekenen, dingen rondom taal. Als de eigenaar hem best wel hele moeilijke vraagstukken voorlegde... en uiteindelijk mogelijke antwoorden voorlegde... dan ging hij met zijn voet, paarden zijn dat voeten, hè... ging hij met zijn voet of been trappelen en daarmee gaf hij het juiste antwoord aan. Mensen vonden het helemaal geweldig. En wat bleek achteraf uit onderzoek, is dat de lichaamstaal van zowel de eigenaar als het hele publiek, die begon bijvoorbeeld hun adem in te houden bij dat goede antwoord, dat had het paard geleerd. Dus die reageerde, gaf de juiste antwoorden op basis van de verkeerde prikkels. En zo zou je dat ook moeten zien in de machine learning. machine learning. Dus het was eigenlijk meer crowd intelligence dan horse intelligence. Nou ja, waar dat paard heel slim in was, is het leren van lichaamstaal. Dat had hij geleerd. En dat zou je dus ook in AI-modellen kunnen hebben zonder dat je het door hebt, waardoor je dus echt inderdaad daarmee aan de slag moet om van die blackbox-models af te gaan naar toch zeker meer glass-models. Zeker. Nog andere technieken die er zijn om modellen interpreterbare te maken. Technieken? Ja, technieken. Dus als we ermee aan de slag willen. Welke technieken hebben we dan tot onze beschikking om dit mogelijk te maken? Nou, voor de interpreteerbare modellen, Bas, als ik het goed heb, kunnen we gewoon verschillende algoritmes kiezen. Zeker. Kijk je naar die glassbox modellen, daar heb je wel verschillende technieken. Ik denk dat jij ook wel verschillende technieken gebruikt hebt, toch? Ik neem aan dat je de blackbox modellen bedoelt. Ja, om die dingen open te breken. Ja, de explainer. Dan heb je bijvoorbeeld Shep en Lime, die veel genoemd worden. En dan kijk je bij de eerste naar hoe werkt zo'n model nou over zijn algemeenheid onder de motorkap. Stel het gaat over het bedenken of iemand wel of niet een hypotheek toegewezen krijgt. Dan ga je bijvoorbeeld over het algemeen kijken, nou Solaris heeft wel invloed en of iemand samenwoont heeft invloed enzovoort. Bij Lime, kijk je echt naar één specifieke voorspelling. Dan ga je kijken, oké, iemand heeft wel of niet een hypotheek gekregen op basis waarvan ging dat eigenlijk. En dat helpt ook om te kijken als iemand aanklopt van, hé, is het proces wel eerlijk gegaan. Ja, dus dat zijn een paar van die technieken. En verder heb je nog een techniek die nog wat verder gaat. Dat heet causal inference. Dan ga je kijken, los van de attributen die invloed hebben, zit er daadwerkelijk werkelijk een kauzaal verband dus heeft het een daadwerkelijk geleid tot het ander bij bepaalde factoren want anders kun je daar ook nog te mis mee in gaan dan zie je misschien wel een sterk verband maar dat hoeft helemaal niet echt met elkaar te maken te hebben hoeft helemaal geen oorzaak gevolgen laat je in te zitten ja en dat kun je met dat soort technieken weer naar boven halen en en oorzaak oorzakelijk gevolgen is wel best wel heel belangrijk zeker Dat is eigenlijk alles waar het om gaat. Ja toch? Er is een grappige website die allerlei correlaties laat zien van dingen die uiteindelijk geen kauzaal verband hebben. Spurious correlations? Die ja, precies. Waar het echt heel gaaf is dat ze kunnen laten zien, zeg maar, de consumptie van kaas in Amerika, dat die helemaal correleert met het aantal mensen die verstrikt raken en doodgaan door dat ze, hoe zeg je dat, verstrikt raken in hun bedlakers. Dit is bijna één op één gecorreleerd. Ik kan me voorstellen dat dat niet helemaal een kozaal verband heeft. Als je niet oplet, kun je daar wel van uitgaan, omdat je denkt, die correlatie is zo sterk, dat moet wel verband houden met elkaar, maar dat hoeft helemaal niet het geval te zijn. Dus dat moet je echt onderzoeken. Dat is denk ik ook een deel van het testen van tijdens je ontwikkeling van je AI-model, wat ook heel erg van tap toepassing is, of niet? Zeker, dat blijft continu een soort van lus waar je eigenlijk in zit. Iedere keer ben je bezig met het model beter maken en aan het kijken van, is het model op basis van de juiste factoren een goede beslissing aan het maken? Zitten er van die causale verbanden in jou of nee? En continu samenwerken met de business, met andere data scientists, met data engineers die weten waar die data vandaan komt, hoe die tot stand gekomen is. Er blijven continu van die wisselwerkingen in zitten. En je bepaalde ook al een deel van mijn vorige vraag inderdaad, die net voorbij kwam. Welke rol hebben we nodig inderdaad? Dank je wel inderdaad. Dus ik hoorde data engineer, ik hoorde data scientist, ik hoorde business. Nog andere zaken die je vaak tegenkomt in de praktijk als we hiermee aan de slag zijn? Terwijl de namen die in elk geval het vaakst voorkomen. Verder mensen die er ook bij betrokken zijn kunnen bijvoorbeeld klanten en andere stakeholders zijn die misschien de effecten van een model ervaren of die er gebruik van maken en die misschien daardoor veel sneller een bepaald proces kunnen afronden. Eigenlijk iedereen die iets met zo'n model van doen heeft, heeft er wel mee te maken. Joop, mooie aanvullingen? Nou ja, het hangt een beetje ook af van de sector waarin je zit, maar je kan je voorstellen in sectoren waar je een riskhuis, een riskafdeling hebt, die willen hier vaak ook wel wat mee. Dus juist als je dan met een blackbox aankomt, ik denk dat je iets moeilijker kan overtuigen waarom je die blackbox zou moeten inzitten. De interpreteerbaarheid is dan wel heel erg belangrijk. Als jij order trails moet hebben van hoe uiteindelijk een besluit genomen is op basis van welke gegevens en alles wat daartussen zit, ja dan is een interpreteerbaar model vele malen makkelijker dan een blackbox model. Dus het zou eigenlijk een afweging moeten zijn bij design all, wat voor oplossing is een goede fit hiervoor? Ja en wat mij betreft zeg maar Maar prioriteer je interpreteerbare modellen altijd over. Dus eigenlijk kun je whitebox inzetten, dan glassbox, dan blackbox. Meen je het? Ja zeker, mooie volgorde. Het maakt het uitleggen veel makkelijker en voegt ook de emphasis, de nadruk op die uitlegbaarheid. Wat je wel ziet, ik weet niet of jij dat herkent ook Bas, is dat er heel makkelijk gekozen wordt voor blackbox modellen. Ja, zeker. Dat zijn de modellen waar mensen oorspronkelijk het meeste ervaring mee hebben. Dat zijn soms ook iets krachtige modellen, maar dat is heel erg aan het veranderen gelukkig. Maar ik heb het idee dat mensen überhaupt vaak gewoon een beetje een model pakken. We pakken een neuralnetwerk, we pakken een support vector machine zonder echt een onderbouwing te hebben waarom ze dat doen. Dus dan moet überhaupt wel het nodige veranderen misschien in het model selectielandschap. Om iets bewuster zo'n keuze te maken en ook te weten wat de voordelen nadelen zijn en andere overwegingen. Eigenlijk zijn het vaak een beetje luie keuzes, mag je dat zo zeggen? Ja lui, onwetend. Ja snel misschien. Misschien kiest iemand een model waar hij vertrouwd mee is en waar hij ervaring mee heeft. En vanuit de schoolbanken zijn het vaker de blackbox algoritmes en als je gaat werken dan kom je ook die glassbox en whitebox modellen steeds meer tegen. Wat je ook natuurlijk wel ziet is dat uiteindelijk een goed interpreterbaar model maken soms harder werken is dan een blackbox model maken. Dus als je een neuraal netwerk neemt, het fijne daarvan is dat je feature engineering is een stuk minder belangrijk. Dus welke factoren je gaat gebruiken om erin te stoppen dan als je een interpreteerbaar model gaat maken. Dus heb je misschien een sneller resultaat even met de blackbox. Ik kan me voorstellen dat dat soms ook een afweging is. Volgens mij hebben we het er ook al vaker over gehad, Joop. Is het soms efficiëntie, is dat het enige wat we willen bereiken en die kwaliteit? Of zijn er andere factoren die we vergeten of nog niet goed genoeg meenemen in het eindresultaat. En dat is uitlegbaarheid soms misschien wel belangrijker dan misschien die actresse alleen. Sterker nog, ik propageer dat wel vaker natuurlijk, dat als je niet weet waarom uiteindelijk een uitkomst is, wat kun je dan uiteindelijk met de uitkomst? En volgens mij heeft Bas daar ook nog een mooi voorbeeld van, van een klant zonder die misschien te noemen. Wat het verschil maakt tussen als je nou wel weet wat de uitkomst is van een model of niet. Ik heb even iets meer hints nodig merk ik. Dat je bijvoorbeeld een customer churn model hebt. Zonder dat je weet, als je niet weet waarom een klant op het punt staat om bij je weg te gaan. Dan weet je ook niet wat je moet doen om uiteindelijk die klant te behouden. Klopt. Klopt, zeker waar. Ja zeker, dus je moet gaan kijken wat zijn de belangrijke factoren daarin. En ook echt kijken van, we ligt er ook uitgesplitst in verschillende demografieën bij een klant. Ik weet niet of dat het punt is dat je bedoelde, maar dat is het eentje die mij bij een Customer Turnproject te binnen schiet. Is kijken, uiteindelijk wil je een klant behouden, dus ga je ook dingen doen die met marketing en customer, klantenbinding te maken hebben. En dan wil je wel weten wat belangrijke factoren zijn. En dan kan het ook helpen om te kijken welke groepen mensen zie ik eigenlijk binnen diezelfde klant, binnen diezelfde organisatie. Dus voor ons een klant waar zij kijken naar hun klanten. Om te kijken of je die op een andere manier moet gaan benaderen. En dan zie je misschien dat je een heel vaste kern hebt, en misschien een kern die ik net aan is komen zetten als klant, die je op een heel andere manier moet gaan benaderen. En dan maakt het uit, stel je zo'n blackbox hebt, dan heb je alleen maar een segment. Dan weet je wie er weg gaat, maar kun je niks. Dus je moet die uitleg hebben, zodat je weet wat je überhaupt kunt gaan doen. Moet je mensen gaan opbellen, moet je een bepaalde campagne gaan opzetten voor die mensen. Zonder die uitleg heb je eigenlijk niets. Ja, je weet wie er weg gaat, ja leuk. Maar hoe kun je daarop acteren? Je moet weten wie er weg gaat. Zeker als je meer data gedreven wil gaan werken, want anders krijg je alsnog je onderbuikgevoel... ...die zegt van, waarschijnlijk moeten we je korting aanbieden. En als dat niet de reden, als prijs niet de reden is dat iemand vertrekt of dat zo'n groep vertrekt... ...dan ben je dus korting aan het weggeven zonder dat dat noodzakelijk is. Dus ben je, en ze blijven misschien niet, of ze blijven maar was dat het probleem niet. Klopt. Dus dus eigenlijk heb je meer context nodig en door dat uitlegbaar te maken... creëer je weer die context voor de vervolgacties die je kan doen. Klinkt wel als misschien wat meer werk dan een Blackbox-mol. Zijn er nog andere nadelen die we toch nog even moeten benoemen... als we met interpreteerbare AI aan de slag willen... die we toch moeten tacklen met elkaar? Zelf denk ik, ja, nadelen of niet... je moet uiteindelijk toch die interpreteerbaarheid hebben. Dus dat maakt er niet uit of er een paar nadelen aan zitten of niet. Ja, ik ben het mee eens, maar wat zijn die nadelen? Mensen weten het misschien niet, dat ze er eigenlijk naartoe moeten naar die interpreteerbare AI. Wat zijn dan die nadelen die dan eigenlijk zeggen, ja, maar als je dat ziet, moet je het niet zien als een nadeel. Dat is de kans om meer context te gaan krijgen en naar die interpreteerbare AI toe te werken. Nou, stel je hebt een blackbox-model en je wilt die uitleggen, dat kost wat meer tijd. Dus dat kost best veel tijd om te berekenen van, hé, wat waren nou de juiste factoren? Qua glass- en whitebox-modellen, Dan moet je maar net die modellen kennen en misschien hebben ze een iets lagere performance. Zou kunnen, dan moet je weten van, hé, hoe ga je daar mee om? En dan moet je misschien een model accepteren die net iets minder goed performt, maar die je wel perfect kan uitleggen en die daardoor veel meer businesswaarde heeft dan zo'n ander model gaat ze hebben. Joop, heb jij andere factoren in gedachten? Nou, bij de interpreteerbare modellen misschien wat minder, maar voor de glasbox, daar heb je wel wat nadelen is omdat je verschillende technieken hebt. Die proberen allemaal een surrogaat model te maken. En die is inherent anders dan de black box zelf. Want anders had je die niet hoeven maken. En afhankelijk van de techniek die je gebruikt, kun je verschillende uitleg krijgen. En dat kan nog wel eens tegenstrijdig zijn. En zodanig tegenstrijdig dat de een zegt van ja, deze input heeft een positieve bijdrage geleverd aan de voorspelling. en die zegt dat iemand een hele negatieve... Dus daar zit echt wel... Dat is best wel lastig. Maar ik ben het wel met Bas eens. Van, ja, liever dat, dan helemaal geen uitleg. Dus dat... - Zeker. En daar ben ik ook helemaal mee eens. Dus ik trigger nog eventjes om even scherp te stellen. Dus ik ben het helemaal mee eens. We moeten daar echt naar streven met elkaar... om het goed uitlegbaar te hebben. Want daar zit eigenlijk ook juist die waarde in. Die uitlegbaarheid daarvan. En we hebben ook nog een research lopen rondom een stukje wat je zou kunnen aanduiden als een nadeel. Je hebt nog allerlei soorten knopjes waar je aan kan draaien als je een algoritme pakt. Het is niet van ik pak een algoritme, gooi de data er tegenaan en dan krijg ik een model. Zo'n algoritme daar zitten allerlei instellingen aan. Net als bij je radio, kan je ook een klein beetje dit, beetje dat. Net een tiende van de FM omhoog of naar beneden. Zo kan je dat eigenlijk ook met algoritmes doen. Dat je misschien wat langer door moet zoeken van wat zijn nou de juiste knopjes, zodanig dat en de interpreteerbaarheid heel hoog is, maar ook de performance, dus de nauwkeurigheid van het model hoog is. Daar hebben we onderzoek op gelopen. Daar hebben we eigenlijk best wel hele mooie resultaten op. Maar ik kan me voorstellen dat dat een nadeel is ten opzichte van als je gewoon een blackbox hebt. Dan optimaliseer je hem gewoon op nauwkeurigheid. Nu moeten we hem optimaliseren op drie elementen. Eén is nauwkeurigheid, tenminste performance. Even één scoren voor degene die dat wil weten. Maar als die beslisboom zo diep is en zo breed aan de onderkant, dat je misschien wel honderden stappen af moet lopen, dan is die... Ja, je kan het bekijken, maar echt uitlegbaar is die dan ook niet meer. Dus je hebt zoiets als een compactheid van uitleg, en er is nog zoiets als stabiliteit van uitleg, dat je zegt van, ja, maar alle uitleg is zo diep, maar je kan het bekijken, maar je kan het niet uitleggen. Dus je hebt zoiets als een compactheid van uitleg, En er is nog zoiets als stabiliteit van uitleg, die zegt van ja maar alles wat ongeveer dezelfde uitkomst heeft, zou ook dezelfde uitleg moeten hebben. Van factoren die daar een rol in hebben gespeeld. We hebben nu onderzoek lopen waarbij we dat ook daadwerkelijk kunnen meten. Langer misschien moeten trainen, maar dan wel precies die knopjes zeg maar zo goed hebben staan, Dat hij dus het beste performt en het beste interpreteerbaarheid heeft. En het onderzoek loopt nu? Ja, het onderzoek is afgerond. Oké. Peper mag gepresenteerd worden. Oeh. Dus ik denk een geweldig resultaat. Ja, dus binnenkort ook meer over te vinden. Ja. Gaaf, gaaf. Dat is natuurlijk ook heel veel over de AI Act en heel veel ontwikkelingen erin. Zijn er nog bepaalde zaken die gezaghebbers, beleidsmakers... mee kunnen nemen waardoor het belang van interpreteerbare AI beter gevoeld wordt bij degene die misschien toch even sneller even een blackbox-boddel zou willen inzetten? Zal ik daar antwoord op geven? Ik ben heel benieuwd naar, ik heb er minder kennis van. Ik denk dat die wetgeving dat al meegeeft. De wetgeving is een piramide, waarbij je aan de onderkant, als je in de allerlaagste categorie zit, dan worden er eigenlijk niet op nauwelijks ijzer gesteld. Daarboven heb je... Het wordt eigenlijk steeds meer tot aan onacceptabel. Dat is de hoogste. - We hebben het over risicofactoren in die piramide. - Ja, risicoklassificeringen. En als jouw model uiteindelijk in de hoge risicoklasse zit, dan wordt gewoon het geëist. De interpreterbaarheid wordt geëist, of tenminste uitlegbaarheid wordt geëist. En daaronder wordt het geadviseerd. En daar zitten ook wel wat elementen in waarbij je transparantie moet geven. En die transparantie zit heel vaak in de transparantie van hoe heeft het model geredeneerd. Oké. Dus wat ik mee zou willen geven is vooral van bereid je je er alvast op voor, want die wet gaat er komen. Grote kans dat je in de mediumklasse valt. En daar zijn al vormen van uitlegbaarheid noodzakelijk. De luisteraars kunnen natuurlijk altijd contact met een van ons opnemen, maar als ze zelf wel mee aan de slag willen, hebben we dan bepaalde tips die we ze mee kunnen geven, waar ze kunnen starten of naar kunnen kijken? Ik zou zeggen, begin eens met een model dat vanuit zichzelf interpreteerbaar is. Kijk of dat goede resultaten heeft. En als je toch een blackbox model zou gebruiken, kijk wat voor tools en libraries er zijn om die open te breken. En om daar dingen uit te halen. Ja, en ik zou willen aan toevoegen, als je iets van guidance of policies of software engineering richtlijnen hebt, neem het daarin op dat je zegt "we prioriteren whitebox over glassbox over blackbox". Helemaal me eens. Dus vanuit de organisatie, vanuit architectuur, vanuit alle organisatie onderdelen, governance, ethiek, moet dat gewoon eigenlijk een eis zijn van de organisatie om dat altijd mee te starten. Ja. Oké. Nog punten over dit onderwerp die nog niet belicht zijn? Ben wel nieuwsgierig. Nou, wat ik zelf interessant vind is toch ook die kant van de causal inference. Uitlegbaarheid is één ding, maar je moet ook daarnaast echt verder kijken naar die causaliteit van dingen. En dat is iets dat we vaak vergeten. Het is ook nog een vrij nieuw vakgebied. In de onderzoekswereld Wordt het al heel lang toegepast in machine learning is het vrij nieuw. Komen steeds meer libraries bij. Maar als je bezig bent met de interpreteerbaarheid en je hebt dat afgerond, durf ook even iets verder te kijken naar die kant van die causal inference. Daar is denk ik nog een heel veel moois te behalen. Mooi. Klinkt als een potentieel onderwerp voor een andere aflevering. Zeker. Dan dank jullie wel voor deze aflevering. en juist bedankt voor het luisteren deze aflevering en vergeet niet ons te abonneren op de favoriete podcast via alle mogelijke kanalen en Bas bedankt, Joop bedankt en tot de volgende aflevering. Tot ziens. (C) TV GELDERLAND 2021