Wat leer je in deze aflevering?
Marianne Witte Schaaphok van TNO ontwikkelt de eerste Nederlandse technische afspraak voor profileringsalgoritmes die bepalen welke burgers gecontroleerd worden op fraude of uitkeringen. Het probleem: algoritmes discrimineren onbedoeld door bepaalde groepen systematisch vaker te selecteren, zonder dat organisaties dit doorhebben. Ze creëerde een systematische aanpak van probleemstelling tot toetsing, met concrete metrieken om bias te meten.
Als 80% van je algoritme-output bestaat uit ouderen terwijl zij geen 80% vormen van de doelgroep, dan meet je direct de scheve verdeling. Morgen kun je haar drie kernvragen toepassen: wat is het echte probleem, welke groepen worden geraakt, en hoe meet je of je algoritme eerlijk behandelt.
Kernbegrippen
- Profileringsalgoritme
- Algoritme dat individuen automatisch in categorieën indeelt op basis van gegevens voor selectie- of prioriteringsbeslissingen.
- Bias detectie
- Meetmethode die discriminatie in algoritme-uitkomsten identificeert door vergelijking met verwachte populatieverdeling per groep.
- Nederlandse technische afspraak (NTA)
- Nationale standaard voor verantwoorde inzet van profileringsalgoritmes met gestructureerde aanpak van analyse tot implementatie.
- Menselijke tussenkomst
- Vereiste dat algoritme-output nooit direct tot besluit mag leiden, maar altijd door medewerker wordt getoetst en aangevuld.
Wat gasten zeiden
Een technologie kan wel veilig zijn, maar ja, heel vaak gaat het toch bij de mens ook wel fout.
Marianne zet direct de vinger op de zere plek: de mens is vaak de zwakste schakel.Het feit dat jij in een bepaalde groep zit, zegt niks over jouw gedrag.
Een fundamentele waarheid over vooroordelen en profilering die iedereen zou moeten onthouden.Wat kun je morgen doen?
- 1 Download NTA-concept via NEN-portaal en geef concrete feedback op onduidelijkheden of praktische uitvoerbaarheid (deadline 19 april)
- 2 Implementeer bias-check: vergelijk algoritme-uitkomsten met verwachte populatieverdeling voor relevante groepen (15 minuten analyse)
- 3 Stel kritische vragen bij AI-output: "Welke informatie heb ik nog nodig voor deze beslissing?" voorkomt computer-says-syndroom
Interview: Marianne Witte Schaaphok
Wat is Responsible AI eigenlijk?
Responsible AI is een hele goede vraag. Zoals ik het zie, is het eigenlijk een combinatie tussen zowel een goede techniek hebben die verantwoord omgaat met de data, die goede uitkomsten geeft, robuust is en veilig, als wel een goede aanpak om als mens ermee om te gaan. Dat we ook op de juiste manier gebruik maken van een technologie. Een technologie kan wel veilig zijn, maar heel vaak gaat het toch bij de mens ook wel fout. Responsible AI gaat dus over beide aspecten: de technische kant én de menselijke kant van AI-systemen.
Wat is de Nederlandse Technische Afspraak en voor wie is deze bedoeld?
Een Nederlandse Technische Afspraak is eigenlijk een vorm van een standaard. Een standaard is iets wat we uitgeven, dat kan bijvoorbeeld zijn voor hoe een auto eruit ziet, hoe een veiligheidssysteem moet zijn, de aansluiting van je USB-C kabel. En dat doen we nu eigenlijk in een lichte vorm voor profileringsalgoritmes bij de overheid. Juist daar richtlijnen op te stellen en eisen en requirements, als we dat noemen, om alle organisaties hulp te geven. Wat moet je nou doen wanneer je zo'n systeem gaat ontwikkelen en wat kun je testen eraan? Deze standaard wordt uitgebracht vanuit de NEN, dat is ons normalisatieinstituut binnen Nederland. Die beheert eigenlijk alle standaarden en alle normen. De standaard is afgekocht door de ministeries, waardoor die ook vrij beschikbaar wordt voor iedereen. Normaal moet je betalen voor een standaard om die te kunnen gebruiken en dat hoeft in dit geval niet. De reden daarvoor is de grote vraag en de grote noodzaak die we zien bij de overheid, binnen partijen zelf, om op een verantwoorde manier aan de slag te gaan met deze algoritmes. Vanuit daar is ook gezegd dat we willen dat alle organisaties binnen Nederland, alle overheidspartijen, aan de slag kunnen met deze standaard. In eerste instantie is het natuurlijk voor Rijksoverheid, maar ook uitvoeringsorganisaties, gemeentes, dus iedereen die voor publieke sector met dit soort systemen aan de slag gaat. Natuurlijk, kijk, de inzichten die erin zitten, wanneer het gaat over Responsible AI ontwikkelen, die beperken zich natuurlijk niet tot alleen de overheid. Dus ook andere partijen die zich bezighouden met profilering en met name ook hoe hou je daarin goed rekening met non-discriminatie, is dat ook relevant voor partijen die niet zich kwalificeren als overheid.
Waarom is deze NTA nodig? Wat dekken de huidige standaarden niet af?
Qua standaarden is er eigenlijk nog weinig op dit moment. Je ziet vanuit het bekende is de AI Act. Die gaat echt over AI. En daar worden standaarden nu voor ontwikkeld. Maar op dit niveau zijn eigenlijk nog geen standaarden afgesproken voor hoe we dit ontwikkelen, wat we gaan doen. Dus je ziet een heleboel richtlijnen, kaders, handreikingen die vliegen je om de oren, zowel vanuit de organisatie zelf als vanuit de wetenschap, het onderzoek. Maar juist echt een afspraak, daarom heet het ook een Nederlands Technische Afspraak, die we proberen te maken onderling van hoe gaan wij dit nou allemaal doen. Daar moet ik zeggen, een technische afspraak is niet verplicht, een standaard überhaupt niet. Dus we kunnen niet van tevoren verplichten dat iedereen deze volgt. Maar het idee is wel dat het in ieder geval als het goed werkt in de praktijk een maatschappelijke of morele verplichting wordt om een dergelijke standaard te gaan volgen.
Kun je een voorbeeld geven van zo'n profileringsalgoritme?
De bekendste voorbeelden eigenlijk die we zien in de praktijk, zijn die voor fraudebestrijding. Het gaat over het selecteren van welke personen ga ik inspecteren om te kijken of zij zich netjes aan de regels houden. Dat kan zijn voor personen onderling. De bekendste voorbeelden, die kennen we allemaal wel: de toeslagenaffaire, dingen voor uitkeringen controleren. Maar dat kan ook juist zijn voor bedrijven. Houden bedrijven zich aan de regels, bijvoorbeeld door de arbeidsinspectie of in het onderwijs. En het kan ook op een positieve manier. Stel, hoe kunnen we mensen helpen? Hoe kunnen we de mensen bereiken die misschien recht hebben op een uitkering of hoe kunnen we mensen helpen die recht hebben op een andere voorziening, die we nu nog niet in zicht hebben? Dus ook daar kun je die profilering juist op een positieve manier gebruiken om bepaalde groepen die nu niet goed in kaart zijn, om die beter te kunnen benaderen.
Welke afspraken komen er in de NTA die nu nog niet zijn geformaliseerd?
We kijken vooral heel erg naar de opbouw in deze NTA van het begin tot het einde. Dus we beginnen eigenlijk echt met wat is nou het probleem wat je probeert op te lossen. Waar zit het knelpunt? Is dat een tekort aan middelen, dus misschien te weinig mensen om te controleren? Wat zijn de effecten van dat probleem en wat zijn de mogelijkheden om dat op te lossen? Is een algoritme één onderwerp, een mogelijkheid die je daarin wil gaan onderzoeken. Want dat is eigenlijk de eerste vraag die met elkaar beantwoord wordt: waarom wil ik eigenlijk een algoritme, waarom ga ik daar naar kijken, is er niet iets wat misschien veel makkelijker is, of wat ik op een andere manier kan oplossen. En vanaf daar eigenlijk gestructureerd naar hoe bouw ik dat op. Hoe ga ik kijken naar mijn data? Hoe kijk ik of daar mogelijk al bepaalde groepen veel vaker in voorkomen, wat misschien eigenlijk helemaal niet representatief is voor onze samenleving. Dat kan bijvoorbeeld zijn door hoe het eerder al is verzameld.
Hoe zou je naar de positieve variant kijken met deze gedachten?
Het probleem is daar misschien dat je bepaalde groepen niet kan bereiken. En dan wil je eens kijken, hoe kunnen we die gaan bereiken. Als dat het probleem is dat je wilt oplossen, kun je kijken: oké, hebben we genoeg data, genoeg gegevens waarop we een algoritme kunnen bouwen, of genoeg menselijke kennis. Want deze gaat ook juist over algoritmes die door mensen worden opgesteld. Dan moet je daarna dus ook gaan kijken naar data. In dit geval gaat het misschien om een groep die nog niet zo goed te bereiken is. Dus heb ik daar wel genoeg kennis over, weet ik daar genoeg over om een algoritme over op te stellen. En wat voor kenmerken ga ik dan gebruiken?
Hoe kunnen biases in zo'n geval erin sluipen?
In dit geval bijvoorbeeld doordat je bepaalde groepen helemaal niet in kaart hebt. Stel, ik ga dan, ik heb een algoritme wat ik baseer op kennis die ik heb, op basis van misschien wat inzichten uit de data die ik heb. En dan zie ik oké, deze groep bijvoorbeeld ouderen vragen het vaak niet aan, omdat ze er wel recht op hebben. Dan kan het algoritme heel erg gaan sturen op die groep. Misschien is er ook wel een bepaalde groep van jongeren die ook heel erg veel recht heeft op die uitkering, maar die je mist. Omdat je daar ofwel de kennis niet over hebt dat ze het niet aanvragen, ofwel niet in je data zit. Dan zal je dus zien dat het algoritme heel erg gaat richten op die groep ouderen en die heel veel hulp en profilering gaan bieden, wat goed is, want ze hebben daar waarschijnlijk recht op. Maar die andere groep die misschien net zoveel recht daarop heeft, die hou je dan buiten beschouwing. Dus die breng je eigenlijk niet die hulp die je aan andere groepen wel brengt.
Hoe kom je erachter dat je bias in je data hebt zitten?
Dat is inderdaad een van de dingen die we dus ook in deze Nederlandse Technische Afspraak uitleggen: hoe kun je dit meten? Dus dan gaan we echt heel erg aan de slag van oké, je hebt informatie nodig over die groepen. Dus in eerste instantie moet je al gaan nadenken over welke groepen zit een mogelijke bias op. Is dat misschien inderdaad op basis van leeftijd, is dat op basis van geslacht, is dat op basis van misschien ras, wat we vaak niet willen. Je begint vaak echt met het kijken welke groepen zijn relevant. En dat kan je dus ook wel doen aan het kijken wat is de impact van het algoritme, welke groepen kennen we daar, en ook met die groepen zelf in gesprek gaan van wat zijn dingen die mogelijk onderscheid kunnen opleveren, dus een mogelijke bias die we niet willen. Dus dat is niet iets wat je zelf moet doen, want ja, het beeld van mensen is ook heel erg beperkt. Het is juist heel erg de vraag hier om met andere mensen te gaan kijken, groepen die geraakt worden door een dergelijk systeem. Wat zijn mogelijke voorkeuren of vaak ongewenste voorkeuren die in zo'n systeem naar boven zouden kunnen komen, misschien nu in het huidige proces ook al. En dan ga je uiteindelijk een selectie maken. Ik bedoel, we kunnen niet alles meten, we kunnen niet alles en iedereen en alle opties uitsluiten. Dus dan moet je gaan kijken, oké, wat is de grootste kans, wat zijn de groepen waar we echt willen dat er geen onderscheid is. En dan kan je het gaan meten.
Hoe meet je dan concreet of er bias is?
Dan kun je puur gaan kijken, oké, ik ga mijn algoritme het werk laten doen. Er komen uitkomsten uit. En als ik nou kennis heb over alles wat hij weet, of die personen bijvoorbeeld een man of een vrouw zijn, of in dit geval ouderen en jongeren, dan kan ik kijken: oké, geeft mijn algoritme bijvoorbeeld alleen maar ouderen? Is 80% van wat hij voorspelt die we moeten gaan helpen, zijn dat ouderen? Ja, in dat geval in de samenleving is op dit moment nog niet 80% ouderen, of in ieder geval van de groep die recht heeft dan op de uitkering. Dus dan kan je zien, oké, dat is scheef verdeeld. Het algoritme heeft een andere verdeling in zijn uitkomst dan wat we eigenlijk zouden verwachten gezien de populatie. Of je kan ook bijvoorbeeld zien, heeft hij het vaker fout voor ouderen dan voor jongeren. Dus geeft hij vaker onterecht aan, oh, deze ouderen moet je wel helpen, terwijl ze misschien eigenlijk geen recht erop hebben, of juist bij jongeren dat hij het vaker niet aangeeft. Dus dat zijn ook een vorm van bias en ongelijkheid die je daarin naar boven kan halen. En als je informatie hebt over of iemand in het geval bijvoorbeeld 65 plus is of 20, dan kun je dat relatief eenvoudig meten.
Staan dat soort metingen dan ook in die afspraken? In welke vorm?
Ja, het zit echt een opbouw die zich die zich meet aan hoe het algoritme wordt ontwikkeld. Dus probleemvraag, het ontwikkelen ervan en dan ook toetsen. En ook hierin noemen we dus de verschillende metrieken die er zijn. Dus naar hetgene wat ik zei: is de uitkomst vergelijkbaar of zijn de foutmarges vergelijkbaar. En daar zeggen we van op deze manier kan je dit meten, op deze manier kan je dit meten. Daarvan zeggen we dat representatief zijn bij populatie moet je doen. Dat is echt het uitgangspunt ook van non-discriminatie daarin. En daarnaast kun je dus nog veel meer testen doen die je eigenlijk ook wil doen op zijn de foutmarges gelijk, of in ieder geval binnen de perken. Dus dat zijn eigenlijk de stappen die we zeggen: hoe moet je het meten, hoe kan je dit meten, en ook hoe moet je het documenteren, hoe je het opschrijven. En uiteindelijk de vraag: wanneer is het acceptabel om het algoritme te gebruiken. Dat is een vraag die wij niet kunnen beantwoorden, want dat is ontzettend contextafhankelijk. In één keer is misschien een verschil van 1% tussen mannen en vrouwen prima acceptabel. In sommige gevallen is het zelfs gewenst en toegestaan. Op de medische sector zie je dat mannen en vrouwen verschillen nou helemaal. Dus dan is er een hele goede reden om dat wel te doen. En in andere gevallen wil je misschien zo min mogelijk, maar er zitten altijd uitkomsten die verschillen van misschien 5 of 1 of 0%. Dus daar moet je uiteindelijk een keuze over maken: kijken wat is acceptabel, wat is toegestaan, wat is wenselijk. Dus dan kom je op de vraag: mag het juridisch, willen we het ethisch. En dan moet je daarover een keuze gaan maken. En die doen we dus niet binnen de NTA.
Hoe zorg je ervoor dat dit soort dingen geen papieren tijger worden?
Ja, dat is de grootste uitdaging. En ik denk dat dat ook heel erg interessant is. We gaan nu in publieke consultatie. Dat betekent dat iedereen er feedback op mag geven. Dus we hebben heel erg geprobeerd om het zo dicht mogelijk bij de praktijk te houden. Dus daarom ook die echt die opbouw van probleemstelling tot toetsing, om zo dicht mogelijk bij de praktijk van de mensen in de organisaties te houden om het daarmee makkelijker te maken. Documentatie is altijd natuurlijk een hoop werk, maar wel ontzettend belangrijk. En we hopen door zowel publieke consultatie als ook daarna het in de praktijk te gaan gebruiken te leren: oké, wat werkt wel goed in de praktijk, wat werkt niet goed in de praktijk. En ook ja, hoe sluit dat aan bij het doel wat we natuurlijk uiteindelijk willen bereiken met deze NTA: dat iedereen veel gestructureerder en veel meer aandacht voor non-discriminatie aan de slag gaat met algoritmes. En dat we veel duidelijker beeld hebben van wat zit er aan onderscheid in deze algoritmes, en zo ja, wat is het effect daarvan en wat betekent dat voor het gebruik.
Wie mag er allemaal feedback geven en hoe ziet feedback eruit?
Iedereen kan in principe feedback geven, dat gaat via de NEN. Dus de NEN heeft een portaal, daar moet je je wel even voor aanmelden, maar dat wordt alleen gebruikt voor het inleveren van feedback. En daar zie je eigenlijk de hele NTA. En daar kun je dan commentaar op leveren. Vanuit daar krijgen wij dan straks al die commentaren binnen. En dan gaan we die proberen te verwerken. Dat zal ongetwijfeld nog een uitdaging worden. We weten hoeveel discussie dit onderwerp ook altijd opwekt, zowel vanuit de complexiteit natuurlijk, wanneer je het hebt over non-discriminatie, als ook inderdaad de haalbaarheid in de praktijk en de uitvoerbaarheid, als de grote interesse wat we erin zien. De deadline voor feedback is donderdag 19 april. Dus er is nog een aantal weken om feedback te geven.
Wat maakt dit project voor jou persoonlijk zo interessant?
Voor mij, ik werk dus nu al een aantal jaar in dit veld, wanneer het gaat over Responsible AI. En je blijft in de praktijk en in het nieuws de gevallen tegenkomen waarbij het fout gaat. En heel vaak niet eens met opzet, maar toch omdat dingen fout gaan, omdat ze niet wisten hoe het gemeten moest worden. Ja, het is heel erg ook over het verantwoorde keuzes maken over AI, het onderbouwen daarvan. En dat maakt het voor mij heel erg interessant om hier aan mee te werken. Ik zie gewoon hoe belangrijk het is dat we duidelijkheid gaan krijgen en dat we mensen handvatten gaan geven. Ook vaak mensen spreken die zeggen: ja, hoe doe ik dit? Hoe doe ik dit nou op een goede manier? Want ik wil helemaal niet dat mijn algoritme discrimineert of onderscheid maakt. Dus help ons daarmee. Want tegelijkertijd is de noodzaak ook bij de overheid ontzettend groot om te digitaliseren. Iedereen vraagt het. De digitalisering in de wereld gaat ontzettend hard en ook de overheid heeft steeds minder middelen om hetzelfde te doen. Dus de digitaliseringsslag die gaat door. En daar heel erg de vraag over oké, hoe doen we dat dan verantwoord? En hoe doen we dat nou goed en kunnen we daar wat afspraak op hebben? En dat vind ik heel erg waardevol eraan: kunnen we mensen daarmee helpen? Het tweede wat ik heel erg mooi vind aan dit proces, is dat het echt een samenwerking is. Dus een breed palet aan organisaties. Dus het is overheidsorganisaties, het is wetenschappelijke organisaties, het is de echte maatschappij die vertegenwoordigd is, ook via mensenrechtenorganisaties. En daarin gaan we het gesprek met elkaar aan. En dat is niet altijd makkelijk. Maar ik denk dat dat echt ontzettend waardevol is, dat we proberen met elkaar een stap verder hierop te zetten. En meer duidelijkheid te scheppen van wat bedoelen we eigenlijk hiermee, wat voor impact heeft het en kunnen we daar iets aan structuur aan geven.
Waar zaten de discussies in het proces? Wat maakte het niet makkelijk om op één lijn te komen?
Een deel van de discussie gaat ook over juist de link tussen juridisch en technisch. Die link hebben we ook echt geprobeerd te maken. Dus we hebben aan tafel ook echt juridische mensen gehad, technische mensen, filosofen. Ja, daar zie je gewoon al een best een lastig punt. Dat non-discriminatiewetgeving is natuurlijk vrij juridisch. En dat vertalen, wat betekent dat dan technisch onderling. Ja, dat is best een hele interessante vraag. Onder andere, dus enerzijds echt een frictie van taal: heb je dezelfde interpretatie van de term op dezelfde manier. En anderzijds, inderdaad, dat is denk ik een frictie die in de praktijk ook wel veel is: ga je voor de 'nee', moet je echt iets niet doen, of gaan we toch proberen, gaan we kijken. Dat is natuurlijk een onderwerp als non-discriminatie, dat is natuurlijk echt net wat anders dan voor een normaal klein algoritme. Dus daar wil je daar echt heel goed over nagedacht hebben en heel goed weten wat jouw algoritme doet. Maar daar zit non-discriminatie, zeker bij de overheid, iedereen heeft gewoon een aantal schandalen toch wel scherp in het geheugen staan. Het is een ontzettend gevoelig onderwerp.
Staan er nu in de NTA dingen waarvan gezegd wordt dat moet je gewoon niet doen?
Dus we zeggen een aantal dingen. Het meeste houden we contextafhankelijk, omdat de context zo ontzettend verschilt dat we zeggen: wij maken daar geen uitspraken over. We hebben wel dat direct onderscheid niet mag. Dus je mag niet in principe dingen als geslacht of ras direct opnemen in je algoritme. En hetzelfde zeggen we ook voor het gebruik van ras bij dan echt risicoprofilering. Dus bij fraude, gebruik daar die profielkenmerken gewoon sowieso niet. Doe dat niet. Dus daar verder geven we een aantal aanbevelingen over wanneer kan je beter dingen niet gebruiken. Als je al heel duidelijk ziet dat een bepaald kenmerk een verband kan hebben met bijvoorbeeld geslacht of ras wanneer je dat niet wil, gebruik het dan niet, want dan maak je het jezelf lastig.
Recent was er in het nieuws de casus over recidivevoorspelling bij de reclassering. Hoe kijk je daar tegenaan?
Ik weet niet de details van deze casus, dus ik ben alleen op de hoogte van wat er in het nieuws en dergelijke is verschenen. En daar zie je eigenlijk een combinatie dat er dus fouten zijn gemaakt in het omwisselen van bepaalde datastromen, van de uitkomsten eigenlijk. Dus ja, dat is eigenlijk een ding waarvan ik ook zie: waarom is het zo belangrijk om deze regels en deze handleidingen gewoon echt gestructureerd te krijgen, zodat we het gewoon goed ontwikkelen. Want dit zijn eigenlijk fouten die zouden niet mogen voorkomen. Als jij goed je algoritme hebt doorgemeten en getest, dan zou je dit moeten zien, dan zou je dit moeten tegenkomen.
Denk je dat deze set van afspraken geholpen zou hebben om de fout te vinden?
Dat hebben we nog niet expliciet gedaan met deze casus, maar ik denk dat zeker veel voorbeelden wanneer je het hebt over ook onderscheid, wat gemaakt wordt, dus dat bepaalde groepen vaker of onterecht in dit geval eerder als recidivisten zouden worden aangemerkt, dat kan je meten met methodes die we noemen. Dan had je hem van tevoren al kunnen vinden. Die kans was groter geweest, ja, zeker. Kijk, we kunnen niet met zo'n standaard voorkomen 100% dat iets niet discrimineert, want discriminatie is gewoon iets dat is veel groter dan alleen een algoritme. En ook fouten, je kan het niet 100% voorkomen. Het idee hiervan is echt dat we wel proberen zoveel mogelijk van tevoren eruit te halen, te zorgen dat we zo goed mogelijk inzicht hebben in wat zo'n algoritme doet, en dus echt onderbouwde keuze kunnen maken om het in te zetten. In plaats van dat het wordt ingezet en achteraf achter komen: oh, het heeft eigenlijk toch een ongewenste voorkeur die je van tevoren had kunnen weten. Want dan kom je op iets en dan had je dan had je dat aspect in ieder geval kunnen voorkomen. En daar gaat het uiteindelijk dan ook in combinatie daarvan met monitoren, netjes bijhouden achteraf, zorg dat je goede processen hebt, want je kunt niet alles uitsluiten. Dus zorg als er iets onverwachts gebeurt of je toch ineens een klacht krijgt of er verandert iets in de omgeving waardoor je algoritme anders gaat werken, dat je dat ziet, en dat je dan op een goede menselijke manier mee omgaat.
Wat zou je organisaties mee willen geven wat de mens moet veranderen op dit gebied?
Ik denk dat het in eerste instantie is: mensen opleiden. Dat is iets wat natuurlijk al heel vaak wordt genoemd. Maar voor mensen zelf het belangrijkste blijft, sowieso menselijke maat. Een algoritme is recht toe recht aan. Dus blijf daarin ook echt het oog voor de mensen wat er achter het systeem zit en over wie je beslissingen maakt. Dat dat een heel belangrijke aspect is om je altijd te blijven realiseren. Ja, over wie of wat maak ik nu een beslissing en met welke informatie doe ik dat ook. Dat je daar altijd jezelf scherp op blijft houden. Wat kunnen de consequenties zijn? Welke informatie heb ik? Wat geeft het algoritme mij? En het besef blijven houden dat daar iets fout in kan zitten, of er kan toch iets anders zijn in de situatie die zorgt dat de uitkomst van het algoritme niet geschikt is op dat moment of niet toepasbaar. Dus zeker heel erg waken voor het 'computer says no'-syndroom en dat maar gewoon te volgen. En ik denk dat dat echt het kritisch blijven zelf en jezelf de vraag aan stellen van wat ben ik aan het doen en wat heeft dat voor impact, dat is denk ik ontzettend belangrijk.
Wordt het niet steeds lastiger om kritisch te blijven met de opkomst van systemen als ChatGPT?
Ook dat ligt eraan hoe je het gebruikt, maar ik denk inderdaad wel dat daar een risico zit. Als we daar te afhankelijk van worden en je denkt je zelf niet om af te vragen of daar kritisch op te blijven en daar goed over na te denken, dan wordt het wel steeds moeilijker. Hoe vaker je het vertrouwt, en hoe vaker het goed gaat, hoe makkelijker je daar natuurlijk in meegaat. Dat is denk ik een hele grote vraag: hoe meer gebruikelijk het wordt in je normale leven, hoe lastiger dat ook wordt in je werkende leven. Dus ik denk dat daar ook heel erg de taak ligt in bijvoorbeeld werkprocessen. Kijk, dat we ook daar duidelijke structuur geven aan de medewerkers: wat doe je met de uitkomst van zo'n algoritme. Nou hebben we daar ook een stukje over opgenomen in de NTA om dat inderdaad duidelijk te beschrijven. Sowieso mag de uitkomst van een algoritme niet in één keer direct het resultaat opleveren. Dus daar moet altijd de mens tussendoor zitten. Maar dat je daar ook heel goed duidelijk opschrijft voor jouw medewerkers en daar een duidelijk proces in hebt van oké, je krijgt de uitkomst van een algoritme, wat betekent dat dan? Wat zijn de stappen die je gaat doen? Wat moet je dan zelf nog gaan checken? Welke informatie heb jij nog nodig om die uiteindelijke keuze te maken. Dus dat we ook daar in dat proces eigenlijk de medewerkers stimuleren en op een duidelijke manier mee omgaan, dat dat natuurlijk is in je proces.
Zou het vierogenprincipe zoals in de financiële wereld hier ook helpen?
Ik denk dat zou zeker een oplossing kunnen zijn als één deel. Maar dan ben je natuurlijk nog steeds afhankelijk van twee mensen. En je hebt in ieder geval minder de kans dat één iemand misschien toevallig moe is of een slechte dag heeft gehad en denkt: nou het is allemaal goed vandaag. Dus ik denk dat het inderdaad een combinatie is en daar zullen we nog heel erg onze weg ook in moeten gaan zoeken. Hoe kunnen we nou toch op natuurlijke manieren ervoor zorgen dat het niet te veel bij één persoon terechtkomt om zichzelf kritisch te houden, maar dat we dat eigenlijk inbedden in het hele proces eromheen, in onze manier van omgaan met deze systemen. Wellicht dat generatieve AI ook vragen kunnen stellen. Dan zal dat bij deze profileringsalgoritmes niet het geval zijn. Dit zijn vaak gewoon simpele regelgebaseerde of simpele data-gebaseerde systemen. Dus daar gaat het juist heel erg in het werkproces echt omheen.
Welke vragen zou je jezelf kunnen stellen om na te denken over dat werkproces?
Dat is een leuke vraag eigenlijk. Ik denk vooral: wat heb ik nodig? Wanneer ik de uitkomst van zo'n systeem heb, wat kan ik daarmee doen. Dat is eigenlijk de eerste vraag die je gaat stellen wanneer je zo'n werkproces vormgeeft: wat zou ik er allemaal mee kunnen? Zou ik direct dit kunnen? Wat is het doel ervan? En wat wil ik uiteindelijk aan het einde van dit proces bereiken? Dus dat je dat eigenlijk al in kaart brengt en denkt: oké, welke beslissing moet ik maken aan het einde van dit proces en welke informatie heb ik daarvoor nodig? Dan kan bijvoorbeeld de output van het algoritme daar één onderdeel van zijn die iets bepaalt, maar je hebt natuurlijk nog veel meer voor nodig. En dan misschien ook te denken: oké, wat zijn de risico's als ik het geautomatiseerd doe? Als ik het gewoon overneem, wat gebeurt er dan? En hoe kan ik dat voorkomen? Wat heb ik daarvoor nodig om zo'n uitkomst kritisch te bekijken. En op die manier eigenlijk heel goed vast te leggen wat die verschillende stappen zijn, welke informatie heb je in ieder geval nodig naast dat algoritme. En ook hier denk ik het inderdaad al over nadenken, het opschrijven, het gestructureerd mee aanpakken en dat blijven reflecteren, dat dat echt de belangrijke stappen blijven. Want ja, we kunnen niet alles dichttimmeren van tevoren, dat geldt voor alles, dingen gaan veranderen. Dus juist als je weet waarom je bepaalde keuzes in eerste instantie hebt gemaakt en je houdt bij wat er verandert en wat er gebeurt, dan kun je elke keer terugkijken op het proces en aanpassen waar nodig. Ik denk dat dat ook een hele belangrijke stap is dat we ons veel meer aanleggen om dat gewoon heel consequent te gaan doen.
Welke risico's zijn er naast biases bij profilering?
Zeker bij profilering denk ik dat de grootste risico's wel echt op het bias zitten, en op gewoon überhaupt fouten die het maakt, dus dat het gewoon bepaalde dingen aangeeft dat ernaar gekeken moet worden terwijl het niet zo is en andersom.
Kun je het verschil tussen correlatie en causaliteit uitleggen?
Ja, dat is inderdaad een hele belangrijke om duidelijk te hebben. Dus heel veel mensen denken: oké, als het algoritme dit zegt en dat dit erin zit, dan is dat zo, dan komt dat daardoor. Maar al die algoritmes zijn gebaseerd op correlatie, dat betekent dat het verband houdt met elkaar. Vaak voorbeelden die we gebruiken, zijn de hele duidelijke, zoals als er meer ijsjes worden verkocht in de zomer en er worden meer mensen aangevallen door haaien. Als je dat zou willen voorspellen, dan zou je dat kunnen gebruiken, dat is een correlatie, namelijk meer ijsjes en meer haai-aanvallen, er zijn meer mensen op het strand. Maar dat is geen causaliteit. Het feit dat er meer ijsjes worden verkocht, betekent natuurlijk niet dat er meer mensen worden aangevallen door haaien. Het is inderdaad dit soort voorbeelden die heel duidelijk zijn, waarbij je heel goed kan uitleggen: oké, er is een correlatie, waarschijnlijk vanwege het feit dat het zomer is, of dat het mooi weer is, of iets dergelijks. Maar het wordt lastig als het heel dichtbij komt en wij daar wel causaliteit in zien, een oorzakelijk verband. En daar zit ook inderdaad het grootste gevaar. Wanneer wij gaan denken van oké, maar deze groepen, daar gebeurt nou eenmaal vaak iets, dus dat is ook een oorzaak, dat jij in zo'n groep onderdeel bent, betekent dat jij een grotere kans hebt, dan gaat het natuurlijk fout. Het feit dat jij in een bepaalde groep zit, zegt niks over jouw gedrag. Wanneer je vanuit data iets gaat leren, kom je altijd op correlatie. Data is volledig correlatie gebaseerd. Je hebt een aantal natuurlijk initiatieven die echt causale modellen maken waar je met mooie grafieken kan aangeven wat daadwerkelijk echt volgens de mens oorzakelijk verband heeft, maar het meeste wat geleerd is op data, is echt correlatie gebaseerd. We zien hetzelfde tegelijk voorkomen.
Wat heb je meegenomen uit je eerdere werk aan wiskundige modellen voor brandwondherstel?
Dat is al een tijd geleden, vanuit mijn onderzoek in mijn studie. Daar gingen we kijken: oké, wiskundige modellen kunnen iets echt natuurkundig beschrijven, daar proberen zo dicht mogelijk bij het oorzaak-gevolg te blijven. Het nadeel daarvan is dat die modellen ontzettend langzaam zijn, en eigenlijk in de praktijk daarmee niet haalbaar. En op die manier heb ik daar geprobeerd dat te vervangen door een AI-model, wat eigenlijk is geleerd op basis van het model van de wiskunde of de data van de wiskunde. Maar die eigenlijk probeert die oorzakelijke verbanden om te zetten naar correlatie, wat veel sneller kan. Want de AI kan het in no-time correlatie-gebaseerd doorrekend krijgen. Dat werkt echt hartstikke goed. Daar zit eigenlijk die vertaling van heel erg oorzakelijk, wat in dit geval heel veel tijd kost om te berekenen, dan moet je echt aan op een gegeven moment dagen denken, terwijl de behandeling van brandwonden vraagt echt om heel veel heel snel handelen. En dat kan met dus een AI die heel erg correlatie-gebaseerd is op basis van die data, kon hij dat heel erg snel, eigenlijk met bijna dezelfde nauwkeurigheid voorspellen. Daar zit een mooie waardevolle stap in. Ik denk deels heb je daar natuurlijk heel erg de stap van wat wil je bereiken, die je uiteindelijk daar ook wel mee kunt meenemen. Waarvoor gebruik je die AI. En ik denk dat daar juist heel erg die waardevolle stap is tussen wat is oorzakelijk aan de hand, wat we proberen zo nauwkeurig mogelijk te beschrijven, en hoe goed begrip hebben van hoe zit dat proces eruit in de praktijk. En dan kijken naar wat kan AI hier voor een rol spelen. En ik denk dat dat ook een vraag is die we onszelf continu in het ontwikkelen van algoritmes bij de overheid moeten stellen: wat willen we bereiken? Hoe goed begrijpen we dit proces zelf dat we proberen te modelleren en welke rol kan AI hier in spelen. Het hoeft niet altijd alles over te nemen, juist wil je graag een goede samenwerking, een goede combinatie hebben. Dus ik denk dat die vraag daarin ook heel erg belangrijk is om jezelf te blijven stellen: welke rol geven we AI of een algoritme. Want die NTA is juist ook erg bedoeld voor algoritmes die niet AI zijn. Dat is wel goed om even te benadrukken. Wanneer we het veel over AI hebben dat juist heel veel simpele door mensen opgestelde regels, dat ook daar heel erg dat risico in zit en dat we daar ook echt proberen op in te zetten, dus echt als aanvulling op de AI Act.
Is er iets waar jij persoonlijk van wakker ligt rondom AI?
Ja, ik bedoel, het is een hele goede ontwikkeling. Hetgeen waar ik het meeste van wakker lig eigenlijk is: hoe gaan wij er als mensen mee om. Hoe zorgen we dat iedereen eigenlijk weet wat deze technologie is, hoe je er op een goede manier mee omgaat, zorgen dat we daar goede duidelijke regels over krijgen. Duidelijke voorbeelden vind ik nu bijvoorbeeld al wanneer je naar agents gaat en iedereen dat maar toegang geeft tot zijn bankgegevens en dergelijke. Dan denk ik ja, of hoe vaak je toch ziet dat iemand quotes van Einstein erop zetten die niet waar zijn, advocaten die zaken verzinnen. Dus ik denk dat daar heel erg het risico zit. Natuurlijk hebben we veel meer dingen in onze maatschappij gehad, auto's en dingen. De technologie op zich is één ding, maar die kunnen we steeds meer verbeteren, steeds veiliger maken. Dat hebben we ook met auto's gedaan: veiligheidsgordels, airbags, antislipsystemen en dergelijke. Dus dat gaan we met AI natuurlijk en algoritmes ook doen, proberen we steeds veiliger te maken, de technologie ontwikkelen we door. Ja, de mens, dat is eigenlijk de onzekere factor. Daar heb je minder invloed op. En juist zorgen dat die er op een goede manier mee om kan gaan, als het ware een AI-rijbewijs, om het maar even door te trekken. Ja, ik zie dat daar nu het meeste fout in gebeurt eigenlijk: dat mensen technologie gebruiken, die veel verder is dan zij eigenlijk begrijpen, niet weten hoe ze er goed mee om moeten gaan, wat de risico's ervan zijn. Ja, daar gebeuren dan denk ik het snelste de grootste ongelukken.
Waarom gaat de NTA innovatie juist ondersteunen of stimuleren in plaats van remmen?
Ik vind inderdaad regels en richtlijnen zijn niet per se een rem voor innovatie. Ten eerste, je wil dat innovatie waardevol is. En je wil dat innovatie veilig is. Je kan heel veel innoveren, maar als het vervolgens onze maatschappij alleen maar pijn doet, is het dan echt daadwerkelijk innovatie? Dus dat is een vraag die je daarover kan stellen. En ook denk ik: je wordt gedwongen ook om deels creatiever te zijn door regels. Je wil iets bereiken en er zitten randen aan en we hebben als mensen ook randen nodig om creatief te kunnen zijn. Dus ik denk dat je daar ook al de fout in gaat door te zeggen dat regels innovatie stoppen. Ik bedoel, juist als je een keer zegt: het kan niet zwaarder dan dit, dan ga je innovatieve oplossingen bedenken. Dat zie je ook in de algoritmes, wanneer je bijvoorbeeld kijkt naar het kleiner maken van modellen. Dat kan alles maar groter en groter en groter en groter. Maar juist wanneer je zegt: hey, wacht eens even, we willen niet alleen maar groter, want dat is te veel energie, of hebben we de data niet, laten we nou eens gaan nadenken hoe we dit klein kunnen. Dan komen de nieuwe innovaties in de technologie die dat mogelijk maken. En voor de rest denk ik echt: we hebben gewoon regels nodig. Want innovatie moet ook de goede kant op gaan. En dat kun je juist heel erg stimuleren door de juiste regels en daar zit dan natuurlijk de vraag. Het is niet zozeer dat alle regels... er zijn ook genoeg regels die innovatie wel kunnen stoppen. Het gaat om de juiste kader stellen die zorgen dat innovatie die we willen hebben, dat die waardevol is, dat hij echt iets bijdraagt en iets voor ons doet. En de regels die niet in de hand werken, daar wil je dan vanaf. Maar het feit dat regels aanwezig zijn is iets wat goed is, denk ik, en ook wat gewoon heel erg belangrijk is voor onze maatschappij.
Wat is de concrete oproep aan de luisteraars?
Bij de NEN, dat is ons Nederlandse normalisatie-instituut, daar staat de NTA rondom profileringsalgoritmes bij de overheid. Daar kun je inloggen en dan kun je op de tekst zelf je commentaar geven, eigenlijk op alle aspecten ervan. Er zijn dingen die je niet duidelijk vindt, denk je nou: dit vind ik in de praktijk ontzettend moeilijk voor mij om uit te voeren of ik ben het hier niet mee eens. En dan graag altijd met een suggestie. Wanneer we alleen commentaar krijgen als 'ik ben het hier niet mee eens', ja, dat is voor ons heel erg moeilijk. Dus het liefst altijd zo concreet mogelijk: wat vind je niet duidelijk, wat zou je graag anders zien? Je hebt invloed erop. Er wordt heel snel altijd geklaagd, je wil niet weten hoeveel er geklaagd wordt op de AI Act. Op deze set afspraken heb je gewoon invloed als luisteraar. Ik denk wel het hele proces draait echt al om verschillende organisaties bij elkaar hebben, verschillende mensen van verschillende achtergronden bij elkaar hebben en gezamenlijk toewerken naar een begrip: wat betekent non-discriminatie bij algoritmes en hoe kunnen we dat structureren. Ja, nu gaan we ook echt naar iedereen toe en zeggen: oké, help ons, wij hebben een start gemaakt, wij hebben de eerste basis neergezet. Help ons nu met het verder aanscherpen, dit in de praktijk gaan brengen. We hopen op termijn ook, er is interesse ook vanuit meer Europees en internationaal niveau, wat we hier in Nederland aan het doen zijn. Dus ja, mocht dat hier goed gaan uitpakken in de praktijk, moeten we het nog gaan zien, dan hoop ik ook echt dat we hiermee bredere impact kunnen maken naast alleen in Nederland. En blijf goed nadenken wanneer je met AI aan de slag gaat, zowel wanneer je het ontwikkelt als wanneer je het gebruikt: wat doe ik met deze uitkomsten? Wat stop ik erin en welke informatie heb ik nodig om een goede keuze te maken? AIToday Live is een podcast die zich richt op de nieuwste ontwikkelingen in AI en de impact ervan op verschillende sectoren. In elke aflevering spreken hosts Niels Naglé en Joop Snijder met experts uit het veld om inzicht te krijgen in de mogelijkheden en uitdagingen van AI-technologie. Luister via je favoriete podcast app: Spotify, Apple podcasts, YouTube Music, en meer.
Over de gast
Marianne Witte Schaaphok werkt als Consultant Responsible AI bij onderzoeksinstituut TNO. Zij richt zich op het verantwoord ontwikkelen en inzetten van AI-technologie, waarbij ze zowel de technische aspecten als de menselijke omgang met deze systemen bekijkt. Witte Schaaphok is betrokken bij het opstellen van de Nederlandse technische afspraak voor profileringsalgoritmes bij de overheid, eerst als expert en later als projectleider.
Bekijk gastprofielTranscript
Er komt een Nederlandse technische afspraak voor profileringsalgoritmes van de overheid. Het doel is om organisaties te helpen bij het verantwoord ontwikkelen en inzetten van profileringsalgoritmes. Hiervoor bestaan momenteel nog geen nationale of Europese normen. Je gaat luisteren naar Marianne Witte Schaaphok. Zij is vanuit TNO betrokken bij het opstellen van deze technische afspraak en vertelt hoe jij mee kunt helpen. Joop: Leuk dat je weer luistert naar een nieuwe aflevering van AIToday Live. Joop: Vandaag met mij alleen. Joop: Niels, die heeft helaas andere verplichtingen. … Joop: Mijn naam is Joop Snijder, CTO van jou bij Info Support. 10 Joop: En vandaag in de studio zijn we heel blij mee. 11 Joop: Marianne Witte Schaaphok. 12 Joop: Dankjewel dat je hier wilde komen. 13 Joop: Zou je je voor de luisteraar eerst even willen voorstellen? 14 Marianne: Ja, natuurlijk. 15 Marianne: Ik ben Marianne. 16 Marianne: Ik werk bij TNO, onderzoeksinstituut. 17 Marianne: En ik werk er als Consultant Responsible AI. 18 Joop: Ja, en voordat we het zo direct hebben over de NTA, de Nederlandse technische afspraak. 19 Marianne: Afspraak. 20 Joop: Afspraak. 21 Joop: Ik heb het je net gevraagd, dan zeg ik het nog verkeerd. 22 Joop: Maar voordat we beginnen, je hebt het over Responsible AI. 23 Joop: Wat is dat eigenlijk? 24 Marianne: Dat is een hele goede vraag. 25 Marianne: Responsible AI, zoals ik het zie, is eigenlijk een combinatie tussen zowel een goede techniek hebben die verantwoord omgaat met de data, die goede uitkomsten geeft, robuust is en veilig. 26 Marianne: Als wel een goede aanpak om als mens ermee om te gaan. 27 Marianne: Dat we ook op de juiste manier gebruik maken van een technologie. 28 Marianne: Een technologie kan wel veilig zijn, maar ja, heel vaak gaat het toch bij de mens ook wel fout. 29 Joop: En kan je vertellen wat die Nederlandse technische afspraak is? 30 Marianne: Ja, dus een Nederlandse technische afspraak is eigenlijk een vorm van een standaard. 31 Marianne: Een standaard is iets wat we uitgeven, dat kan bijvoorbeeld zijn voor hoe een auto eruit ziet, hoe een veiligheidssysteem moet zijn, de aansluiting van je USB-C kabel. 32 Marianne: En dat doen we nu eigenlijk in een lichte vorm voor profileringsalgoritmes bij de overheid. 33 Marianne: Juist daar richtlijnen op te stellen en eisen en requirements, als we dat noemen, om alle organisaties hulp te geven. 34 Marianne: Wat moet je nou doen wanneer je zo'n systeem gaat ontwikkelen? 35 Marianne: En wat kun je testen eraan? 36 Joop: Ja, en jij bent betrokken bij het opstellen van deze afspraak. 37 Marianne: Ja, inderdaad. 38 Marianne: In eerste instantie als expert en ook de laatste tweede helft als projectleider. 39 Joop: En welke overheidsorganisatie brengt dit zo direct uit. 40 Marianne: Dus het wordt uitgebracht vanuit de NEN. 41 Marianne: Dat is ons normalisatieinstituut binnen Nederland. 42 Marianne: Die beheert eigenlijk alle standaarden en alle normen. 43 Marianne: De standaard is afgekocht door de ministeries. 44 Marianne: Waardoor die ook vrij beschikbaar wordt voor iedereen. 45 Joop: Dus dan kan iedereen gewoon gebruik van maken. 46 Marianne: Normaal moet je dat betalen voor een standaard om die te kunnen gebruiken en dat hoeft in dit geval niet. 47 Marianne: Dat is al betaald. 48 Joop: En wat is de reden daarvoor dan? 49 Marianne: De reden daarvoor, en dat is ook de aanpak waarom we het eigenlijk doen. 50 Marianne: De standaard ontwikkelen, is de grote vraag en de grote noodzaak die we zien bij de overheid, binnen partijen zelf, om op een verantwoorde manier aan de slag te gaan met deze algoritmes. 51 Marianne: En vanuit daar is ook gezegd dat we willen dat alle organisaties binnen Nederland, alle overhidspartijen, aan de slag kunnen met deze standaard. 52 Marianne: En niet eerst zelf intern hoeven te gaan zorgen dat ze geld vrijmaken om hiervoor te betalen. 53 Joop: Wat zijn de huidige standaarden dekken dan niet af? 54 Joop: Wat jullie nu van plan zijn. 55 Marianne: Dus qua standaarden is er eigenlijk nog weinig op dit moment. 56 Marianne: Je ziet vanuit het bekende is de AI Act. 57 Marianne: Die gaat echt over AI. 58 Marianne: En daar worden standaarden nu voor ontwikkeld. 59 Marianne: Maar op dit niveau zijn eigenlijk nog geen standaarden afgesproken. 60 Marianne: Voor hoe we dit ontwikkelen, wat we gaan doen. 61 Marianne: Dus je ziet een heleboel richtlijnen, kaders, handreikingen. 62 Marianne: Die vliegen je om de oren, zowel vanuit de organisatie zelf als vanuit de wetenschap, de onderzoek. 63 Marianne: Maar juist echt een afspraak, daarom heet het ook een Nederlands technisch afspraak, die we proberen te maken onderling van hoe gaan wij dit nou allemaal doen. 64 Marianne: En daar moet ik zeggen, een technische afspraak is niet verplicht, een standaard überhaupt niet. 65 Marianne: Dus we kunnen niet van tevoren verplichten dat iedereen deze volgt. 66 Marianne: Maar het idee is wel dat het in ieder geval als het goed werkt in de praktijk. 67 Marianne: Een maatschappelijke of morele verplichting wordt om een dergelijke standaard te gaan volgen. 68 Joop: En is die dan die morele afspraken. 69 Joop: Is dat vooral de Rijksoverheid of vind je dat dat voor alle bedrijven dan zou moeten gelden? 70 Marianne: In eerste instantie is natuurlijk voor Rijksoverheid, maar ook uitvoeringsorganisaties, gemeentes, dus iedereen die voor publieke sector met dit soort systemen aan de slag gaat. 71 Marianne: Natuurlijk, kijk, de inzichten die erin zitten, wanneer het gaat over Responsible AI ontwikkelen. 72 Marianne: Die beperken zich natuurlijk niet tot alleen de overheid. 73 Marianne: Dus ook andere partijen die zich bezighouden met profilering. 74 Marianne: Want daar gaat het over profilering en met name ook hoe hou je daarin goed rekening met non-discriminatie. 75 Marianne: We pakken ook niet alle breedte van Responsible AI. 76 Marianne: Ja, die is ook relevant voor partijen die niet zich kwalificeren als overheid. 77 Joop: Kan je een voorbeeld geven van zo'n profileringsalgoritme? 78 Marianne: Dus de bekendste voorbeelden eigenlijk die we zien in de praktijk, zijn die voor fraudebestrijding. 79 Marianne: Het gaat over het selecteren van welke personen ga ik inspecteren om te kijken of zij zich netjes aan de regels houden. 80 Marianne: Dat kan zijn voor personen onderling. 81 Marianne: De bekendste voorbeelden, die kennen we allemaal wel. 82 Marianne: De toeslagenaffaire. 83 Marianne: Dingen voor uitkeringen controleren. Marianne: Maar dat kan ook juist zijn voor bedrijven. Marianne: Houden bedrijven zich aan de regels, bijvoorbeeld door de arbeidsinspectie. Marianne: Onderwijs. Marianne: En het kan ook op een positieve manier. Joop Snijder: Ja, daar was ik vooral benieuwd naar. Marianne: Oké, stel, hoe kunnen we mensen helpen? Marianne: Hoe kunnen we de mensen bereiken die misschien recht hebben op een uitkering? Marianne: Of hoe kunnen we mensen helpen die recht hebben op een andere voorziening, die we nu nog niet in zicht hebben? Marianne: Dus ook daar kun je die profilering juist op een positieve manier gebruiken om bepaalde groepen die nu niet goed in kaart zijn, om die beter te kunnen benaderen. Joop Snijder: Welke afspraken komen daar dan nu in die nu nog niet zijn of nu niet zijn geformaliseerd? Marianne: We kijken vooral heel erg dus naar de opbouw in deze NTA van het begin tot het einde. Marianne: Dus we beginnen eigenlijk echt met wat is nou het probleem wat je probeert op te lossen. Marianne: Waar zit het knelpunt? Marianne: Is dat een tekort aan middelen? Marianne: Dus misschien te weinig mensen om te controleren. Marianne: Wat zijn de effecten van dat probleem? Marianne: En wat zijn de mogelijkheden om dat op te lossen? Marianne: Is een algoritme één onderwerp, een mogelijkheid die je daarin wil gaan onderzoeken. Marianne: Want dat is eigenlijk de eerste vraag die met elkaar beantwoord. Marianne: Waarom wil ik eigenlijk een algoritme? Marianne: Waarom ga ik daar naar kijken? Marianne: Is er niet iets wat misschien veel makkelijker is, of wat ik op een andere manier kan oplossen. Marianne: En vanaf daar eigenlijk gestructureerd naar hoe bouw ik dat op? Marianne: Hoe ga ik kijken naar mijn data? Marianne: Hoe kijk ik of daar mogelijk al bepaalde groepen veel vaker in voorkomen. Marianne: Wat misschien eigenlijk helemaal niet representatief is voor onze samenleving. Marianne: Dat kan bijvoorbeeld zijn door hoe het eerder al is verzameld. Joop Snijder: Als we die positieve variant nemen. Joop Snijder: Hoe zou je daar dan naar kijken met deze gedachten? Marianne: Het probleem is daar misschien dat je bepaalde groepen niet kan bereiken. Marianne: En dan wil je eens kijken, hoe kunnen we die gaan bereiken. Marianne: Als dat het probleem is dat je oplossen. Marianne: Kun je kijken, oké, hebben we genoeg data, genoeg gegevens waarop we een algoritme kunnen bouwen. Marianne: Of genoeg menselijke kennis. Marianne: Want deze gaat ook juist over algoritmes die door mensen worden opgesteld. Marianne: Dan moet je daarna dus ook gaan kijken naar data. Marianne: In dit geval gaat het misschien om een groep die nog niet zo goed kan bereiken. Marianne: Dus heb ik daar wel genoeg kennis over, weet ik daar genoeg over om een algoritme over op te stellen. Marianne: En wat voor kenmerken ga ik dan gebruiken? Marianne: Dat bepaalt of iemand recht heeft op bijvoorbeeld zijn uitkering. Joop Snijder: Nou, op zich, ik denk dat die wel vast liggen, neem ik aan, wettelijk, toch? Joop Snijder: Of je wel of geen recht hebben, maar ik kan me dan voorstellen dat, want je hebt het over bias. Joop Snijder: Hoe zou biases dan in zo'n geval erin kunnen sluiten? Marianne: In dit geval bijvoorbeeld doordat je bepaalde groepen helemaal niet in kaart hebt. Marianne: Stel, ik ga dan, ik heb een algoritme wat ik baseer op kennis die ik heb, op basis van misschien wat inzichten uit de data die ik heb. Marianne: En dan zie ik oké, deze groep bijvoorbeeld ouderen. Marianne: Vragen het vaak niet aan, omdat ze er wel recht op hebben. Marianne: Dan kan ze een algoritme heel erg gaan sturen op die groep. Marianne: Misschien is er ook wel een bepaalde groep van jongeren. Marianne: Die ook heel erg veel recht heeft op die uitkering, maar die je mist. Marianne: Omdat je daar ofwel de kennis niet over hebt dat ze het niet aanvragen, ofwel niet in je data zit. Marianne: Dan zal je dus zien dat ze een algoritme heel erg gaat richten op die groep ouderen en die heel veel hulpprofilering gaan bieden. Marianne: Wel goed is, want ze hebben daar waarschijnlijk recht op. Marianne: Maar die andere groep die misschien net zoveel recht daarop heeft, die hou je dan buiten beschouwing. Marianne: Dus die breng je eigenlijk niet die hulp die je aan andere groepen wel brengt. Joop Snijder: En hoe kom je erachter dat je dat je baas in je data hebt zitten? Marianne: Dat is inderdaad een van de dingen die we dus ook in deze Nederlands tegen afspraken uitleggen. Marianne: Hoe kun je dit meten? Marianne: Dus dan gaan we echt heel erg aan de slag van oké, welke, je hebt informatie nodig over die groepen. Marianne: Dus in eerste instantie moet je al gaan nadenken over welke groepen zit een mogelijke bias op. Marianne: Is dat misschien inderdaad op basis van leeftijd? Marianne: Is dat op basis van geslacht? Marianne: Is dat op basis van misschien ras? Marianne: Wat we vaak niet willen. Marianne: Dus welke wil je echt niet. Joop Snijder: En dan begin je vanuit jezelf in eerst instantie te bedenken. Joop Snijder: Of begin je meteen bij de data? Marianne: Nee, je begint vaak echt met het kijken welke groepen zijn relevant. Marianne: En dat kan je dus ook wel doen aan het kijken wat is de impact van het algoritme. Marianne: Welke groepen kennen we daar? Marianne: En ook met die groepen zelf in gesprek gaan. Marianne: Van wat zijn dingen die mogelijk onderscheid kunnen opleveren? Marianne: Dus een mogelijke bias. Marianne: Die we niet willen. Marianne: Dus dat is niet iets wat je zelf moet doen. Marianne: Want ja, het beeld van mensen is ook heel erg beeld. Joop Snijder: Ja, toch? Marianne: Het is juist heel erg de vraag hier om met andere mensen te gaan kijken. Marianne: Groepen die geraakt worden door een dergelijk systeem. Marianne: Wat zijn mogelijke voorkeuren of vaak ongewenste voorkeuren die in zo'n systeem naar boven zouden kunnen komen? Marianne: Misschien nu in het huidige proces ook al. Marianne: En dan ga je uiteindelijk een selectie maken. Marianne: Ik bedoel, we kunnen niet alles meten. Marianne: We kunnen niet alles en iedereen en alle opties uitsluiten. Marianne: Dus dan moet je gaan kijken, oké, wat is de grootste kans? Marianne: Wat zijn de groepen waar we echt willen dat er geen onderscheid? Marianne: En dan kan je het gaan meten. Marianne: Dan kun je puur gaan kijken, oké, ik ga mijn algoritme het werk laten doen. Marianne: Er komen uitkomsten uit. Marianne: En als ik nou kennis heb over alles wat hij weet, of die personen bijvoorbeeld een man of een vrouw zijn, of in dit geval ouderen en jongeren. Marianne: Dan kan ik kijken, oké, geeft mijn algoritme bijvoorbeeld alleen maar ouderen. Marianne: Is 80% van wat hij voorspelt die we moeten gaan helpen, zijn dat ouderen. Marianne: Ja, in dat geval in de samenleving is op dit moment nog niet 80% ouderen. Marianne: Of in ieder geval van de groep die recht heeft dan op de uitkering. Marianne: Dus dan kan je zien, oké, dat scheef verdeeld. Marianne: Het algoritme heeft een andere verdeling in zijn uitkomst dan wat we eigenlijk zouden verwachten gezien de populatie. Marianne: Of je kan ook bijvoorbeeld zien, heeft hij het vaker fout voor ouderen dan voor jongeren. Marianne: Dus geeft hij vaker onterecht dat hij aangeeft, oh, deze ouderen moet je wel helpen, terwijl ze misschien eigenlijk geen recht erop hebben, of juist bij jongeren dat hij het vaker niet aangeeft. Marianne: Dus dat zijn ook een vorm van bias en ongelijkheid die je daarin naar boven kan halen. Marianne: En als je informatie hebt over of iemand in het geval bijvoorbeeld 65 plus is of de 20. Marianne: Dan kun je dat relatief eenvoudig meten. Joop Snijder: En staan dat soort metingen dan ook in die in die afspraken? Joop Snijder: In welke vorm weet je, ik krijg straks die set van afspraken, hoe ziet dat daaruit? Marianne: Ja, net zei echt een opbouw die zich die zich meet aan de algoritme wordt ontwikkeld. Marianne: Dus probleemvraag, het ontwikkelen ervan en dan ook toetsen. Marianne: En ook hierin noemen we dus de verschillende metrieken die er zijn. Marianne: Dus naar hetgene wat ik zei van is de uitkomst vergelijkbaar? Marianne: Of zijn je de foutmarges vergelijkbaar? Marianne: En daar zeggen we van op deze manier kan je dit meten, op deze manier kan je dit meten. Marianne: Daarvan zeggen we van gelijk dat het representievers bij populatie moet je doen. Marianne: Dat is echt het uitgangspunt ook van non-discriminatie daarin. Marianne: En daarnaast kun je dus nog veel meer testen doen die eigenlijk ook wil doen op zijn de foutmarges gelijk, of in ieder geval binnen de perken. Marianne: Dus dat zijn eigenlijk de stappen die we zeggen, hoe moet je het meten? Marianne: Hoe kan je dit meten? Marianne: En ook hoe moet je het documenteren. Marianne: Hoe je het opschrijven. Marianne: En uiteindelijk de vraag, want dan is het acceptabel om het algoritme te gebruiken. Marianne: Dat is een vraag die wij niet kunnen beantwoorden. Marianne: Want dat is ontzettend contextafhankelijk. Marianne: In ene keer is misschien een verschil van 1% tussen mannen en vrouwen prima acceptabel. Marianne: In sommige gevallen is het zelfs gewenst en toegestaan. Marianne: Op de medische sector zie je dat mannen en vrouwen verschillen nou helemaal. Marianne: Dus dan is er een hele goede reden om dat wel te doen. Marianne: En in andere gevallen wil je misschien zo min mogelijk. Marianne: Maar er zit altijd die uitkomsten die verschillen van misschien 5 of 1 of 0%. Marianne: Dus daar moet je uiteindelijk een keuze keuze over maken. Marianne: Kijken wat is acceptabel, wat is toegestaan, wat is wenselijk. Marianne: Dus dan kom je op de vraag, mag het ethisch? Marianne: Mag het juridisch, willen we het, ethisch. Marianne: En dan moet je daarover een keuze gaan maken. Marianne: En die doen we dus niet binnen de binnen de NTA. Marianne: Dus juist heel erg op welke stappen moet je nemen. Marianne: Wat kan je meten? Marianne: Hoe ga je dat opschrijven? Marianne: Om te zorgen dat hij uiteindelijk keuze mogelijk aan. Joop Snijder: Ethische keuzes kan je natuurlijk niet in een standaard. Marianne: Nee, nee, zeker niet. Joop Snijder: Oké. Joop Snijder: Maar hoe zorg je nou zo direct voor dat dit soort dingen geen papieren tijger worden? Marianne: Ja dat is de grootste uitdaging. Marianne: En ik denk dat dat ook heel erg interessant is. Marianne: Dat we gaan nu in publieke consultatie. Marianne: Dat betekent dat iedereen er feedback op mag geven. Marianne: Dus daar hebben heel erg geprobeerd om het zo dicht mogelijk bij de praktijk vorm te houden. Marianne: Dus daarom ook die echt die opbouw van probleemstelling op toetsing. Marianne: Om zo dicht mogelijk bij de praktijk van de mensen in de organisaties te houden om het daarmee makkelijker te maken. Marianne: Documentatie is altijd natuurlijk een hoop werk, maar wel ontzettend belangrijk. Joop Snijder: Zeker. Marianne: En we hopen door zowel publieke consultatie als ook daarna het in de praktijk te gaan gebruiken. Marianne: Te leren oké, wat werkt wel goed in de praktijk, wat werkt niet goed in de praktijk. Marianne: En ook ja, hoe sluit dat aan bij het doel wat we natuurlijk uiteindelijk willen bereiken met deze NTA, dat iedereen veel gestructureerder en veel meer aandacht voor non-discriminatie aan de slag gaat met algoritmes. Marianne: En dat we veel duidelijker beeld hebben van wat zit er onderscheid in deze algoritmes. Marianne: En zo ja, wat is het effect daarvan? Marianne: En wat betekent dat voor het gebruik? Joop Snijder: Ja, en de vraag was om om hier ook te komen vertellen erover, juist vanwege die consultatie. Joop Snijder: Wie mag er allemaal feedback geven, hoe ziet feedback eruit. Joop Snijder: Waar beginnen ze? Marianne: Ja, iedereen kan in principe feedback geven, dat gaat via de NAN. Marianne: Dus de NEN heeft een portaal, daar moet je je wel even voor aanmelden, maar dat wordt alleen gebruikt voor het inleveren van feedback. Marianne: En daar zie je eigenlijk de hele NTA. Marianne: En daar kun je dan commentaar op leveren. Joop: Dus wij kunnen zo direct wel een link in de show notes opnemen, neem ik aan. Marianne: Dat kan zeker. Marianne: En vanuit daar krijgen wij dan straks al die commentaren binnen. Marianne: En dan gaan we die proberen. Marianne: Dat zal ongetwijfeld nog een uitdaging worden. Marianne: We weten hoeveel discussie dit onderwerp ook altijd opwekt, zowel vanuit de complexiteit natuurlijk, wanneer je het hebt over non-discriminatie. Marianne: Als ook inderdaad, de haalbaarheid in de praktijk. Marianne: En de uitvoerbaarheid, als ik gewoon echt het grote interesse wat we erin zien. Joop: En tot wanneer kunnen mensen feedback geven. Marianne: Donderdag 19 april. Joop: Dat heb ik niet zoiets. Joop: Onderbij. Joop: Dat is nog een aantal weken om in ieder geval die feedback te geven. Joop: Dus even aanmelden bij de NEN, kan je hem downloaden, kun je feedback geven. Joop: Wat is voor jou nou het belangrijkste punt, wat het voor jou zelf zo interessant maakt om hier aan mee te werken. Marianne: Voor mij, ik werk dus nu al een aantal jaar in dit veld, wanneer het gaat over Responsible AI. Marianne: En je blijft in de praktijk en in het nieuws. Marianne: Je blijven de gevallen tegenkomen waarbij het fout gaat. Marianne: En heel vaak niet eens het onwel. Marianne: Maar toch omdat dingen fout gaan, omdat ze niet wisten hoe het gemeten moest worden. Marianne: Ja, is het heel erg ook over het verantwoorde keuzes maken over AI, het onderbouwen daarvan. Marianne: En dat maakt het voor mij heel erg interessant om hier aan mee te werken. Marianne: Ik zie gewoon hoe belangrijk het is dat we duidelijkheid gaan krijgen en dat we mensen handvatten gaan geven. Marianne: Ook vaak mensen spreken die zeggen, ja, hoe doe ik dit? Marianne: Hoe doe ik dit nou op een goede manier? Marianne: Want ik wil helemaal niet dat mijn algoritme discrimineert of onderscheid maakt. Marianne: Dus help ons daarmee. Marianne: Want tegelijkertijd is de noodzaak ook bij de overheid ontzettend groot om te digitaliseren. Marianne: Iedereen vraagt het. Marianne: De digitalisering in de wereld gaat ontzettend hard en ook de overheid heeft steeds minder middelen om hetzelfde te doen. Marianne: Dus de digitaliseringsslag die gaat door. Marianne: En daar heel erg de vraag over oké, hoe doen we dat dan verantwoord? Marianne: En hoe doen we dat nou goed en kunnen we daar wat afspraak op hebben? Marianne: En dat vind ik heel erg waardevol eraan. Marianne: Kun we mensen daarmee helpen? Marianne: En het tweede wat ik heel erg mooi vind aan dit proces, is dat het echt een samenwerking is. Marianne: Dus een breed palet aan organisaties. Marianne: Dus het is overheidsorganisaties, het is wetenschappelijke organisaties, het is de echte maatschappij die vertegenwoordigd is, ook via mensenrechtenorganisaties. Marianne: En daarin gaan we het gesprek met elkaar aan. Marianne: En dat is niet altijd makkelijk. Marianne: Maar ik denk dat dat echt ontzettend waardevol is, dat we proberen met elkaar een stap verder hierop te zetten. Marianne: En meer duidelijkheid te scheppen van wat bedoelen we eigenlijk hiermee, wat voor impact heeft het en kunnen we daar iets aan aan structuur aan geven. Joop: Kun je een tipje van de sluier oplichten zonder de organisatie te noemen. Joop: Maar waar zitten dan die discussie? Joop: Wat maakte het niet makkelijk om op één lijn te komen. Marianne: Een deel van de discussie, die gaat ook over juist de link tussen juridisch en technisch. Marianne: Die link hebben we ook echt wel geweerd te maken. Marianne: Dus we hebben aan tafel ook echt juridische mensen gehad, technische mensen, filosofen. Marianne: Ja, daar zie je gewoon een al een best een lastig punt. Joop: Zeker. Marianne: Dat non-discriminatiewetgeving is natuurlijk vrij juridisch. Marianne: En dat vertalen, wat betekent dat dan technisch onderling. Marianne: Ja, dat is best een hele interessante vraag. Joop: En ik neem aan ook dat je wil gaan denken in. Joop: omdraaien naar een ja. Joop: Tenminste, ik zie dat. Joop: Ik word wel gevraagd om mee te kijken naar beleid en beleid en dat soort zaken. Joop: En voordat je het weet zit je in de modus, zeg maar dat het van alles niet mag. Joop: Terwijl je wil natuurlijk het zorgen dat dingen wel mogen, maar wel verantwoord en volgens bepaalde spelregels. Joop: Is dat diezelfde frictie? Marianne: Onder andere, dus enerzijds echt een frictie van taal. Marianne: Heb je dezelfde. Marianne: Interpreteer je de term op dezelfde manier. Marianne: En anderzijds, inderdaad, dat is denk ik een frictie die in de praktijk ook wel veel is. Marianne: Ga je voor de nee. Marianne: En moet je echt of gaan we toch proberen, gaan we kijken. Marianne: Dat is natuurlijk een onderwerp als non-discriminatie is dat natuurlijk echt net wat anders dan voor een normaal kleine algoritme. Marianne: Dus daar wil je daar echt heel goed over nagedacht hebben en heel goed weten wat jouw algoritme doet. Marianne: Maar daar zit ja non-discriminatie, zeker bij de overheid. Marianne: Iedereen heeft gewoon een aantal schandalen toch wel scherp in het geheugen staan. Marianne: Het is een ontzettend gevoelig onderwerp. Joop: En terecht, want je zal maar door geraakt worden. Joop: Staan er dan nu in de hierin dingen waarvan gezegd wordt dat moet je gewoon niet doen. Marianne: Dus we zeggen een aantal dingen. Marianne: Het meeste houden we contextafhankelijk, op de context zo ontzettend verschilt dat we zeggen, wij maken daar geen uitspraken over. Marianne: We hebben het wel dat directe onderscheid mag niet. Marianne: Dus je mag niet in principe dingen als geslacht of ras direct opnemen in je algoritme. Marianne: En hetzelfde zeggen we ook voor het gebruik van ras bij dan echt risicoprofilering. Marianne: Dus bij vrouwen, gebruik daar die profielkermerken gewoon sowieso niet. 320 Marianne: Doe dat niet. 321 Marianne: Dus daar verder rest ik een aantal aanbevelingen over wanneer kan je het beter dingen niet gebruiken. 322 Marianne: Als je al heel duidelijk ziet dat een bepaald kenmerk een verband kan hebben met bijvoorbeeld geslacht of ras wanneer je dat niet wil, gebruik het dan niet, want dan maak je jezelf. 323 Joop: Ik wil even wegblijven bij de toeslagen, want dat is zo vaak besproken. 324 Joop: Maar laatst in het nieuws was het natuurlijk wel over. 325 Joop: Was ook profilering, ging over als ik recidieve voorspelling. 326 Joop: Reclassering. 327 Joop: En die hadden wat omgedraaid. 328 Joop: Dus daar staat gewoon echt gewoon kwijt een grote fout in. 329 Joop: Dus in plaats van misschien kan jij het uitleggen, waar heb je hem scherp of niet? 330 Marianne: Ik weet niet de details van deze casus. 331 Marianne: Dus je legt alleen op de hoogte van wat er in het nieuws en dergelijke is verschenen. 332 Marianne: En daar zie je net eigenlijk een combinatie. 333 Marianne: En er dus fouten zijn gemaakt in het omwisselen van bepaalde datastromen. 334 Joop: Van de uitkomsten eigenlijk van de uitkomsten. 335 Marianne: Dus ja, dat is eigenlijk een ding waarvan ik ook zie. 336 Marianne: waarom is het zo belangrijk om deze regels en deze handleidingen gewoon echt gestructureerd te krijgen, zodat we het gewoon goed ontwikkelen. 337 Marianne: Want dit zijn eigenlijk fouten die zouden niet mogen voorkomen. 338 Marianne: Als jij goed je algoritme hebt doorgemeten en getest. 339 Marianne: Dan zou je dit moeten zien, dan zou je dit moeten tegenkomen. 340 Joop: Heb je heb je deze casus gehouden tegen de afspraken die nu hebben liggen, waarvan je denkt van hé, maar dan hadden ze het misschien opgemerkt. 341 Marianne: Dat hebben we nog niet expliciet gedaan. 342 Marianne: Maar ik denk dat zeker veel voorbeelden wanneer je het hebt over ook onderscheid, wat gemaakt wordt, dus dat bepaalde groepen vaker of onterecht in dit geval eerder als recidivisten zouden worden aangemerkt. 343 Marianne: Dat kan je meten met methodes die we noemen. 344 Joop: Ja, precies. 345 Marianne: En ik denk dat dat wel hetzelfde gehad wordt voor de DUO casus. 346 Joop: Dus dat had gewoon met deze set van afspraken, was de kans groter geweest dat je de fout had gevonden. 347 Marianne: Dan had je hem van tevoren al kunnen vinden. 348 Marianne: Die kans was groter geweest, ja, zeker. 349 Joop: Kijk, daar willen we naartoe, toch? 350 Marianne: Dat is ook precies echt het belang. 351 Marianne: Kijk, we kunnen niet met zo'n standaard voorkomen, 100% dat iets niet of het niet discrimineert. 352 Marianne: Want discriminatie is gewoon iets dat is veel groter dan alleen een algoritme. 353 Joop: Zeker. 354 Marianne: En ook fouten, je kan het niet 100% voorkomen. 355 Marianne: Het idee hiervan is echt dat we wel proberen zoveel mogelijk van tevoren eruit te halen. 356 Marianne: Te zorgen dat we zo goed mogelijk inzicht hebben in wat zo'n algoritme doet. 357 Marianne: En dus echt onderbouwde keuze kunnen maken om het in te zetten. 358 Marianne: In plaats van dat het wordt ingezet en achteraf achter komen oh, het heeft eigenlijk toch een ongewenste voorkeur die je van tevoren had kunnen weten. 359 Marianne: Want dan kom je op iets en dan had je dan had je dat aspect in ieder geval kunnen voorkomen. 360 Marianne: En daar gaat het uiteindelijk dan ook combinatie daarvan met monitoren. 361 Marianne: Net bijhouden achteraf, zorg dat je goede processen hebt, want je kunt niet alles uitsluiten. 362 Marianne: Dus zorg als er iets onverwachts gebeurt of je toch ineens een klacht krijgt of er verandert iets in de omgeving waardoor je algoritme anders werken. 363 Marianne: Dat je dat ziet, en dat je dan op een goede menselijke manier mee omgaan. 364 Joop: Ja, dat laatst dus ook nog wel een dingen. 365 Marianne: En dat is wat we eerder ook al over hadden, maar jij hebt de techniek en je hebt de mens. 366 Marianne: En dit is altijd een combinatie van twee. 367 Marianne: Dus je moet ze wel verwijden, moet je goed nadenken over hoe geef je dat vorm. 368 Joop: Wat zou je organisaties mee willen geven wat dan de mens moet veranderen op dit gebied? 369 Marianne: Ik denk dat het in eerste instantie is, moeten de mensen opleiden. 370 Marianne: Dat is iets wat natuurlijk al heel vaak wordt genoemd. 371 Joop: Maar ja, als je noem maar wat, je krijgt je krijgt een paar dagen opleiding. 372 Joop: Drie maanden later, krijg je zo'n algoritme voor je neus. 373 Joop: Bij het grotendeels beet kwijt. 374 Marianne: Ja, ik denk dat daar voor mensen zelf het belangrijkste blijft, sowieso menselijke maat. 375 Marianne: Een algoritme is, is recht toe recht aan. 376 Marianne: Dus blijf daarin ook echt het oog voor de mensen wat er achter het systeem zit en over wie je beslissingen maakt. 377 Marianne: Dat dat een heel belangrijke aspect is om je altijd te blijven realiseren. 378 Marianne: Ja, over wie of wat maak ik nu een beslissing. 379 Marianne: En met welke informatie doe ik dat ook. 380 Marianne: Dat je daar altijd jezelf scherp op blijft houden. 381 Joop: Ja, wat de consequenties zou kunnen zijn voor iemand. 382 Marianne: Wat kunnen de consequenties zijn? 383 Marianne: Welke informatie heb ik? 384 Marianne: Wat geeft het algoritme mij? 385 Marianne: En het besef blijven houden. 386 Marianne: Dat daar kan iets of wel fout in zitten, of er kan toch iets anders zijn in de situatie die zorgt dat het de uitkomst van het algoritme niet geschikt is op dat moment of niet toepasbaar. 387 Marianne: Dus zeker heel erg waken voor het computer says syndroom. 388 Marianne: En dat maar gewoon te volgen. 389 Marianne: En ik denk dat dat echt het kritisch blijven zelf. 390 Marianne: En jezelf de vraag aan stellen van wat ben ik aan het doen en wat heeft dat voor impact. 391 Marianne: Dat is denk ik ontzettend belangrijk. 392 Joop: Denk je niet dat dat in die zin steeds lastiger wordt. 393 Joop: Dus mensen zijn steeds meer gewend om uit ChatGPT te praten of met een ander taalmodel. Joop: Waarbij je steeds meer erop vertrouwt dat wat daar terugkomt, dat dat een soort van waarheid is. Joop: Dus dat dat soort systemen, technologieën je bij niet helpen. Marianne: Ook dat ligt eraan hoe je het gebruikt, maar ik denk inderdaad wel dat daar een risico zit. Marianne: Als we daar te afhankelijk van worden. Marianne: En je denkt je zelf niet om af en daar kritisch op te blijven en daar goed over na te denken. Marianne: Dan wordt het wel steeds moeilijker. Marianne: Hoe vaker je het vertrouwt, en hoe vaker het goed gaat, hoe makkelijker je daar natuurlijk in meegaat. Joop: Ja, want kijk, we maken heel veel uitzendingen en dan gaat het er heel veel over. Joop: Ja, je moet opletten wat je ChatGPT teruggeeft, maar dat gaat over, hoe moet ik het zeggen? Joop: Laten we zeggen, dat zijn geen dingen die zoveel impact hebben als de algoritmes waar je het nu over hebt. Joop: En daar hebben we het al, zeg maar moeilijk om daar kritisch over te zijn en daar goed over na te denken. Joop: En dan vraag ik me af, weet je, hoe groot is dan de stap als het dan zo direct gaat over profileringsalgoritmes. Joop: Zijn we er, zijn we daar dan ook echt bij dat we daar heel kritisch op zijn. Marianne: Ja, dat is denk ik een hele grote vraag. Marianne: Hoe meer gebruikelijk het wordt in je normale leven, hoe lastiger dat ook wordt in je werkende leven. Marianne: Dus ik denk dat daar ook heel erg de taak ligt in bijvoorbeeld werkprocessen. Marianne: Kijk, dat we ook daar duidelijke structuur geven aan de medewerkers, wat doe je met de uitkomst van zo'n algoritme. Marianne: Nou hebben we daar ook een stukje over opgenomen in de NTA. Marianne: Om dat inderdaad duidelijk te beschrijven. Marianne: Sowieso mag de uitkomst van een algoritme niet in één keer direct het resultaat opleveren. Marianne: Dus daar moet altijd de mens tussendoor zitten. Marianne: Maar dat je daar ook heel goed duidelijk opschrijft voor jouw medewerkers en daar een duidelijk proces in hebt. Marianne: Van oké, je krijgt de uitkomst van een algoritme. Marianne: Wat betekent dat dan? Marianne: Wat zijn de stappen die je gaan doen? Marianne: Wat moet je dan zelf nog gaan checken? Marianne: Welke informatie heb jij nog nodig om die uiteindelijke keuze te maken. Marianne: Dus dat we ook daar in dat proces eigenlijk de medewerkers stimuleren en op een duidelijke manier mee omgaan. Marianne: Dat dat natuurlijk is in je proces. Joop: Ja, precies. Marianne: Hoje wanneer het hebt over een generatieve AI of je kan je ook gebruiken om vragen aan jou te laten stellen. Marianne: Dus ik denk dat we daar veel meer toe moeten naar dat het natuurlijk wordt voor mensen wanneer je werkt met zo'n systeem om toch die kritische vragen te blijven stellen en een duidelijk werkproces te hebben. Marianne: Dat het niet alleen maar afhankelijk is van jou, dat jij zelf denkt, oh, ik moet nu kritisch blijven. Marianne: Maar dat dat door de manier waarop we ermee omgaan, de manier waarop we dat werk hebben vastgelegd, dat het gewoon natuurlijk is om die vraag te stellen. Joop: Ja, dan denk ik eigenlijk meteen aan een financiële wereld, waar er bijvoorbeeld heel vaak vierogenprincipe is. Joop: Dus dan mag je als één ding eigenlijk niet gewoon beslissen over een belangrijk onderwerp. Joop: Zou je dat ook hier in passen? Marianne: Ik denk dat zou zeker een oplossing kunnen zijn. Marianne: Als één deel. Marianne: Maar dan moet je natuurlijk nog steeds nog steeds afhankelijk van twee mensen. Marianne: En je hebt in ieder geval minder de kans dat één iemand misschien toevallig moe van slechte dag heeft gehad. Marianne: En denk ik nou het is allemaal goed vandaag. Marianne: Dus ik denk dat het inderdaad een combinatie en daar zullen we nog heel erg onze weg ook in moeten gaan zoeken. Marianne: Hoe kunnen we nou toch op natuurlijke manieren dat het niet te nacht bij één persoon terechtkomt om zichzelf kritisch te houden. Marianne: Maar dat we dat eigenlijk inbedden in het hele proces eromheen. Marianne: In onze manier van omgaan met deze systemen. Marianne: Wellicht dat ze ook vragen kunnen stellen. Marianne: Dan zal dat bij deze profileringsalgoritmes niet het geval zijn. Marianne: Dit zijn vaak of gewoon simpele regelgebaseerde of simpele, simpele data, gebaseerde systemen. Marianne: Dus daar gaat het juist heel erg in het werkproces echt omheen. Joop: Welke vragen zou je jezelf kunnen stellen om na te denken over dat werkproces? Marianne: Dat is een leuke vraag eigenlijk. Marianne: Ik denk vooral. Marianne: Wat heb ik nodig? Marianne: Wanneer ik de uitkomst van zo'n systeem heb, wat kan ik daarmee doen, omdat eigenlijk als eerste vraag is gaan stellen wanneer zo'n werkproces vormgeeft, wat zou ik er allemaal mee kunnen? Marianne: Zou ik direct dit kunnen? Marianne: Wat is het doel ervan? Marianne: En wat wil ik uiteindelijk aan het einde van dit proces bereiken? Joop: Een soort van verandering eigenlijk. Marianne: Dus dat je dat eigenlijk al in kaart brengt. Marianne: En oké, welke beslissing moet ik maken aan het einde van dit proces. Marianne: En welke informatie heb ik daarvoor nodig? Marianne: Dan kan bijvoorbeeld de uitput van het algoritme kan daar één onderdeel van zijn die iets bepaalt, waar heb je natuurlijk nog veel meer voor nodig. Marianne: En dan misschien ook te denken, oké, wat zijn de risico's als ik het geautomatiseerd doe. Marianne: Als ik het gewoon overneem, wat gebeurt er dan? Marianne: En hoe kunnen ik dat voorkomen? Marianne: Wat heb ik daarvoor nodig om zo'n zo'n uitkomst kritisch te bekijken. Marianne: En op die manier eigenlijk heel goed vast te leggen wat die verschillende stappen zijn, welke informatie heb je in ieder geval nodig naast dat algoritme. Joop: Ja, precies. Joop: Ik denk als je daar de antwoord op heeft dat je dat je in ieder geval kan beginnen, toch? Marianne: Dan denk ik en ook hier denk ik het inderdaad al over nadenken, het opschrijven, het gestructureerd mee aanpakken en dat blijven op blijven reflecteren, dat dat echt de belangrijke stappen blijven. Marianne: Want ja, we kunnen niet alles dichttimmeren van tevoren, dat geldt voor alles, we gaan dingen veranderen. Marianne: Dus juist als je weet waarom je bepaalde keuzes in eerste instantie hebt gemaakt. Marianne: En je houdt bij wat er verandert en wat er gebeurt, dan kun je elke keer terugkijken op het proces en aanpassen waar nodig. Marianne: Ik denk dat dat ook een hele belangrijke stap is dat we ons veel meer aanleggen om dat gewoon heel consequent te gaan doen. Joop: Je gaf in het voorgesprek aan dat je op een HAVO ga je ook wat lesgeven. Joop: Als je nou zo'n HAVO 2 zou moeten uitleggen welke risico's er nog zijn naast biases bij profilering, hoe zou je dat zou je dat verwoorden? Marianne: Ja, dat is een goede vraag. Marianne: Zeker bij profilering denk ik dat de grootste risico's wel echt op het bias zitten, en op gewoon überhaupt fouten die het gemaakt die het maakt, dus dat het gewoon bepaalde dingen aangeeft dat het wel naar gekeken moet worden terwijl het niet zo is en andersom. Marianne: Ik denk bij de HAVO 2 richt ik me vooral nu op het ChatGPT. Marianne: En de generatieve AI-systeem, omdat dat het meeste is waar zij natuurlijk in aanraking mee komen. Joop: Moeten ze daar ook weten dat er bias in zit. Marianne: Zeker. Marianne: Ik denk dat dat ook wel echt belangrijk is. Marianne: Ik denk dat daar in eerste instantie is natuurlijk hetgene van misinformatie heel erg belangrijk. Marianne: En weten hoe ga ik er nou mee om, laat ik het elke keer gewoon alles voor mij doen. Marianne: Of ga ik het op een slimmere manier, wat we net ook hadden over kritisch denken. Marianne: Laat ik aan mij vragen stellen of laat ik hem begeleiden. Marianne: Maar ook voor hun weten dat als jij een vraag van plaatjes te maken, dat daar een grote bias in zit, zeker voor misschien ook kinderen die juist zelf vanuit de minderheidsgroep komen, om dat heel goed te weten. Marianne: Dat is belangrijk dat systeem hebben dat nou eenmaal omdat ze een representatie zijn van wat wij allemaal op het internet zitten te doen. Marianne: Is denk ik wel heel belangrijk. Joop: En zou je ze ook iets moeten uitleggen over als ze het toch terugbrengen naar die naar die profileringsalgoritmes, het verschil tussen correlatie en causaliteit. Joop: En hoe zou je dat dan doen? Marianne: Ja, dat is inderdaad een hele belangrijke, die goed om duidelijk te hebben. Marianne: Dus heel veel mensen denken, oké, als het algoritme dit zegt en dat dit erin zit, dan is dat zo, dan komt dat daardoor, terwijl al die algoritmes zijn gebaseerd op correlatie, dat betekent dat het verband houdt met elkaar. Marianne: Vaak voorbeelden die we gebruiken, zijn de hele duidelijke, zoals als er meer ijsjes worden verkocht in de zomer. Marianne: En er worden meer mensen aangevallen door haaien. Marianne: Als je dat zou willen voorspellen, dan zou je dat kunnen gebruiken, dat is een correlatie, namelijk meer ijsjes en meer haai-aanvallen. Marianne: Er zijn meer mensen op het strand. Marianne: Maar dat is geen causaliteit. Marianne: Het feit dat er meer ijsjes worden verkocht, betekent natuurlijk niet dat er meer mensen worden aangevallen door haaien. Joop: We all moeten stoppen met ijsje eten, want ik krijg een haai-aanval. Marianne: Dus meeste inderdaad, is het is inderdaad dit soort voorbeelden die heel duidelijk zijn, waarbij je heel goed kan uitleggen. Marianne: Oké, er is een correlatie, waarschijnlijk vanwege het feit dat het zomaar is, of dat het maar weer is, of iets dergelijks. Joop: Maar het wordt lastig als het heel dichtbij komt en wij daar wel causaliteit in zien, een oorzakelijk verband. Marianne: En daar zit ook inderdaad het grootste, maar daar zit inderdaad een gevaar. Marianne: Wanneer wij gaan denken van oké, maar deze groepen, daar gebeurt nou eenmaal vaak iets. Marianne: Dus dat is ook een oorzaak. Marianne: Dat jij in zo'n van zo'n groep onderdeel bent, betekent dat jij een grotere kans hebt, dan gaat het natuurlijk fout. Marianne: Het feit dat jij in een bepaalde groep zit, zegt niks over jouw gedrag. Joop: Heb je een goed voorbeeld van wel een oorzakelijk verband? Marianne: Kijken, het is altijd oorzaken zijn altijd heel lastig te refereren. Marianne: Zeker in het geval van profilering moet ik hier echt even over nadenken. Joop: Ja, maar het hoeft niet per se profilering te zijn. Joop: Ik zit zelf te denken om in het voorbeeld van jou te blijven. Joop: Dat er veel meer mensen. Joop: Dat ze verbrand zijn, ernstig verbrand zijn. Joop: En de zon. Joop: Daar zit een oorzakelijk verband in. Joop: Dus zonnig weer zorgt ervoor dat mensen sneller verbranden. Joop: En als je in een medische wereld zit of zo, dan zou je dan weet je van, oh ja, als het UV boven een bepaalde niveau komt, dan kunnen we de oorzaak en het verband kunnen we met elkaar verbinden. Marianne: Inderdaad, daar en wanneer ik nu terugdenken naar het voorbeeld over de ijsjes en de haai-aanvallen, als je de haai-aanvallen zou willen voorspellen, en dan kan je in ieder geval kijken naar hoeveel mensen zijn er in het water. Marianne: Hoeveel mensen gaan er zwemmen, of zien we dat de haaien die trekken te grond. Marianne: Hoeveel haaien er in het gebied? Marianne: Dat zijn factoren die echt direct relateren aan het feit dat er haai-aanvallen zijn, als er veel mensen in het water zijn en er zijn veel haaien, dan is dat redelijk kan je altijd weer over discussiëren, maar ook oorzakelijk voor mij dat haai-aanvallen zijn. Joop: Het is natuurlijk ook goed om te weten dat het best wel heel erg lastig is om maar data dan die oorzakelijk verband te halen. Marianne: Wanneer je vanuit data iets gaat leren, kom je altijd op correlatie. Marianne: Data is volledig correlatie gebaseerd. Marianne: Je hebt een aantal natuurlijk i't die echt causale modellen waar je met mooie grafieken kan aangeven. Marianne: Wat daadwerkelijk echt volgens de mens oorzakelijk verband heeft, maar het meest wat geleerd is op data, is daarin is echt correlatie gebaseerd. Marianne: We zien hetzelfde tegelijk voorkomen. Joop: Ik zat er te zoeken, ik had al gezegd van ik had dat kaartjes gemaakt omdat we zo één op één zitten met deze aflevering. Joop: Ik zat te zoeken, want in het vooronderzoek had ik gezien dat je ook gewerkt hebt aan een app, maar ik kan de app niet vinden. Joop: Klopt dat. Joop: Voordat je hiermee aan de slag ging. Marianne: Ik heb aan verschillende dingen gewerkt, dus ik zit even te zoeken waar je naar probeert te refereren. Marianne: Ik doe vooral veel onderzoeken naar type algoritmes. Marianne: Met name ook in het inspectiedomein, dat is een andere waar ik een lab op heb waar je echt daar naar zoeken, dan zitten we echt op AI. Joop: Nou, ik zat eigenlijk te zoeken van wat je misschien in een heel ander gebied hebt geleerd, wat je hier meeneemt in deze opdracht rondom deze afspraken. Marianne: Het is een beetje suf dat ik het nou niet kan vinden, even niet precies waar je daar voor te refereren, dat is natuurlijk lastig zo ontzettend veel onderzoek. Joop: Een wiskundig model voor brandwondherstel. Marianne: Daar was ik naar op zoek. Marianne: Dat is al een tijd geleden, vanuit mijn onderzoek in mijn studie. Marianne: Dat we gingen kijken, oké, wiskundige modellen kunnen iets echt natuurkundig beschrijven. Marianne: Daar proberen zo dicht mogelijk bij het oorzaak gevolg te blijven, het nadeel daarvan is dat die modellen ontzettend langzaam zijn, en eigenlijk is in de praktijk daarmee niet haalbaar. Marianne: En op die manier heb ik daarin gebeurd dat te vervangen door een AI-model, wat eigenlijk is geleerd op basis van het model van de wiskunde en of de data van de wiskunde. Marianne: Maar die eigenlijk probeert die oorzakelijk verbanden om te zetten naar correlatie, veel sneller kan. Marianne: Want de AI kan het in no-time kan die dat correlatie gebaseerd hebben doorgerekend. Marianne: Dat werkt echt hartstikke goed. Marianne: En daar zit eigenlijk die vertaling van heel erg oorzakelijk kost in dit geval heel veel tijd om te berekenen, dan moet je echt aan op een gegeven moment dagen denken, terwijl de behandeling van brandwonden, vraagt echt om heel veel heel snel handelen. Marianne: En dat kan met dus een AI die heel erg correlatie gebaseerd is op basis van die data kon hij dat heel erg snel, eigenlijk met bijna dezelfde nauwkeurigheid dat kon voorspellen. Marianne: Daar zit een mooie waardevolle stap in. Joop: En heb je iets van van wat je daar toen geleerd hebt, nu meegenomen in zeggen van ja, maar die afspraken. Joop: Die zijn eigenlijk daar wel naartoe terug te herleiden. Marianne: Ik denk deels heb je daar natuurlijk heel erg de stap van wat wil je bereiken, die uiteindelijk daar ook wel mee kan. Marianne: Waarvoor gebruik je die AI. Marianne: En ik denk dat daar juist heel erg die waardevolle stap is. Marianne: tussen wat is de oorzakelijk aan de hand. Marianne: En wat we proberen zo nauwkeurig mogelijk te beschrijven. Marianne: En heel goed begrip hebben van hoe zit dat proces eruit in de praktijk. Marianne: En dan kijken naar wat kan AI hier voor een rol spelen. Marianne: En ik denk dat dat ook een vraag is die we onszelf continu in het ontwikkelen van algoritmes bij de overheid moeten stellen, is wat willen we bereiken? Marianne: Hoe goed begrijpen we dit proces zelf? Marianne: Wat we proberen te modelleren en welke rol kan AI hier in spelen. Marianne: Het hoeft niet altijd alles over te nemen. Joop: Helemaal niet. Marianne: Juist wil je graag een goede samenwerking, een goede combinatie hebben. Marianne: Dus ik denk dat die vraag daarin ook heel erg belangrijk is om jezelf te blijven stellen, welke rol geven we AI of een algoritme. Marianne: Want die NTA is juist ook erg bedoelt voor algoritmes die niet AI zijn. Marianne: Dat wel goed om even te benadrukken. Marianne: Wanneer we het veel over AI hebben dat juist heel veel simpele door mensen opgestelde regels. Marianne: Dat ook daar heel erg dat risico in zit en dat we daar ook echt proberen op in te zetten, dus echt als aanvulling op de AI-actelijke. Marianne: Dat dat daar ontzettend belangrijk is. Marianne: Die vraag welke rol geef je het hoe ga je daarmee om. Joop: Is er iets waar jij rondom deze technologie, even persoonlijk even los van deze NTA. Joop: Is er iets waar je van wakker ligt rondom AI? Marianne: Ja, ik bedoel, het is een hele goede ontwikkeling. Marianne: Hetgeen waar ik het meeste van wakker ligt, eigenlijk is hoe gaan wij er als mensen mee om. Marianne: Dat je daar die vraag van hoe zorgen we dat iedereen eigenlijk weet wat deze technologie is, hoe je er op een goede manier mee omgaat, zorgen dat we daar goede duidelijke regels over krijgen. Marianne: De duidelijke voorbeelden vind ik nu bijvoorbeeld al wanneer je naar agents gaat en iedereen dat maar toegang geeft tot zijn bankgegevens en dergelijke. Marianne: Dan denk ik, ja, of hoe vaak je toch ziet dat iemand nou ja, rectoren quotes van Einstein erop zetten die niet waar zijn, advocaten die. Marianne: Dus ik denk dat daar heel erg het risico zitten, natuurlijk wat veel meer dingen in onze maatschappij gehad, auto's en dingen. Marianne: De technologie op zich is één ding. Marianne: Maar die kunnen het steeds meer verbeteren, steeds veiliger maken. Marianne: Dat hebben we ook met auto's gedaan, veiligheidsgordels, airbags, antislipsystemen en dergelijke. 575 Marianne: Dus dat gaan we met AI natuurlijk en het algoritmes ook aan het doen, proberen we steeds veiliger te maken. 576 Marianne: De technologie ontwikkelen we door. 577 Marianne: Ja, de mens, dat is eigenlijk de onzekere factor. 578 Marianne: Daar heb je minder invloed op. 579 Marianne: En juist zorgen dat die er op een goede manier mee om kan gaan. 580 Marianne: Als het ware een AI-rijbewijs, om weten voor maar even door te trekken. 581 Marianne: Ja, ik zie dat daar nu het meeste fout in, eigenlijk dat mensen technologie gebruiken, die veel verder is dan zij eigenlijk begrijpen, niet weten hoe ze er goed mee om moeten gaan, wat de risico's ervan zijn. 582 Marianne: Ja, daar gebeuren dan denk ik het snelste de grootste ongelukken. 583 Joop Snijder: En hopelijk gaat dan die NTA daar straks bij helpen. 584 Marianne: Ik ga in ieder geval een aantal organisaties hopelijk helpen om daar wel meer structuur in hebben. 585 Joop Snijder: Ja toch? 586 Joop Snijder: En als laatste vragen, want vaak worden dit soort dingen gezien. 587 Joop Snijder: Je noemde ook de AI-act, maar zeker ook raamwerken of dat soort zaken als rem op innovatie. 588 Joop Snijder: Waarom gaat de NTA innovatie zo direct juist ondersteunen of stimuleren? 589 Marianne: Ik vind inderdaad regels en richtlijnen zijn niet per se een rem voor innovatie. 590 Marianne: Ten eerste, je wil dat innovatie waardevol is. 591 Marianne: En je wil dat innovatie veilig is, kan heel veel innoveren, maar als het vervolgens onze maatschappij alleen maar pijn doet, is het dan echt daadwerkelijk innovatie. 592 Marianne: Dus dat is een term die je daarover kan richten. 593 Marianne: En ook denk ik, je wordt gedwongen, ook om deels creatiever te zijn door regel. 594 Marianne: Je wil iets verantwoorden, en zitten randen aan en we hebben als mensen ook randen nodig om creatief te kunnen zijn. 595 Marianne: Dus ik denk dat je daar ook al de fouten gaat door te zeggen dat regels innovatie stoppen. 596 Marianne: Ik bedoel, juist als je een keer zegt van het kan niet zwaarder dan dit, dan ga je innovatieve oplossingen bedenken. 597 Marianne: Dat zie je ook in de algoritmes, wanneer je bijvoorbeeld kijkt naar het kleiner maken van modellen. 598 Marianne: Dat kan alles maar groter en groter en groter en groter. 599 Marianne: Maar juist wanneer je zegt, hey, wacht eens even, we willen niet alleen maar groter. 600 Marianne: Wat dat is te veel energie, of hebben we de data niet. 601 Marianne: Laten we nou eens gaan nadenken hoe we dit klein kunnen. 602 Marianne: Dan komen de nieuwe innovaties in de technologie die dat mogelijk maken. 603 Marianne: En voor de rest denk ik echt: we hebben gewoon regels nodig. 604 Marianne: Want innovatie moet ook de goede kant op gaan. 605 Marianne: En dat kun je juist heel erg stimuleren door de juiste regels en daar zit dan natuurlijk de vraag. 606 Marianne: Het is niet zozeer dat alle regels zijn ook genoeg regels die innovatie wel kunnen stoppen. 607 Marianne: Het gaat om de juiste kader stellen die zorgen dat innovatie die we willen hebben, dat die waardevol is, dat hij echt iets bijdraagt en iets voor ons doet. 608 Marianne: En de regels die niet in de hand werken. 609 Marianne: Daar wil je dan vanaf. 610 Marianne: Maar het feit dat regels aanwezig zijn iets wat goed is, denk ik en ook wat gewoon heel erg belangrijk is voor onze maatschappij. 611 Joop Snijder: En het leuke is de luisteraars kunnen nu gewoon meewerken aan de afspraken in ieder geval. 612 Joop Snijder: Het zijn dan geen regels, maar afspraken. 613 Joop Snijder: Dus wil je nog één keer herhalen waar ze terecht kunnen, waar jullie nou op zoek zijn. 614 Marianne: Ja, dus bij de NEN, dat is ons Nederlandse normalisatieinstituut. 615 Marianne: Daar staat de NTA rondom profilering algoritmes bij de overheid. 616 Marianne: Daar kun je inloggen. 617 Marianne: En dan kun je op de tekst zelf je commentaar geven, eigenlijk op alle aspecten ervan. 618 Marianne: Er zijn er dingen die je niet duidelijk vindt. 619 Marianne: Denk je nou, dit vind ik dit in de praktijk ontzettend moeilijk voor mij om uit te voeren of ik ben het hier niet mee eens. 620 Marianne: En dan graag altijd met een suggestie. 621 Marianne: Wanneer we alleen commentaar krijgen als ik ben het hier niet mee eens. 622 Marianne: Ja, dat is voor ons heel erg moeilijk. 623 Marianne: Dus het liefst altijd zo concreet mogelijk. 624 Marianne: Wat vind je niet duidelijk? 625 Marianne: Wat zou je graag anders zien? 626 Joop Snijder: Je hebt de invloed op, toch? 627 Joop Snijder: Er wordt heel snel altijd geklaagd. 628 Joop Snijder: Je wil niet weten hoeveel er geklaagd wordt op de AI-act. 629 Joop Snijder: Op deze set afspraken, heb je gewoon invloed als luisteraar. 630 Marianne: Zeker, dus dat is heel mooi eraan. 631 Marianne: Ik denk wel het hele proces draait echt al om verschillende organisaties bij elkaar hebben, verschillende mensen van verschillende achtergronden bij elkaar hebben. 632 Marianne: En gezamenlijk toewerken naar een begrip. 633 Marianne: Wat betekent non-discriminatie bij algoritmes. 634 Marianne: En hoe kunnen we dat structureren. 635 Marianne: Ja, nu gaan we ook echt naar iedereen toe. 636 Marianne: En zeggen oké, help ons, wij hebben een start gemaakt, wij hebben de eerste basis neergezet. 637 Marianne: Help ons nu met het verder aanscherpen, dit in de praktijk gaan brengen. 638 Marianne: We hopen op termijn ook, er is interesse ook vanuit meer Europees en internationaal niveau, wat we hier in Nederland aan het doen zijn. 639 Marianne: Dus ja, mocht dat hier goed gaan uitpakken in de praktijk, moeten we het nog gaan zien, dan hoop ik ook echt dat we hiermee bredere impact kunnen maken naast alleen in Nederland. 640 Joop Snijder: Heel mooi. 641 Joop Snijder: Het is eigenlijk de oproep is, je zet hem ze direct uit deze podcast en dan download je meteen deze set van afspraken. 642 Marianne: En dan vooral denk ik daarna. 643 Marianne: Blijf goed nadenken wanneer je met AI aan de slag gaat, zowel wanneer je het ontwikkelt als wanneer je het gebruikt. 644 Marianne: Wat doe ik met deze uitkomsten? Marianne: Wat stop ik in en welke informatie heb ik nodig om een goede keuze te maken. Joop Snijder: Superfijn dat je dit wilde komen vertellen. Joop Snijder: Dankjewel daarvoor. Marianne: Ja, leuk om hier te zijn. Joop Snijder: Leuk dat jullie weer luisterden naar deze aflevering, zoals gezegd, je hebt invloed, dus oefen die uit, zou ik zeggen. Joop Snijder: En vergeet je ook niet te abonneren via je favoriete podcast app, dan mis je geen aflevering tot de volgende keer. Joop Snijder: En vergeet je ook niet te abonneren via je favoriete podcast app, dan mis je geen aflevering tot de volgende keer.