De rol van AI in de publieke sector: een praktijkverhaal met Maranke Wieringa

In deze aflevering hoor je Maranke Wieringa, adviseur datagedreven werken bij Parell, over de uitdagingen van verantwoord AI-gebruik bij gemeenten. Met Marankes unieke combinatie van wetenschappelijk onderzoek en praktijkervaring als algoritme-expert bij gemeentes onthult Maranke de valkuilen én kansen van verantwoord AI in de publieke sector. Dus blijf luisteren! Hoi, leuk dat je weer luistert naar een nieuwe aflevering van AIToday Live Ja, Niels een nieuw seizoen. Het klinkt misschien raar, hè, want... Het is nog geen december. Het is nog geen nieuw jaar. Nou ja, wanneer dit wordt uitgezonden is het december. Maar ik zal het ook even voor de gasten uitleggen. Wij hebben zoveel afleveringen gemaakt, meer dan honderd dit jaar, dat we niet uitkomen qua nummering. Dus we zijn begonnen in seizoen zeven, zonder dat het jaarwisseling gekomen is. Maar we hebben een... Ja, ik heb een gast, daar heb ik echt al een hele tijd naar uitgekeken, Maranke Wieringa. Maranke, dank je wel dat je in onze studio wil zijn. Ja, heel graag gedaan. Oh ja, mijn naam Niels Naglé, Area Lead, Data & AI bij Info Support En Joop Snijder, CTO bij Aigency. Maranke, zou je jezelf willen voorstellen aan de luisteraars? Jazeker, ik ben Maranke Wieringa. Mijn voornaam worden zijn hen, hun en die dienst. Ik ben adviseur datagedreven werken bij Parell. En daarnaast ben ik buiten promovendus bij de Universiteit Utrecht, waar ik sinds 2018 onderzoek doe naar rekenschap rondom algoritmes in de Nederlandse gemeente. Ja, dat is een hele mond vol en daar gaan we het vandaag over hebben. Zou je nog iets kunnen vertellen over Parell? Ja, we zijn een consultancybedrijf en wij adviseren overheid, onderwijs, zorg, kritieke infrastructuur met verantwoord data en algoritmegebruik. En dat vooral naar overheidsinstanties, onderwijs? Ja, dus wij specialiseren ons in de publieke en semi-publieke sector. Dus ja, we zeggen altijd we willen maatschappelijke waarden toevoegen, dus publieke waarden creëren. En daarom richten wij ons daarop. Dus we zijn er niet om de banken nog een klein stukje rijker te maken, maar we proberen wel gewoon Nederlands een stukje verder vooruit te helpen. Ja, en kan je voorbeelden geven van gemeentes of overheidsinstanties die je al geholpen hebt? Ja, dus ik heb in het verleden bij gemeente Rotterdam bijvoorbeeld gewerkt. Maar ja, op verschillende onderzoeken en ook projecten meegeholpen bij verschillende grotere en kleinere gemeentes vooral. En dat gaat dan van een stukje WPG-implementatie. Dus hoe gaan we goed met politiegegevens om bij de BOA's? Maar het gaat ook tot... Wil je WPG even... Voor mij is dat een onbekende afkorting. Ja, dit is ook een beetje een niche. Maar dat gaat over hoe gaan we goed om met de privacy-problematiek rondom de gegevens die BOA's verzamelen. En dat gaat... BOA's hebben enerzijds een toezicht en anderzijds een handhavingspet op. En in de ene pet werken ze onder de AVG, dus de Algemene Verordening Gegevensbescherming, dus onze standaard privacy-net als het ware. En de WPG gaat dan over de opsporingsgegevens die zij ook verzamelen. Oh, ik kan me voorstellen dat daar nog wat extra bij zit ten opzichte van die AVG. Ja, precies. Dus er zit veel overlap in, maar er moeten ook wel weer andere dingen over geregeld worden. En dat typeert me ook wel. Ik ben iemand die het heel erg leuk vindt om met mijn specialisme bezig te zijn. Dus algoritmes en verantwoord en gebruik daarvan. Maar ik ben ook iemand die het gewoon heel erg leuk vindt om nieuwe dingen te doen. Dus of dat nou een privacy-vraagstuk is of ik ben op dit moment bezig met een CISO-opleiding. Gewoon omdat ik het leuk vind om met deze mensen ook beter te kunnen sparren. Ik ben veel bezig bij gemeentes, vooral gemeentes dan, om eigenlijk een nieuwe compliancy-tak zoals dat vaak gezien wordt op te zetten. Dus ik heb veel te maken met ook privacy-officers, met CISOs en ISO's. Dus informatiebeveiligingsprofessionals. En dan is het heel handig om ook die talen van die mensen goed te kunnen spreken. Zeker, zeker. Maar dat klinkt heel erg als beleid, klopt dat? Ja, ik ben echt zo'n saai beleids... We mogen niet veel Engelse termen gebruiken in deze podcast, maar governance-persoon. Dus dat is veel met sturing en hoe gaan we beleid en processen inrichten, de strategieën daaromheen, dat soort vraagstukken. Een persoonlijke vraag hoor, maar als je governance noemt binnen de organisaties, wat is dan de eerste associatie die mensen hebben? Ja, vaak een stukje papieren tijger, ben ik bang. Voor mij gaat het heel veel om processen en goed nadenken over hoe gaan we dit inrichten met elkaar. En ook borgen in onze processen en in onze werkwijzen dat de dingen goed gedaan worden zoals ze gedaan moeten worden. Maar het heeft toch wel vaak nog wel iets van een negatieve bijklank. Dus ja, daar loop je wel tegenaan. Hoe draai je dat om? Hoe maak je dit voor mensen praktisch en dat ze hier aan mee willen werken? Ja, ik denk heel veel handelingsperspectief bieden. Dus voor mij zit de lol er niet in om een papieren tijger op te leveren, maar juist die goed laten aansluiten op de werkpraktijk. En vooral de mensen daarin meenemen. Dus ook echt met de mensen om tafel. God, wat hebben jullie nou nodig? Hoe doen jullie dit nu? Hoe kunnen we dit met elkaar beter aanvliegen? Zodat de problemen waar jullie soms wel later tegenaan lopen, eigenlijk van vooraf al opgevangen worden. Ja, lijkt me een mooie. Zeker. Ik zag staan dat je algoritme-expert bent. Ja. Zo staan je functies op LinkedIn. Wat is een algoritme-expert? Het is... Deze titel kwam eigenlijk voor mij ook een beetje uit de lucht vallen. Bij een van de gemeenten waar ik aan de slag ben geweest, daar hebben ze een tweedelijnsfunctie, zoals dit in goede governance-termen. En dan moet je eigenlijk denken dat dat een soort privacy officer is, maar dan voor algoritmes. Dus eigenlijk, die helpt de operatie, dus de mensen die hier daadwerkelijk de dingen doen die we zouden moeten doen als bijvoorbeeld overheid, om het goed om te gaan met algoritmes. En dat is de term die zij daaraan hebben gekoppeld. En dat is dus eigenlijk een soort vraagbaak, maar ook een soort waar komt met, hebben we alle stappen die we met elkaar hebben afgesproken voor verantwoord gebruik? Hebben we dat goed doorlopen? Waar moeten we nog aan denken? Al dat soort dingen. Dus dan kun je ook denken aan risicoclassificaties van algoritmische systemen, aan het expertise inbrengen bij bijvoorbeeld een impact assessment, mensenrechten en algoritmes. Allemaal dat soort dingen. Oh ja. Dus het gaat echt tijdens de ontwikkeling van het algoritme, dan ben jij de vraagbaak, expert. Ja. Ja, dus dat is een rol die ik soms vervul. Dus dat is meer de operationele kant. En ik zit soms ook, en daar zit ik nu vaak veel, meer aan de beleid- en strategiekant. Er komt van alles op ons af, op algoritme- en AI-gebied. Hoe gaan we daarmee om? Hoe richten we onze organisatie zo in? Dat dat allemaal goed ingeregeld wordt, dat soort vraagstukken. Wat zie je daar ergens een rode lijn in die strategische vraagstukken die ze hebben? Zit daar daar? Bij gemeentespecifiek bedoel je? Ja. Ik denk dat er... Oh, dat is... Ik zie verschillende rode draden. Daar wordt die ingewikkeld, denk ik. Dus in mijn onderzoek beschrijf ik hoe gemeentes hier verschillend mee om kunnen gaan. En ik zie eigenlijk vier type gedrag, of omgang met algoritmische systemen. De eerste is een soort koploper, die heel snel hiermee aan de slag gaat, die heel veel kansen ziet, en tegelijkertijd, terwijl ze bezig zijn, de vangrails, zeg maar, naast de weg aan het team zijn. Terwijl je rijdt. Precies. Dus ook meteen beheersmaatregelen. Denk aan zo'n soort Loony Tunes poppetje, die nog het spoor aan het leggen is, terwijl die erop zit. Dat idee, zeg maar. Je hebt een groep, die noem ik fast fashionista's, die heel snel op de bandwagon springen, en vooral zoiets hebben van, oh ja, nee, dit is hip, en we willen hiermee aan de slag, en heel enthousiast zijn. Maar misschien wat minder die rails aan het leggen zijn, terwijl ze bezig zijn. En dan heb je een groep, die ik de kat uit de boom kijkers noem, die heel erg bewust zeggen, nee, wij zijn ietsje langzamer, en we leren heel goed van wat andere organisaties doen, waar dingen goed gaan, en waar dingen verbeterd kunnen worden. En dan is er nog een groep, en dat is denk ik de grootste groep, die eigenlijk zegt, ja, na ons de zondvloed, wij zijn hier nog bezig met data op de agenda zetten, ons niet bellen. Ja, precies. Ja, dat zijn een beetje de vier smaakjes die ik zie, en dat zijn, ja, het zijn altijd archetypes, dus het is nooit een absoluut gegeven, die zit altijd ergens op een schaal, maar dat zijn wel de vier types die je veel ziet. En ik denk dat het voor jezelf en als organisatie ook belangrijk is om te weten, welke archetype ben ik dan? Hoe kan een organisatie erachter komen, als ze dat nog zelf niet doorhebben, welke archetypes er zijn? Het grappige is dat heel veel organisaties er zelf echt al wel een gevoel bij hebben, dus ik doe deze oefening ook wel eens met organisaties, en dan laat ik een zeg maar matrix zien met, nou ja, dit is het een type, dat is het andere type, en dan zeg ik, nou, ga maar in de ruimte staan, waar sta jij? En dan zie je wel dat ze echt al daar zelf een gevoel bij hebben, dus dat is schijnbaar heel herkenbaar. Ja, mooi. Leuk, ook in de ruimte. Ja, dus je moet positie kiezen. Precies, ja. Hé, en ik probeer toch nog even naar die strategische vraagstuk, want stel, je bent die Looney Tunes, je bent die Fangrail aan het maken, wat zijn nou echt zeg maar letterlijke vragen, die ze zichzelf stellen, dat ze zeggen, hier moeten we antwoorden op zien te krijgen? Ja, dat kan echt van dingen gaan tot, het algoritmeregister is deels door gemeentes zelf ontwikkeld, en later verder uitgebreid tot wat het nu is. Dus Amsterdam heeft dat heel erg, lopen piloten, dus dat is een voorbeeld ervan. Inkoopvoorwaarden, die opgesteld moeten worden, voor algoritmische systemen, omdat heel veel gemeentes natuurlijk ook inkopen, en de meeste ontwikkelen zelf niet in huis. Het kan ook dingen zijn, zoals nadenken over bezwaarprocedures, bij beslissingen waar algoritmische systemen een rol spelen, of een governance, hoe ga je dit überhaupt inrichten met elkaar. Dus al dat soort vraagstukken passeren dan wel erin. Ja, zij hebben natuurlijk inderdaad heel veel te maken met inkopen. Ja, daar sta je dan wat minder bij stil. Ja, en wie er allemaal geraakt kunnen worden, waar het gebruikt wordt, is ook heel divers natuurlijk. Ja, het is heel contextueel. Want heb je bepaalde onder... En gemeente is natuurlijk al heel breed, maar zijn er bepaalde aspecten waar al meer AI wordt ingezet dan op andere plekken? Het is lastig. En even een soort van disclaimer, ik richt me in mijn onderzoek vooral op algoritmische systemen, dus dat is eigenlijk breder dan AI alleen. En wat ik zie is, die AI hebben ze meestal wel redelijk in de smiezen, maar de rest, zeg maar, dus ook de beslisbomen die ook automatische besluitvorming kunnen doen, dat is vaak veel lastiger om op te sporen. En traditioneel gezien wordt er meer gedaan in wat we het ruimtelijke domein noemen, dus de verkeersregelinstallaties, de stoplichten. Daar zitten vaak ook beslissystemen of zelfs AI in verwerkt. En in het sociaal domein zie je dat dat veel meer in opkomst is. Rondom, naar het sociaal domein doet bijvoorbeeld werk en inkomen gerelateerde vraagstukken, tackelen. En je merkt dat er in dat sociale domein veel meer angst en onbekendheid ook is. Ook omdat ze meer voelen van ja, we zitten hier directer op de burger. En dat is wel spannend. Ja, spannend inderdaad. Maar ik denk ook goed dat dat gevoeld wordt, want de impact is waarschijnlijk ook veel sneller voelbaar. Dus ik denk goed dat er kritisch naar gekeken wordt. Ja, absoluut. Komen er ook vanuit, ik weet niet of jij dat weet hoor, komen er ook vanuit burgers dan ook rechtstreeks naar gemeenten bezwaren, of mensen die dit spannend vinden, die dit soort dingen aangeven? Ja, ik denk niet altijd in de vorm waar je in eerste instantie aan denkt. Als je bijvoorbeeld kijkt naar WOZ-waardes, die worden ook heel veel gerekend door middel van algoritmische en soms ook AI-systemen. En daar worden er natuurlijk heel veel bezwaren in. Dus het kan al zo fundamenteel zijn als zoiets. We weten ook dat er veel vragen zijn vanuit de samenleving. En we zien ook dat gemeentes daar op verschillende manieren mee omgaan. Er zijn gemeentes die nu ethische commissies oprichten, waar bijvoorbeeld burgers in plaats kunnen nemen, of adviescommissies, of een burgerberaad. Nou ja, geef het een beetje een naam. Maar je ziet dat ze wel vaak op de een of andere manier proberen om zo'n outsider perspectief weer terug te brengen in de organisatie. Mooi. Heb je ook een voorbeeld van een algoritme of een AI-systeem waarvan je denkt van, ja, maar dit helpt zeg maar, dit helpt in de publieke ruimte. Dit is echt, het wordt heel snel, zeg maar, als we het over gemeenteoverheid hebben, gaan we het hebben over wat er niet goed gaat. Maar ik denk dat er meer goed gaat dan dat er niet goed gaat. Heb je een voorbeeld van een mooi systeem waarvan je zegt van, ja, dit hebben ze echt mooi aangepakt? Ja, sowieso. Ik ben een groot fan van stoplichten. Ik doe het heel goed. Ze zorgen voor heel weinig verkeersproblematiek. Dus dat soort dingen word ik al heel blij van. Ik denk ook dat er dingen zoals doorstroom voor fietsers, als het regent, gemeentes die aan het experimenteren zijn met systemen, die zorgen dat stoplichten voor fietsers op groen gaan als het slechter weer is. Dat je meer door kan vinden, dat je niet zeikersnat op je werk aankomt. Dat soort dingen vind ik ook wel heel charmant. Dus ja, ik denk dat er best wel goede kansen zijn op dit vlak. Mooi. En wat is volgens jou, want je bent bezig zeg maar met hoe deze systemen zo betrouwbaar mogelijk zijn, toch? Zeg ik dat goed? Ja, verantwoord en verantwoordelijk. En daar valt betrouwbaarheid natuurlijk ook deels onder. Maar wat is voor jou dan verantwoord en verantwoordelijk? Ja, het gaat eigenlijk om het hele pakket. Dus het gaat over wat gebruiken we, waarom gebruiken we dat, op wie heeft dat effect? Waarom vinden we dat proportioneel met een duur woord? Dus waarom vinden we dat dit een goed idee is, gegeven alle kansen en risico's? En hoe gaan we dan vervolgens dan ook nog goed vormgeven? Daar hoort die betrouwbaarheid bij, daar hoort een stukje fairness bij, daar hoort een stuk ethiek bij. Dus al dat soort vraagstukken zitten daar eigenlijk in verpakt. Wat het dus ook heel breed maakt. Ik zeg wel eens van, het is een beetje alsof je op, hoe heet dat, zo'n bedevaartstocht naar Rome gaat. Je weet dat je op een gegeven moment blaren gaat krijgen. Alle wegen leiden naar Rome, maar welke route kies je? Waarom en neem je blarenpleisteren mee! Dat is eigenlijk een beetje wat ik veel loop te toeteren bij organisaties. Het gaat ergens pijn doen. Ja, ergens gaat het pijn doen en dat wil je minimaliseren en daar wil je van tevoren eigenlijk zo goed mogelijk bij zijn. Ja, duidelijk. En als jij nou zelf invulling zou mogen geven aan AI-beleid voor een gemeente, we doen even een fictieve gemeente. Welke drie kernwaardes zou jij dan kiezen in het AI-beleid? Oh, dat is altijd heel lastig. En ik denk dat dat voor mij lastig is omdat het een politieke keuze is. We hebben met gemeentes te maken met een politiek-bestuurlijke organisatie. Dus we kiezen een gemeenteraad, die kiest vervolgens een college. Daar wordt een college uit gevormd en die heeft een politieke kleur. En dat maakt het in dit soort organisaties ook best wel ingewikkeld om daar zelf iets over te vinden. Ik word daar vaak ingevlogen in het ambtenarenapparaat natuurlijk. En dan heb je dat beleid gewoon uitgevoerd. En daar zitten gewoon bepaalde nadrukken die in zo'n beleid worden gegeven. Dus dat is er één. Dat duidelijk maken. Dat dit ook politieke keuzes zijn. Ik denk dat het heel erg belangrijk is om lerend vermogen in te richten in zo'n organisatie. Het zijn nog allemaal redelijk nieuwe kwesties waar we tegenaan lopen. En daar wil je ook gewoon op voor moeten sorteren. En ik denk dat de laatste een brede blik op deze systemen is. Dus niet alleen focussen op de techniek. Maar ik noem het altijd sociotechnische systemen met een duur woord. En dat betekent eigenlijk het stukje techniek en de werkpraktijken bekijken. En inderdaad de enorme waardekeuzes die je daarin maakt. En ook dat stukje politiek wat daarin zit zichtbaar maken. Dus het echt over de hele brede as benaderen. Want onze luisteraars zijn breder dan uit de publieke sector. Dit zou vertalen naar meer de zakelijke wereld. Dus dat je dit in je organisatie. Dan heb je denk ik ook dezelfde dingen te maken. Dan is het misschien niet de politieke keuze. Maar is het een beleidskeuze. Of een agenda, strategische keuze. Nou ben ik even kwijt wat je als tweede zei. Lerend. Lerend, ja. Lerend, dat triggerde mij. Want hoe zou je dat lerend vermogen. Hoe krijg je dat eigenlijk dus dan in een gemeente, in een organisatie. Hoe krijg je dit als luisteraar als je dit hoort. Waar zou je beginnen met lerend vermogen? Ik denk dat het voor een gedeelte heeft te maken met hoe je je HR processen aanvliegt. Dus daar voorziet in een stuk leren van medewerkers. Zo simpel kan het al zijn. Maar ook een soort feedback loop in je management van algoritmes en AI implementeert. Dus dat je regelmatig gaat nadenken over. Goh, zijn we nog op de goede berg? Wat hebben we nodig? Hebben we misschien klachten gekregen? Moeten we daar wat mee? Dat je dat soort structuren eigenlijk gaat aanbrengen in je organisatie. Ja. Dus weer een stukje governance. Een stukje proces. Een stukje common sense erin. Ik ben echt heel erg die saaie persoon. Ik denk dat het ook namelijk heel belangrijk is. Alleen het wordt al saai ervaren. En dat hoeft voor mij niet. Het is volgens mij juist een strategische enabler om het mogelijk te maken. Omdat je gaat bepalen wat wil je bereiken. Wat is het proces dat we nodig is. Maar wat zien we dan in de praktijk? En is dat in samenspraak met het proces wat we voor ogen hebben? Of moeten we daar aanpassingen aan gaan doen? Dus ik gun het. De strategische impact van governance. Nou ja, je zegt saai. Maar je had straks eigenlijk al een hele leuke werkvorm. Door gewoon positie te kiezen in een matrix in een ruimte. Zonder al je trucs en dat soort dingen weg te geven. Maar heb je nog zoiets leuks? Weet je waar mensen gewoon zelf heel laagdrempelig mee kunnen beginnen. Wat niet papier is. Maar dat je dat met elkaar aan het doen bent. Ja, wat ik vaak doe als demonstratie. En als soort van openbreken van deze discussie. Want algoritmes en AI wordt toch zeker in gemeente land vaak nog wel eens als een soort van magisch, moeilijk iets of zo ervaren. Mijn werkvorm die ik daarvoor vaak kies is dat ik de deelnemers een computer, en dat zijn zij zelf dan, laat programmeren om netjes een tompoes op te eten. Oh ja. En dat is één hilarisch, want we weten allemaal hoe, we hebben er hier allemaal beelden bij hoe dit gaat lopen. En dan heb je ook echt tompoes bij je? Oh, wat leuk. Wat leuk. Ik kom altijd met tompoes langs met mensen. Dus dat hebben we zeker mee. En je ziet dan dat mensen toch vaak heel veel aannames hebben met, oh ja, maar we weten toch wel hoe we bestek vasthouden. Nee, dat weten we dus niet. Nee, dat weet zo'n computer niet. Of gewoon dingen waar ze gewoon niet bij stil hebben gestaan die wel heel handig zijn om te implementeren. Dan heb je nagedacht over dat de computer misschien moet checken of deze tompoes niet overdatum is. Dat soort kwaliteitsdatacontroles die daar ook mee te maken hebben. Ik neem aan dat je ook de servetjes mee hebt, of niet? Zeker, ja, ja, ja. Het is ook netjes eten, hè. Netjes eten. Wat goed. Wij hebben, want wij zitten natuurlijk ook met dit soort vraagstukken, wij hebben een kaartspel ontwikkeld. Waarbij ook allerlei vragen rondom eventueel strategie, beleid, maar ook hele praktische zaken rondom generatieve AI gaat. En dan willen wij een kaart in jou voorleggen met een stelling erop, als dat mag. All right. All right. Je zag het, ik heb net geschud. En er is een mooie naar boven gekomen. Het valt in de categorie wetgeving en beleid. Wow. Daar zou ik iets van moeten vinden. Daarom. Ik denk dat het wel mooi passend is. En de stelling is, organisaties moeten aansprakelijk zijn voor de maatschappelijke gevolgen van hun AI gebruik. Nou, dat is helemaal in mijn straatje. Het antwoord is ja, wat mij betreft. Om? Nou ja, omdat een van de prachtige uitspraken die ik laatst tegenkwam is, you can outsource everything except accountability. En in het Nederlands, echt goed vertaald, je kan alles delegeren aan iemand en laten uitvoeren door een leverancier. Behalve de verantwoordelijkheid. En ik denk dat dat heel erg zo is. En als je ook kijkt naar hoe de AI-verordening hier nu tegenaan kijkt, ja, die zit er eigenlijk hetzelfde in. Je bent nog steeds als deployer, als uitroller van dit soort AI-systemen, ben jij verantwoordelijk voor dat gebruik. Ja. Hoe kijk jij naar die wetgeving? Ik was persoonlijk erg teleurgesteld met de vernauwing van de definitie van AI-systemen die daarin zit. Dus het was in eerste instantie, de ideeën die daarin zaten waren veel breder. Dus het ging veel meer over algoritmes in de brede zin. En je ziet dat dat nu versmalt is naar echt meer de klassieke AI-systemen. En enerzijds snap ik dat, gegeven waar ze vandaan komen met die wet. En anderzijds zie je wel dat er nu een soort wetgevend vacuüm ontstaat op die algoritmes, dus niet per se AI, die best wel grote impact kunnen hebben, maar niet per se gereguleerd worden. Ja. Dat is zeker een gat. Aan de andere kant hebben we volgens mij andere wetgeving die ook wel... Je mag niet zomaar automatische besluiten nemen als bedrijf zonder dat je daar uitleg bij hebt. Toch? Ja, klopt. En tegelijkertijd blijft dat toch nog best wel onder de radar. Ja. En voor jouw beeld dan, waar zit dat dan eigenlijk, heb ik het gevoel, dat is het gevoel dat ik krijg, dat we nu een klein stukje gekaderd hebben, maar wat is dat grote gebied wat dan ontbreekt volgens jou? Ja, ik kan wel even een voorbeeld schetsen. Dus een van de gemeentes die ik onderzocht heb in mijn onderzoek, die had een systeem wat automatisch controleerde of mensen voldeden aan hun, hier komt een heel groot scrabblewoord, hun gemeentelijke belastingsschuldsbetalingsregeling. Zo dan. Ja. Dus mensen die een gemeentelijke belastingsschuld hadden, konden daarvoor een betalingsregeling treffen als ze het niet in één keer konden betalen. En dit systeem controleerde, en het stond allemaal heel netjes uitgelegd op de website, of het bedrag wat jij had overgemaakt naar de gemeente exact overeenkomt met wat je hebt afgesproken. En als dat linksom of rechtsom afwijkt, of je nou meer hebt betaald, of één cent te weinig, of je hebt cijfers omgeleid, dan wordt je betalingsregeling automatisch stopgezet. Zo. Ja, dat is dus automatische besluitvorming in enige vorm. Met ook best wel grote consequenties. Op het moment dat je zo'n betalingsregeling nodig hebt, dan zit je financieel al niet heel lekker, zullen we zeggen. Dus dat kan best wel consequenties hebben. Maar ik heb nog geen enkele van dit soort systemen in een algoritmeregister gezien. Oh ja. En daar maak ik me toch wel zorgen over. Ja. Kan ik me wat bij voorstellen. Zou je misschien toch nog, want ik denk dat voor heel veel mensen algoritme en AI, dat is één geworden. Dat is één grote blur. Ja. Ja. Zou je net nog iets voor de luisteraar uit elkaar kunnen pulleken van waar dat verschil in zit? Ja, zeker. Dus algoritmes zijn stappenplannen die je volgt om van een gegeven uitgangspositie naar een beoogd doel te komen. En die worden uitgevoerd, zo begrijpen we dat tegenwoordig meestal, door computers. Ja, een recept eigenlijk. Een recept eigenlijk. Ja. Dus als dit, dan doe ik dat. Is al een algoritme als het ware. En AI gaat dan veel meer over het kunnen acteren op bepaalde inputs. En daaruit destilleren wat er dan als output uit moet komen. Ja. Daar zit eigenlijk meer een lerend deel in van patroonherkenning. Ja. Of dat soort zaken. Ja. Want ik denk dat dat wel, want dat is belangrijk. Daarom zeg jij ook van de AI Act gaat dan net over dat stukje AI met dat lerende deel. En niet over die stappenplannen, de recepten. Wat best wel hele complexe bomen, structuren kunnen zijn aan stappenplannen. Die ook lastig uitlegbaar kunnen zijn. Ja, absoluut. Ons hele DUO-systeem bijvoorbeeld. De studiefinanciering of het belastingssysteem. Zijn hele grote beslisbomen. En als je maar genoeg beslisbomen in elkaar propt, wordt het op een gegeven moment alsnog niemand die weet waar je uit gaat komen. Precies. Ja. En hoe kijk je er dan tegenaan? Dat dit soort algoritmes nog niet in het algoritmeregister zitten. Laat staan. Want ik kom toch nog heel even terug op wat jij daar straks zei. Dingen als politieke kleur. Dus eigenlijk de richting en misschien politieke doel die eraan zat. Die zit niet beschreven in dat algoritmeregister. Nee ja, tussen de regels door misschien een heel klein beetje. Maar er is niet een veldje met politieke kleur. Nee toch? Zo makkelijk is het natuurlijk ook niet. Dus ik ga eerst even in op de algoritmeregister. Hoe komt dat? Nou, ik denk dat het gewoon heel erg moeilijk is om alles in beeld te krijgen. En ik doe deze exercitie ook wel eens bij gemeentes. Dan begin je bijvoorbeeld bij het register van verwerkingen. Dus een AVG-register. Bij applicatieportfolio's. Maar je moet echt best wel diep in de applicatie zelf gaan graven soms. Om echt te zien wat gebeurt hier nou. En welke impact heeft dat. Dus het is niet zo makkelijk om dat allemaal boven tafel te krijgen. Dus dat is één. En voor wat betreft die politieke kleur. Bij gemeentes heeft het gewoon heel veel te maken met beleidsuitvoering. En we hebben wet en regelgeving. Dit is wat een gemeente moet doen. En dat wordt vertaald naar beleid. En dit is de richting die we willen geven. Daar wordt beleidsuitvoering. En dit is hoe we het concreet gaan aanpakken. En vervolgens wordt daar nog weer algoritmes onder gegooid. We gaan dit doen middels algoritmes. En je moet je voorstellen dat bij elke stap. Daar in die lagen heb je vertaalslagen die gemaakt worden. Keuzes die gemaakt worden om een bepaalde richting in te gaan. En een andere richting dus ook niet. En dat betekent dat je... Soms gebeurt dit gewoon. Of wordt er niet zoveel over nagedacht. Of wordt er van tevoren niet zo bij stilgestaan. Dat het later op een ander moment in een andere context misschien een hele andere keuze gemaakt kan worden. Dus daar moet je van tevoren goed bij zijn. En soms is het ook echt iets wat in een tijdsgewricht gewoon heel natuurlijk als het ware overkomt. We hebben een rechtszaak gehad over Syri een paar jaar geleden. Systeem risico indicatie. Niet de Syri op je telefoon. Nee, dat was een systeem wat gebruikt werd door samenwerkingsorganisaties. Dus de politie zat erbij, de gemeente zat erbij. Om wijken door te lichten waarin een hoger risico op fraude met bijstandsuitkeringen voorkwam. En de rechter heeft gezegd, ja de wet die hieronder ligt, die is onverbindend verklaard. Na een rechtszaak waarin NGO's ook zeiden, dus belangenorganisaties zeiden van. Nee, we moeten hier goed met elkaar nadenken over het privacy vraagstuk wat hierin zit. En dat je eigenlijk bij voorbaat verdacht verklaard wordt. Door je al door zo'n systeem heen te halen. En mijn punt was, ja, dat de mensen die hier destijds mee bezig waren met dit soort systemen. En in de maatschappij breder, zeg maar, de jaren voor die rechtszaak. Was het natuurlijk en de tendens dat fraude moest gewoon heel hard bestreden worden. Dat was het tijdsgewricht waarin we leefden. Dus dat was heel erg de bedoeling. En dat maakt soms lastig om, ja, achteraf denk je, hoe hadden we dat nou kunnen doen? Maar het was toen gewoon heel normaal, als het ware. Ja, ik snap helemaal wat je bedoelt. En als er nu, want nu moeten we denk ik vooruitkijken. Dat er zijn een aantal vraagstukken. Die liggen ook weer vanuit de politiek op tafel. Waarbij wordt gezegd, oh, daar gaan we AI voor inzetten. En een van de dingen die mij triggerde om jou hier ook uit te nodigen was. Dat vanuit de politiek werd gezegd, oh ja, we hebben met het UEV. We hebben nu mogelijk een heel groot probleem rond uitkeringen. Het blijkt niet alleen maar de waaien om te zijn. Maar misschien ook wel de WIA uitkeringen. Dat daar verkeerde uitkeringen zijn geweest. En dan wordt gezegd, dat gaan we met AI oplossen. Wat zou jij het UEV willen meegeven vanuit jouw expertise voordat ze hieraan beginnen? Volgens mij was het het UE zelf die in eerste instantie aankwam. Oh, laten we AI gebruiken. Of in elk geval, dat is in volgens een van de haag geloof ik in een van hun interne bijeenkomsten zo benoemd. En mijn advies is, doe het niet. En dat heeft met meerdere dingen te maken. Ten eerste, wat daar naar buiten gekomen is, was dat er geen alternatief proces was om de mensen die dus niet geselecteerd worden, door onterecht niet geselecteerd worden, door zo'n AI systeem, alsnog op de een of andere manier tegen het licht te houden. Dus je wil eigenlijk altijd een soort backup proces hebben, als het ware. Want een AI systeem werkt nooit 100% nauwkeurig. Dat kan niet. Dus dat. Dat is wel heel essentieel wat je nu zegt. Want ze zeggen van, hé, maar we hebben niet nauwkeurig uitkeringen, misschien toegekend, CQ uitgekeerd. En we gaan daar mogelijk een systeem tegenover zetten die ook niet nauwkeurig is. Ja, precies. En je moet dit soort systemen dus altijd testen op, ja, trainen met data. Die data, nou ja, ik zit als leidend voorwerp bij het UWV ergens in een database. Ik weet wat voor data ik daarheen stuur. Ik weet ook dat ik die formulieren echt van kan nog wel snap. Dus ik heb mijn vraagtekens bij de datakwaliteit, die daar in elk geval over mij in zit. Dus ik word er wel nerveus van. En behalve dan, doe het niet. Zouden er nog andere tips zijn voor ze? Ik denk dat je het heel goed in kan zetten als een hulpmiddel. Maar het mag zeker, wat mij betreft, niet de enige manier zijn waarop je deze mensen gaat selecteren. Gaat er echt iets mis. Dus je wil altijd een backupproces hebben. Een analoog proces of een random steekproef. Of iets waarin je zorgt dat je het risico van het werk nooit 100% nauwkeurig verder afdicht. Ja. En denk ik ook weer het hele bestuurlijke proces eromheen waar we het al over hebben gehad. Van wat nou als je je bezwaar weer wil tegen indienen. Precies. Ja. En dan moet je ook kunnen uitleggen van nou, u bent wel of niet geselecteerd door dit AI-systeem. Want we vonden 95% nauwkeurig helemaal top. Dus we hebben 2,5% die onterecht niet geselecteerd wordt, maar voor lief genomen. Ja. Dat is wel het gesprek wat je dan als organisatie zou moeten voeren, denk ik. En denk ik belangrijk het besef hebben dat het onnauwkeurig is en daar ook naar gaan acteren. Is denk ik belangrijk voor organisaties, maar ook voor bedrijven om te weten van hé, ga er niet volledig op vertrouwen. Maar regel die organisatie wat je zelf zegt en de backup daarop. Of de andere palen die nodig zijn om de kwaliteit te kunnen waarborgen. Ja, precies. Ja, ik heb ook wel rondom anonimiseringssoftware zie je dit bijvoorbeeld ook gebeuren. Dan wordt er gezegd, nou hij is 95% nauwkeurig. We halen de mensen tussenuit. En dan is het zo van, oké. Dat kan, maar dan weet je dat niet een of, maar een wanneer er op een gegeven moment in 2,5% van de gevallen in meer of mindere mate persoonsgegevens op straat liggen. Ja. Kunnen we wat van vinden. En dan moet je de discussie gaan voeren over wat is dan onze risicobereidheid als organisatie. Wat vinden we daarin verantwoord en welk risico willen we daarin lopen. Ik was nog wel nieuwsgierig. Je hebt veel te maken met algoritmen gisteren. Die is er. Daar ben ik heel blij mee. Wat zie jij van grote waarden van het algoritmeregister wat het teweeg heeft gebracht? Ik vind het heel fijn dat het gesprek hierover en het belang van verantwoord algoritmegebruik meer inzichtelijk gemaakt wordt. En dat dat gesprek breder gevoerd wordt. Dus daar ben ik heel erg blij mee. Dus dat is het positieve nieuws. Ik weet niet of je het negatieve nieuws ook wil horen. Nou, dat kom erop. Graag, ja. Waar ik een beetje bang voor ben is dat... Dat zijn twee dingen. Dus enerzijds een soort schijntransparantie. En dat heeft te maken met waar we het net ook over gehad hebben. Dat het heel erg moeilijk is om alle algoritmes in zo'n organisatie echt boven tafel te krijgen. Dus het geeft misschien voor mensen van buiten een beeld wat niet klopt. We zijn niet compleet. Het is gewoon altijd het topje van de ijsberg, als het ware. En anderzijds dat wat ik ook zie gebeuren is dat veel gemeenten kijken naar wat hebben de buren. En we copy-pasten het hele ding. En dan denk ik nou voor technische stukje als je daar exact hetzelfde settings in hebt, kan dat misschien nog wel. Maar ik had het al even laten vallen met dat sociotechnische systeem. Je gebruikt het altijd net in een andere context. Met net misschien wat andere maatregelen. En je zal daar in elk geval op dat stuk toch echt wel iets mee moeten. En als we die vertaling naar het bedrijfsleven doen. Ik ben voor het positieve gedeelte van wat je net ook noemt. Inderdaad, de nadelige kanten zijn er ook. Wat zou je bedrijven adviseren die niet verplicht zijn om zaken in AI-algoritmes op dit moment vast te leggen? Wel of niet met deze kanttekeningen van allebei de kanten? Nou, dat ligt een beetje aan de context van het bedrijf. Ik ben altijd van de nuances. Maar als je kijkt naar de AI-verordening. Als je hoog risico AI-toepassingen in jouw bedrijfscontext gebruikt. Dan zal je daar ook gaan moeten registreren. Dus dan ontkom je er niet aan. Nee, en voor degene die dus niet in die categorie vallen. Wel toevoegen? Ik denk dat het je zeker kan helpen. Ook uit een stukje strategie. Omdat je gewoon beter kan gaan anticiperen. Dan is het in een bedrijfscontext geen politieke keuze, maar wel een beleidskeuze. En je kan je voorstellen dat als jouw beleid op een gegeven moment gaat veranderen. Dat het veel makkelijker is om de spullen tegen het licht aan te houden. Als je daar al een register van hebt. Of in elk geval inzichtelijk met dit is waar ze allemaal zitten. Dan als je dan nog moet gaan lopen graven. Met inderdaad de kanttekening die je eerder maakte. Geen schijnzekerheid. Er zijn altijd nog zaken die niet in het systeem staan. Maar wat er wel in staat, daar kan je al rekening mee houden. En daarmee aan de slag te gaan. We hebben nog een vraag, specifieke onderdeel voor je. En dat is namelijk, als je zou mogen dromen. Welk AI systeem zou jij zelf willen maken of willen laten maken? En ik geef je heel even de tijd om daarover na te denken. Ik denk dat het voor mij heel erg neerkomt op het vermoe. De technologie die alles doet waar we van dromen. Geen grenzen meer, niets houdt ons nog tegen. Het leven zoals wij het altijd wilden beleven. Ik denk dat het voor mij heel erg neerkomt op het vermakkelijken van wat ik de handicap bureaucratie noem. Dus voor de lezer thuis, ik heb een zichtbare beperking en ik zit in een rolstel. En dat betekent in het dagelijks leven nogal veel regelwerk. Dus ik zou dromen van een AI systeem wat dat soort dingen voor mij wegneemt. Dus het regelen van, is iets toegankelijk, het navragen van al dat soort dingen. Dus dat ik dat niet zelf hoef te doen. Daar kan ik me alles bij voorstellen. Je zal tegen heel veel letterlijke drempels aanlopen. En hoe fijn zou het zijn als AI letterlijk drempels wegneemt. Ja, precies. Ja, prachtig. Ik had ook nog een vraag van tevoren meegenomen. En die wil ik je graag voorleggen. Stel, je mag één dag alle algoritmes in Nederland uitzetten. En dan welke maatschappelijke effecten zou je het meest benieuwd naar zijn en willen observeren? Oeh. Dat is over nagedacht. Oeh, die vind ik heel ingewikkeld. Ik denk namelijk dat ik vooral bezig ben met de totale chaos. Dus ik weet niet of ik aan onderzoek zou toekomen. Maar in theorie zou ik dan heel graag willen kijken naar... Ja, hoe... De waterbed-effecten waar we meestal niet zo bij stilstaan. En dan bedoel ik bijvoorbeeld... Deze is echt heel erg left field, kan ik me voorstellen. Dan bedoel ik bijvoorbeeld... Nou, ik heb een gehandicapte parkeerkaart. En mijn leven wordt een stuk ingewikkelder gemaakt door de scanauto's die overal zijn. En... Want dan moet ik extra parkeervergunningen aan gaan vragen. Omdat mijn gehandicapte parkeerkaart is persoonsgebonden. En tegen scanauto, kijkt naar kentekens. Dus dat zijn van die administratieve gaten die dan ontstaan. Doordat AI-systemen ergens ingevoerd worden en er misschien wat minder nagedacht wordt over andere mensen. Dus ik zou naar dat soort dingen benieuwd zijn. Voor wie wordt het nou makkelijker en voor wie wordt het nou moeilijker gemaakt? Oh, dat is een mooie ja. Ja, want er zullen inderdaad ook groepen zijn waarbij het makkelijker wordt. Ja, dat denk ik wel. Oh, wat goed. Was het jezelf aan te denken, Joop? Wat ben ik ook nieuwsgierig naar? Oh, ik zat zo te luisteren. Nou ja, ik denk dat inderdaad de chaos zal verschrikkelijk zijn. Ja, ik zou wel benieuwd zijn na gewoon op de werkvloer. Ik denk zeg maar dat de helft eigenlijk niet meer weet wat hij moet doen. Waar hij wezen moet. En misschien zeg maar bij de lunch wordt het weer geen meer gelegd. Gaan mensen naar huis en staan ze vast op kruising. Want je had het er al over dat sommige stoplichten al met algoritmes worden bestuurd. Dus ja, daar zou ik naar willen kijken van maar wel maar één dag hoor. Want ik denk dat de chaos wel heel groot wordt. Ik weet niet of ik één dag zou willen inderdaad. Want ik zat ook in dezelfde hoek van goh, eigenlijk zou ik dan willen weten waar gaat het nog soepel. Om te weten van hé, maar waarom gaat het daar soepel en waarom op andere vlakken gaat het minder soepel. Is dat omdat we de processen helder hebben of andere redenen om dat boventafel te krijgen? Dat zou ik heel mooi vinden. Zou je zelf last al hebben in je dagelijks werk als algoritmes zouden worden uitgezet? Oh ja, ik ben heel slecht met d's en t's. Dus mijn spellingschecker love it. Nee, dat soort dingen heb ik echt altijd nodig. En ik ben groot fan van navigatie en al dat soort dingen. Ik heb echt het navigatievermogen van een gemiddelde cavia. Dus voor de cavia liefhebbers, dan heb je een idee. Dus ik zou redelijk verloren zijn, denk ik, zonder AI toepassingen. Hé, en je doet ook nog onderzoek voor de Universiteit Utrecht. Utrecht Data School. Kan je daar nog wat over vertellen? Wat je daar doet? Ja, ik ben geaffileerd onderzoeker bij de data school. Wat betekent dat? Ja, dat betekent dat het een fancy term is. We houden contact en we publiceren af en toe wat samen. Maar het is gewoon een hele leuke groep mensen. Ik heb daar in het verleden ook echt als onderzoeker in dienst gewerkt. En onderzoek gedaan. En bijvoorbeeld, ja, hoe ziet Twitter eruit? En een week op Twitter in Nederland. Toen hadden we Twitter nog. Dat was de good times. Dus dat kun je wel bij voorstellen hoe lang dat geleden is ondertussen. En dan keken we bijvoorbeeld naar welke deelpublieken zien we daar. Nou, daar zie je echt van alles langskomen. Van Efteling-fans tot journalisten. Journalisten zijn helemaal hot op Twitter. Dus ja, dat soort onderzoeken. Ja, en hoe vertaalt zich dat naar mogelijk maatschappelijk impact? Ja, dus ik heb ook onderzoek gedaan voor hoofdredacteuren. En dan gingen we kijken naar hoe worden zij, hoe worden de traditionele media gelezen door en gebruikt door kandidaten voor de Tweede Kamerverkiezingen. En je kan je voorstellen dat dat voor hun best wel interessant is. Zeker in tijden van social media. Omdat ze ook een beetje zaten te zoeken van ja, wat is onze rol nog? Hoe verschuift dit naar andere media vormen? En daaruit volgen dan ook vervolgens weer aanbevelingen van nou ja, dit is hoe je daarmee om kan gaan. Dit is hoe je nu gebruikt wordt. Dit zou je kunnen overwegen om daarmee te doen. Dus we proberen dat ook wat te koppelen aan handelingsperspectief. Ja, mooi. Als je nou vooruit zou mogen kijken, wat zou jouw toekomstperspectief zijn voor verantwoordelijke AI in de publieke sector? Ik zou heel graag willen dat dit een thema wordt waar bestuurders zich meer tegenaan gaan bemoeien. Dus dat dit met een duur Duits woord chefsache wordt. Omdat ze eigenlijk zien dat dit gaat over het hele fundament van hoe we besturen en hoe wij onze organisaties inrichten. Dus mijn collega's zeggen wel eens van ja, met datengedreven werken, dat noemen we nu nog datengedreven werken, maar dat wordt straks gewoon werken. En dat is met algoritmes natuurlijk niet anders, want die zijn onderdeel van datengedreven werken. Dus je zal daar gewoon op voor moeten gaan sorteren. Ja. Ik heb nog een hele praktische vraag, want wij 2 december, dan is deze uitzending trouwens al geweest. Nee, ik haal nu alles door elkaar, dus net zoiets als wintertijd en zomertijd. Nee, 2 december is geweest als deze live komt. Maar 2 december hebben wij een live podcast bij Windersheim. Maar daar hebben wij dus ook de burgemeester van Zwolle in de podcast. Wat ga ik nou als een slimme vraag stellen aan hem over AI, over AI-beleid, besturen, governance, die ik van jou mag stelen? Oeh. Ik denk dat het al heel fundamenteel begint met, goh, waar gebruikt u algoritmes in uw organisatie? En ik denk dat er dan al een hele hoop met de mond vol tanden staan is. O ja. Een van de hoofdstukken in mijn proefschrift heet, maar we hebben hier toch helemaal geen algoritmes. Dus dat geeft al een beetje een beeld. O ja, is dat echt, als jij bij gemeentes komt, dat dat een veelgegeven antwoord is? Ja, in 2018, toen ik begon met dit onderzoek, moest ik echt nog gaan uitleggen wat zo'n algoritme was. Ja, nee, gebruikt het ook in uw organisatie. En je ziet dat dat nu door de tijd heen eigenlijk wat veranderd is. En tegelijkertijd een beetje hetzelfde is gebleven. Dus nu zit hij meer in een, oh, maar we hebben hier geen grote AI-systemen, moeilijke Netflix of Google Deep Learning, Blackbox, moeilijk, moeilijk. Dat hebben wij hier allemaal niet. Of het wordt meteen met een soort negatieve bijsmaak die de algoritmes de laatste tijd ook wel hebben gekregen. Naast Siri, de toeslagenaffaire, Duo, noem ze maar allemaal op, zeg maar. Ja, dat doen wij hier helemaal niet. Wij gaan gewoon netjes met de boel om, zeg maar. Dus het is nu vaak ook een beetje uit angst. Ja, een beetje defensief. Ja, cognitieve dissonantie. Ja, precies. Sorry, die moest even binnenkomen. Ja. Dank je. En wat zou je onze luisteraars als tip mee willen geven? Want die willen nu, zeg maar, natuurlijk aan de slag met wat jij ze allemaal verteld hebt over verantwoordelijk inzetten. Zowel publiek als in het bedrijfsleven. Wat zou een tip kunnen zijn om mee te beginnen? Ik denk vandaag starten. Nee, het is gewoon een enorme klus om hiermee aan de slag te gaan. En om alles inzichtelijk te krijgen. Het is gewoon niet te lang wachten. En ik denk, zeker in de publieke sector, hebben we wel eens discussie van, ja, moeten we dan gaan wachten totdat we alles weten vanuit de AI Act? Worden er nu bijvoorbeeld normen ontwikkeld? Die zijn er nog niet. Moeten we daar dan op gaan wachten? Nou ja, mijn antwoord zou zijn nee. Want het is beter om de bus schuin de goede kant op te nemen dan zeg maar te wachten tot de bus te laat is. En dan de goede bus te pakken. Het is veel makkelijker om straks bij te sturen als je al begonnen bent dan als je nog helemaal moet gaan beginnen. Want het is gewoon een enorme kluif. Nou, dat lijkt me een hele mooie concrete tip om mee af te sluiten. Dank je wel. Dank je wel dat je hier wilde zijn. Dank je wel voor je inzichten. Heel graag. We hebben weer een hoop geleerd, Niels. Ja, zeker weten. Dank je wel weer voor het luisteren. En wil je ook het kaartspel spelen? Dan kan dat dan in de link in de show notes. Daar kan je op klikken. Zo simpel is het. Geef je even adressen op en dan krijg je gratis het kaartspel thuisgestuurd. Want uiteindelijk gaat het om discussie voeren, praten met elkaar over beleid, strategie. Ik denk dat je, Maranke, dat je dat heel duidelijk hebt weergegeven vandaag. Dank je wel. Graag gedaan. En vandaag beginnen.