Het Algoritmeregister begrijpelijk maken voor iedereen

[Muziek] Hoi welkom bij een nieuwe aflevering van de AIToday Live. Leuk dat je luistert. We zitten vandaag met Roos Labberton-Groeneveld. Mijn naam is Joop Snijder, CTO bij Aigency. En mijn naam Niels Naglé, Chapter Lead Data & AI bij Info Support. Het leuke is dat wij vandaag een UX expert hebben als gast, deel 2. We hebben al een eerderdeel besproken met Roos, dus als je die nog niet geluisterd hebt, doe dat absoluut. Dan heb je een goede inleiding voor deze aflevering. We hebben Roos uitgenodigd, omdat zij werkt aan het algoritmeregister. Dat is natuurlijk in ons vakgebied hartstikke belangrijk. Het is niet alleen dat wij hier zakelijk door worden getroffen, maar ook persoonlijk. Dus dat is hartstikke mooi. Roos, zou jij je even kort willen voorstellen wie je bent, wat je doet? Jazeker, hoi. Ik ben Roos, ik ben UX-onderzoeker, gebruiksvriendelijkheidsspecialist. Daar ben ik al een jaar of 15 mee bezig, vanuit allerlei rollen. Daar komt informatieanalyse bij kijken, maar ook onderzoek en ook ontwerpen. En ja, dat is het eigenlijk wel. En het algoritmeregister, wat is dat? Even in het kort. Het algoritmeregister is een landelijk door de overheid georganiseerd nieuw register. Het is 21 januari 2022 live gegaan, gelanceerd door de staatssecretaris. En in dit register komen alle registers die relevant zijn voor burgers... Sorry, zei ik registers? Alle algoritmes die relevant zijn voor burgers, komen daarin te staan. En dan gaat het om de algoritmes die de overheid of de semi-overheid inzet rondom besluitvorming en andere zaken. Oh ja. En is het verplicht voor de overheid? Ja, het gaat verplicht zijn. Dus ik zit niet heel erg op dit onderwerp, maar wat ik begrijp is dat er in de loop van 2023 de overheidsorganisaties voor een groot deel dat verplicht moeten gaan aanleveren. Ja, zeker. Dat is ook goed nieuws, want we hebben natuurlijk een register, dus dat betekent dat het een soort grote database is met algoritmes. Hoe meer erin staat, hoe meer je kan gaan vergelijken en hoe meer je kan kijken van wat zijn nou kwalitatief goede algoritmeomschrijvingen en waar kan nog wat beter. Hoe meer erin staat, hoe meer waarde dat hele register gaat bieden. Snap ik. Nu hoor ik je zeggen overheid, maar als organisaties, wij bouwen algoritmes, wij helpen organisaties algoritmes bouwen. Daar is het ook heel erg belangrijk om te laten weten wat voor algoritmes je maakt en die begrijpbaar uit te kunnen leggen aan diverse doelgroepen. Kunnen die ook data kwijt bij het algoritme registeren? Ik zou verwachten op termijn wel, maar eerlijk gezegd, nee, ik ben geen beleidsmedewerker, dus ik weet niet wat daar de scope van is. maar op dit moment is het een scope heel duidelijk, het is voor overheidsorganisaties en semi-overheid. Die moeten en die gaan en die willen ook hun eigen algoritmes expliciet maken door te gaan nadenken over alle velden waaruit zo'n algoritme is opgebouwd. Dus dat zijn op dit moment een veld op 35 en die geven eigenlijk heel goed weer van wat is het doel van dit algoritme, waarom is dit nodig om het te gebruiken, hoe is de menselijke maat in zo'n algoritme, worden er toetsen gedaan op de inhoud, welke juridische grondslagen liggen eronder, dus al dat soort eigenschappen worden hierdoor expliciet gemaakt. Ja, hele belangrijke eigenschappen en allemaal goede vragen die je dan eigenlijk weer even opnieuw gaat stellen. En voor elke organisatie raad ik aan ook die vragen aan zichzelf te stellen en eigenlijk deze informatie ook zorgen dat je die beschikbaar hebt. Als het goed is heb je de meeste van deze informatie al beschikbaar, omdat je dat al verplicht bent... omdat je zelf voor bepaalde algoritmes al onderzoek moet doen, assessments moet doen. Dus een hele mooie om ook als organisatie naar te kijken welke informatie je zelf zou toe kunnen voegen... aan de informatie die je nu gebruikt voor de luisteraars. Ja, zeker. En we hebben ook heel erg een open ontwikkelen houding. Dus ook de metadata standaard, zo heeten die velden zeg maar, die zijn ook allemaal op Playo te vinden. een openbare site. Daar kan je heel makkelijk eigenlijk alles wat je nodig hebt vinden. Zoals ook die omschrijvingen. - Oh wat goed, die gaan we opnemen in de show notes. - Ja, dat is algorithmes.playo.nl. - Oké, super, dank je wel. En Roos, heb je misschien iets, want je bent een UX-expert, heb je iets wat je met ons zou kunnen delen van hoe je dit onderzoek hebt aangepakt en misschien een leuke case daaruit? Ik zat eigenlijk te denken op het wegje hierheen, van hoe leg je nou eigenlijk uit wat UX is. En toen dacht ik van, als je bijvoorbeeld met het vliegtuig gaat, en je bent met je gezin, dus je hebt thuis met z'n vieren koffers moeten pakken en een planning gemaakt van hoe kom ik op Schiphol aan. En vervolgens ga je met de goede papieren door de douane heen en door de controles. Dat is best wel een hectische paar uren, zeg maar. - Zelfs zeker. - Om dat allemaal in het goede moment te doen. En waar check je in en waar laat je je bagage en wat mag er mee. En heb je eigenlijk nog een flesje water in je tas. Dat hele scenario, zeg maar. En vervolgens op een gegeven moment stap je dat vliegtuig in. En kijk je links en rechts, zie je drie rijen met drie stoelen, zeg maar. Zo'n soort vliegtuig. Je zoekt je stoelnummer. En waar ik me heel erg aan stoorde de afgelopen keer in september, dat ik aan het vliegen was, is dan staat links boven de rij FED. Ik dacht echt, FED? Oké, dit herken ik, maar waarvan zeg maar? Maar ja, in je handen heb je nog je paspoort en je boarding pas, en soms heb je nog een kind bij je ofzo. Dus het is gewoon heel hectisch. En dan denk ik, dat is echt een voorbeeld van slechte UX, want FED staat voor, oh het alfabet, aan de ene kant heb je ABC, maar er staat dan in het vliegtuig CBA. En aan de andere kant staat de FVD. Dus als je alleen naar die FVD kijkt, dan denk je, ik herken het maar help, weet je wel. Ik ben in een stressvolle situatie. - Dan zitten mensen achter je te druk, want die willen ook door. - Precies. - De kinderen die krijgen ze nog. - Ja, dus ik denk dat het doel van UX is echt van, zorg dat ik niet aan het denken word gezet. En die vraag is eigenlijk mijn dagelijkse motto, is hoe kunnen we dit stukje proces in een situatie die soms gewoon al stressvol genoeg is voor bijvoorbeeld een burger die een besluit krijgt, over iets wat negatief uitpakt. Ik zeg maar iets. Hoe kun je ook dat proces nog simpeler en eenvoudiger neerzetten? Dus als ze in zo'n vliegtuig zetten ABCDEF, dan herken je het wel. Maar nu staat er... Draai het om, want er is gewoon geen goede reden of functie... van dat je het zo gaat tonen. Behalve dat het waarschijnlijk in de computer van dat systeem zo stond. Ja, omdat het handig is eigenlijk voor degene die het in moet plannen... en niet voor degene die er uiteindelijk gebruik van maakt. Ja, je moet gewoon altijd heel erg kritisch zijn. Zorg dat je je gebruikers niet aan het denken zet. En dat is wat we ook bij het algoritmeregister... eigenlijk aan alle kanten proberen te doen. Dingen zo makkelijk mogelijk maken, maar ook zo logisch mogelijk. Waar verwacht je het? Hoe ben je het al gewend in andere applicaties? En dan vooral binnen de overheid wil je ook gewoon consistent zijn... met de andere websites die je al hebt. Ik moet gelijk weer denken aan een quote waar we het vandaag nog over hadden. die ook los van de opname is, technologie moet ondersteunend zijn aan de mens. De mens niet aan de technologie. Daar moest ik in denken toen je het voorbeeld van het vliegtuig noemde. Eigenlijk is dat het werk wat je doet, als ik het voor mezelf weer vertaal. Ja, de hele tijd weer met een frisse blik kijken van, is dit eigenlijk wel logisch? Er klopt hier iets niet, maar wat dan niet? En als je dit vertaalt naar wat je gedaan hebt voor het algoritmeregister, waar ben je daar tegen aangelopen? Nou, wat een hele leuke is dat er een van de mensen die ik in de bibliotheek aansprak, we hebben twee dagen in de bibliotheek mensen aangesproken en gevraagd van "Hey, wil je even meedenken? Wil je me vertellen wat is eigenlijk een algoritme? Als ik het aan jou vraag, weet je dat? Heb je daar een beeld bij?" En dan liet ik het scherm zien met de startpagina van het algoritmeregister. En er was iemand en die las voor "Zoek op organisatie of op titel." Titel, bedoel je dan titel van de koning? En zo'n soort opmerking maakt wel dat je denkt van, oh ja zie, verdikkie, ik ben zelf weer ingestonken met mijn eigen jargon, wat ik met mijn team hier zit te doen. Ja, er is een veld in de metadata-standaard die TITOL heet. Dus dan ga je zeggen, zoek op TITOL, want ja, TITOL is natuurlijk ook gewoon de naam. Maar het sluit gewoon niet voldoende aan bij allen. Je kan nooit bij allen, maar ja, dit is wel een makkelijke winst die je kan aanpassen. Dan heb je een betere applicatie. Is het ook aangepast? - Bijna. Hoe gaat het heten? Mag je dat al verklappen? Volgens mij hebben we gezegd zoeken op omschrijving of term of thema. Het zijn dus simpele dingen soms, maar die zijn ook nog steeds of misschien wel juist extra moeilijk. Zeker omdat je zegt, je wil er niet over nadenken. Dus moet het zo eenvoudig zijn dat je er ook niet over na hoeft te denken. Toch? - Ja. Tenminste, als gebruiker. Dit is jouw vak. Als het goed is, dan levert jou de hoofdbrekers op. Nou precies, je wilt zoveel zeggen in een kort zinnetje. Hoe vlieg je dat aan? Je kan ook denken, die zoekbalk die spreekt voor zich. Maar ja, je moet er toch wel iets mee. We hebben het nu even met name over burgers, maar burgers als doelgroep... is op zichzelfzijnde al een hele grote diverse doelgroep die je daar hebt. Gaat daar nog onderscheid in gemaakt worden over hoe mensen binnenkomen, of vragen kunnen stellen dat daar een verschil in is? Goeie vraag wel. Wij maken eigenlijk onderscheid zodra het een functie heeft. Dus als de informatiebehoefte van verschillende mensen echt verschillend is, dan proberen we die verschillende informatiebehoeftes daarin te voorzien, zeg maar. Op dit moment bleek eigenlijk dat we van al die... Ja, hebben we de wensen en de vragen van die 15 mensen die we hebben gesproken op een rij gezet. En proberen we gewoon aan al die vragen daarnaar te luisteren en daar iets mee te doen. Wat heeft geregistreerd in dat we nieuwe pagina's gaan toevoegen met overalgoritmes. Waarin we de koppeling maken naar, nou ja, de meeste mensen kennen algoritmes van het gebruiken op YouTube en Facebook. en hoe de overheid inzet is, zus en zoon. Dus dan sluit je heel erg aan bij de leefwereld, want eigenlijk iedereen kende... het gebruik, de inzet van algoritmes in social media. En de toeslagenafwerking kwam ook bijna bij iedereen terug. Maar verder kwamen mensen haast niet, met het concreet maken. Maar zulke termen ga je dan dus wel zorgen dat je die in je website terug laat komen. Ja. Jij komt niet per se uit de machine learning AI hoek, met je expertise. Ben je zelf anders tegen algoritmes aan gaan kijken, kan positief, negatief zijn, dan het beeld wat je hiervoor had? Ja, dat is een hele leuke vraag. Nou, ik haalde eerst ook algoritme wel eens door de war met, hoe heet het nou, dat wiskundige... Ik weet het al niet meer. Zo snel leer je al. Ik denk dat ik vooral positief verrast ben, want eigenlijk algoritmes... We hebben dus met het project ook best wel wat heartbeats, dus dan komen er specialisten van al die overheidsorganisaties bij elkaar. En daar hoor je heel erg de discussies die er spelen. Is het nou goed of niet dat er een algoritme besluiten neemt over jou en niet een mens, een ambtenaar ergens. ergens. Nou, bijna iedereen zal zeggen ik heb liever een ambtenaar, want een algoritme, nou dat is kil en eng en black box eigenlijk. Maar wat daar dan in zo'n discussie wel wordt benoemd is van ja, een algoritme is heel consistent. Dus de kwaliteit van de besluiten, die is veel hoger dan wat er uit een ambtenaar, ja die kan gewoon niet continu hele hoge, ja hoe zeg je dat nou? - Nou heel consequent misschien zou je, dus de mens is van zichzelf inconsequent. Misschien bedoel je dat? - Nou, dat bedoel ik ook niet per se. Maar een algoritme is gewoon veel efficiënter en altijd consistent met een besluit nemen, zeg maar. Wat natuurlijk ook een zwakte is wellicht. Dus ja, maar door algoritmes kun je wel op grote schaal heel veel besluiten maken... waarbij mensen wel gelijk worden behandeld. Ja. - Ja, ook dit is discutabel. Nee, nee, nee, maar het gaat ook over jouw beeld hè. Kijk, wat wij in een vorige podcast hebben gezien bijvoorbeeld gaat over het beoordelen van bedrijfskredieten. Wat we daar bijvoorbeeld hebben gedaan is de machine ingezet om het menselijke besluit eigenlijk te betwisten. Waarbij gezegd is van, hey, misschien keur je hier iets goed of af. Terwijl je in gelijksoortige gevallen een ander besluit hebt genomen. Kijk nog eens, of iemand anders, met een vier oogprincipe, kijk er nog eens een keer naar. Daar is het natuurlijk ook heel mooi voor in te zetten. Absoluut, ja. We denken heel snel in... Ik alles. Ja, en ook in de negatieve kant. Maar inderdaad, wat jij zegt, als je er goed over nadenkt, goede besluiten neemt, waar positioneer je de mens? waar positioneer je de machine. Die discussie is natuurlijk heel belangrijk. En wat ik me voor kan stellen is met zo'n algoritme-register, als je dat allemaal moet gaan beschrijven als organisatie, dat je driedubbel nadenkt over van, ja, wat doen we, wat hebben we gedaan, wat betekenis heeft dit? Zeker, ja. Ja, helemaal mee eens. Ja, oké. - Ja, nee, dat klopt. Heb je ook een ander beeld van, überhaupt van, een algoritme gekregen? Je zei net al iets, hiervoor dacht je het is alleen iets wiskundigs. Hoe meer je erover weet, hoe interessanter en hoe veelzijdiger het eigenlijk wordt. Dus ja, ik heb er zeker een ander beeld van gekregen. En ook aan hoeveel aspecten er dus aan zitten en waar je dus kritisch moet zijn of niet. Het blijft natuurlijk een koude computer, zeg maar, die bepaalde conclusies trekt... of een kant op stuurt. Ja, dus waar het zinvol is, is het fijn om daar natuurlijk wel een ambtenaar naar te laten kijken. Precies. Ja, wat sommigen in veel van de gevallen ook nog de wettelijke verplicht is natuurlijk, om die human in de loop te hebben en het als een ondersteuning te gebruiken, en niet geautomatiseerd tot de beslissingen te komen. Ja. Ik denk hoe meer we leren van de risico's ook, hoe meer je dingen gaat inbedden, en dan waar het kan, wil je dat aan de voorkant van het proces. Dus als je dat algoritme gaat bouwen, dat je dan al nadenkt over, is dit eigenlijk wel profilerend of niet? Willen we dit wel of niet? Nou ja, goed. Dus dat je aan de voorkant al je beleid daarop inzet. Zeker, zeker. En ik denk ook dat eigenlijk vanuit de burgers kwamen ook wel vaak de reacties van, ja, ik wil ook gewoon weten waar ik terecht kan als een algoritme slecht over mij heeft geredeneerd in mijn ogen. Dus waar kan ik terecht? Dat is een hele belangrijke geweest ook. Stel dat nou, want Nielsen die vroeg aan het begin van kan ik als commerciële partij ook aanmelden, daarvan zeg je van nou voorlopig nog even niet. Stel dat je zelf zo'n register wil gaan aanleggen, dus een luisteraar is die luisteren nu, die denken van ja maar dat is zo belangrijk, dat wil ik ook. Wat zou je als tip willen meegeven als ze zelf zo'n register voor zichzelf gaan aanleggen? Vanuit jouw UX perspectief en alles wat je hier gezien hebt. Ja, ik denk hoe ik zelf ben begonnen de eerste weken bij dit project, is ook kijken naar de registers die er al zijn. Dus SPIEK bij de gemeente Amsterdam bijvoorbeeld, of bij een van de andere registers. En kijk dus welke... Ja, sommige schrijven dus veel meer echt rechtstreeks tegen de burger aan. En sommige zijn echt wat meer technisch van aard. Dus ik denk als je een eigen register gaat starten, denk na over voor wie ga ik dit publiceren. En waar mogelijk sluit aan bij een standaard, want dan weet je ook, hoe zeg je dat, dan sluit je beter aan bij de kritische partijen zoals de maatschappelijke organisaties, die weten wel waar ze naar moeten kijken. Burgers weten welke informatie ze kunnen vinden. Mooi, ik denk dat dat een hele goede tip is. Zeker toch? Ja, altijd kijken wat er al is, want zelf het wil uitvinden is natuurlijk zonde van je energie, en je mist waarschijnlijk een heleboel kennis, want er is al heel veel over nagedacht de laatste jaren. per register van wat gaan we hoe doen. Worden degenen die het willen aanleveren, de gemeentes, worden die geholpen, weet je dat? Voor de invulling van het register? Want je zei in de vorige aflevering, er zijn iets van 35 items die je beschrijft. Ik kan me zo voorstellen dat dat best wel hulp behoeft om juist het goede te beschrijven. Ja, we zijn heel erg bezig met de aanleverende partijen, noemen we dat dan. de overheid, de organisatie die mee willen doen om die te onborden aan het hele proces. Wat we zien is dat een aantal partijen al behoorlijk veel hebben gedaan en een aantal zijn inderdaad al aan het opstarten. We hebben daar echt iemand in het team voor die nieuwe partijen begleid van welke vraag spelen er, hoe zorg je dat de verschillende mensen, verschillende rollen binnen één organisatie samenwerken aan één omschrijving. Want je hebt natuurlijk en de juristen en de technici en de mensen die het doel begrijpen. Er komen best wel vaak verschillende rollen bij samen. Wij hebben daar als project heel vaak heartbeats voor en andere meetups, zodat iedereen die geïnteresseerd is kan meeluisteren en kan kijken van "hé, waar sta ik en kan ik al aansluiten?" "Hoe krijg ik mijn organisatie mee?" Ik kijk heel graag naar heartbeats. Ja, dat is goed dat je het zegt. Dat is ook een stukje, daar ben ik dan alweer aan gewend. Toen ik hier net begon was het ook voor mij een nieuw term. Maar een heartbeat is een moment online, omdat dan gewoon de meeste mensen kunnen aansluiten. Maar soms zijn ze ook fysiek. Waarbij eigenlijk iedereen die interesse heeft in, is uitgenodigd. Dus ja, gewoon iedereen is welkom. Eigenlijk jij ook als je wilt. En waarbij een thema centraal staat, zoals dat aansluiten. - Oké. - Ja, dus we zijn ook nu... We hebben nu een webformulier gebouwd, waarmee kleine organisaties, die geen eigen register hebben bijvoorbeeld, dat ze wel makkelijk hun eigen algoritmes kunnen gaan invoeren en kunnen delen met het register, zeg maar. En daarnaast is er ook een API, zodat de partijen die een wat groter eigen algoritme-register hebben of een beheertool, dat die dat ook makkelijk kunnen toevoegen aan het register. En zo te horen zijnde, dus al wel overheidspartijen die dus een eigen algoritme database hebben, die met een apilaag tegen het algemene algoritmeregister praten. Zijn er verschillen tussen die registers en het algemene register wat nu neergezet is? Het is niet helemaal mijn vakgebied, maar ik zit er natuurlijk wel geregeld bij. Ik denk dat er vooral velden nog niet waren, dus dat mensen voor het algoritmeregister wat er landelijk is, het algoritmes.overheid.nl register, waar ik voor werk, Daar heb je best wel uitgebreide velden voor. Dus die velden zou je dan moeten nadenken van welke vul ik hoe in, zeg maar. Zijn er verder grote verschillen? Ja, de doelgroep is dus soms anders. Dus mensen omschrijven het echt heel erg gericht op hun eigen burgers bijvoorbeeld. Van een gemeente of een waterschap. Ja, zo gauw kan ik niet specifiek anders. Ik ben al blij om te horen dat er al overheden deze eigenlijk al hebben. en dus nu via een API inderdaad gaan aanbieden voor bredere beschikbaarheid. Dus goed dat er al over nagedacht is dat die er al zijn. Ik wist namelijk niet direct van het bestaan van zo'n eentje vanuit bij mij in de buurt. Jij Joop? Algoritme registraren? Ik heb niet gekeken. Nee, ik ook niet. Dat is eigenlijk ook wel een... Ik ben er ook niet bekend mee. Nou ja, ik heb wel naar het algoritme registraren gekeken, maar ik heb niet gekeken voor mijn eigen gemeente. Dat is eigenlijk wel bijzonder. Ja, of er wel een partregister van is. De tip is dan om te kijken bij de lijst met algoritmes. Dat is het tweede tabblad in het hoofdmenu, zeg maar. Algoritmes heet dat. En daar zie je dus de lijst met alle algoritmes. En daar links van zie je een filter van. Daar kan je zoeken, kan je filteren eigenlijk op de organisatie. Ja, oké. En stel, je gemeente staat er nog niet bij. Dan zou je altijd nog even kunnen kijken of er dus ergens anders een... ...register is waar je ook al bij kan... Ja, zeker. Als je dat intypt in DuckDuckGo, dan vind je het wel. Ga ik zeker even. Wat ik zo gaaf vind, is wat we net zeiden, het is niet alleen treft in ons zakelijk. Wij werken natuurlijk ook voor overheidsinstanties en dat soort zaken, maar ook persoonlijk. Heel erg interessant om te zien, want dit zit eigenlijk in een soort van omveld rondom AI machine learning. Roos ontzettend bedankt dat je je inzichten met ons hebt gedeeld. Heel erg leuk. Ja, mooi om te zien dat ook dit soort perspectieven moeten we niet vergeten. Maar ook hoe belangrijk dit stukje werk van UX, maar ook begrijperheid waar dit gewoon een onderdeel van is, ook mee te nemen. Dus de diversiteit in personen, maar ook rollen en perspectieven is hierbij eigenlijk weer bevestigd bij mij. Hartstikke mooi. Wij zeggen echt, als je niet weet wat het probleem is, dan kan je ook niet een oplossing bouwen die iets meer waarde biedt. Dus dat is ons motto. Heel mooi. Dank je wel Roos dat je bij ons te gast was. Dank je wel. Ik vond het heel erg leuk. Hartstikke mooi. Ja dat was het ook weer. Bedankt voor het luisteren en vergeet niet te abonneren op je favoriete podcastkanaal. Duimpje omhoog bij Spotify en tot de volgende. [Muziek]