Kijkje achter de schermen van het Algoritmeregister

Hoi, leuk dat je weer luistert naar een nieuwe aflevering van de EOTD Live. Vandaag hebben we te gast Roos Labberton-Groeneveld. Leuk dat je aanwezig bent. Mijn naam is Joop Snijder, CTO bij Aigency. En mijn naam Niels Naglé, Chapter Lead Data & AI bij Info Support. Ja, leuk. Ja Roos, leuk dat je er bent. Zou je jezelf even kunnen voorstellen aan de luisteraars? Ja, zeker. Mijn naam is Roos. Ik woon in Utrecht met mijn gezin en ik ben al een jaar of 15 bezig met informatieanalyse en gebruikerservaring. En in die rol ben ik nu ook werkzaam als UX-designer en UX-researcher, oftewel gebruikerservaringsdeskundige. Ja, en misschien vragen onze kijkers zich nu af van wat doet een UX, gebruikerservaringstestkundige in deze podcast over AI? Nou, dat kan ik uitleggen, want ik had namelijk een heel interessant artikel van jou gelezen, Roos, over hoe jij gekeken hebt naar het algoritmeregister. Ik denk dat de meeste luisteraars van ons dat wel kennen, maar zou jij misschien uit kunnen leggen wat het algoritmeregister is? Ja, zeker. Het algoritmeregister is een van de drie trajecten die op dit moment worden uitgevoerd vanuit de werkbrief Digitalisering. Waarbij bij het algoritmeregister het traject het doel is om algoritmes zo goed mogelijk inzichterlijk te maken en in beeld te brengen en te verzamelen. Zodat het publiekelijk toegankelijk is. En jij als deskundige juist op het gebied van het gebruik, hebt daar naar gekeken toch? Zeker, eigenlijk is het niet alleen kijken, nou vooral niet kijken trouwens. We zijn in 21 december 2022 live gegaan met het register. En daarbij hebben we eigenlijk gezegd, we gaan nu alvast live, terwijl dat register nog heel erg in ontwikkeling is. Sterker nog, dit is de eerste versie, maar we vinden het heel belangrijk dat we dat open en transparant beschikbaar maken. Juist met het idee, ook met de boodschap, we zijn open aan het ontwikkelen en we willen dat algoritmeregister vanaf nu doorontwikkelen. En vanaf die slag ben ik gaan meekijken naar waar liggen kansen en waar liggen mooie stukken die we kunnen doorontwikkelen, of die we willen aanpassen. Dus dat is dan echt al zo vroeg mogelijk live gegaan... om de feedback cycle al een beetje op te kunnen starten? Ja, zeker om de aller verschillende gebruikers die we hebben te betrekken. En ook omdat we, net als de meeste mensen weten, je kan niet in één keer iets neerzetten wat perfect is of wat af is. En we willen ook niet waterval ontwikkelen. Dus dat je zegt van nou we werken een jaar lang aan de hele visie die we hebben voor het jaar erna ofzo. En dan zetten we een groep ontwikkelaars drie maanden aan het werk en dan is het klaar. Nee, want dan ben je gewoon niet in contact met je gebruikers. En wie zijn de gebruikers van het algoritme register? Ja, dat is een hele goede vraag. Daar begon eigenlijk ook mijn vraag en mijn werk. Hoe kunnen we nou dat algoritme register zo goed mogelijk maken? de beste versie maken van dat register. Dat doe je door de link te maken naar de gebruikers. Voor wie doe ik het eigenlijk? En omdat daar heel veel antwoorden op kwamen van wie zijn mijn gebruikers, om me heen hebben we gezegd vanuit het projectteam van we willen eigenlijk een doelgroepenanalyse. Dus wie zijn de beoogde doelgroepen voor deze applicatie? En die analyse hebben we vrij uitgebreid gedaan. En daar zijn een stuk of negen hoofddoelgroepen uitgekomen. Denk aan de burgers, maar ook aan politiek-bestuurlijke partijen, maar ook aan de toezichthouders, een groep journalisten, een groep specialisten, een groep maatschappelijk betrokken organisaties. Dat is nogal een diverse groep aanbieden. Die burger had ik natuurlijk wel bedacht. De toezichthouder ook wel, maar die anderen die zaten niet direct op mijn radar inderdaad. Nee, ik kon nog wel even doorgaan, maar ik vind dit inderdaad, dat geeft wel een beetje gevoel van. En die doelgroepen overlappen natuurlijk ook voor een deel. En waar we dan heel erg naar kijken ook is, heeft het nog zin om het verder te gaan specificeren? Of zijn het eigenlijk eenzelfde soort gebruikers die eenzelfde soort informatiebehoeften hebben? Ja, en wat ik me dan gelijk afvraag is, bij die analyse is de informatiebehoefte bekeken, maar ook hoe mensen zich die informatie kunnen consumeren. Misschien dat de ander het andere consumeert dan de ander, is dat meegenomen? Zeker, zeker. Ja, even kijken. Ja, het gaat dan bijvoorbeeld om... Als je een algoritmeomschrijving hebt, dan zit daar best wel veel metadata achter, noemen we dat. Dus verschillende velden die omschrijven wat voor algoritme wij naar kijkt. Dus wat is het doel van dat algoritme? Wat is het inzet? Wat is het juridische kader? Wat is de wettelijke grondslag? En ga zomaar 35 termen door, zeg maar. Dus dat gaat heel erg over die informatie consumeren... En daarover zijn we heel erg nu aan het kauwen van hoe kun je dat nou behapbaar maken voor die verschillende groepen. En dat is eigenlijk gekoppeld aan wie zijn dan je doelgroepen vervolgens weer. En je kan het heel erg plat slaan door te zeggen je hebt burgers aan de ene kant, die praten niet zo technisch. En je hebt een specialist aan de andere kant en die weten waar ze het over hebben, zeg maar. Ja. Heel plat is dat. Nou, en ik was vooral getriggerd door jouw onderzoek juist bij die burgers. Dus ik denk dat de specialisten weten wel redelijk hun weg te vinden. Die kunnen misschien ook omgaan met wat moeilijkere termen. Je had een onderzoek, twee keer een gebruikersonderzoek gedaan met burgers, toch? Ja, zeker. Dat was in een fase van het onderzoek doen eigenlijk, waarin je je empathize, Je gaat je inleven in je gebruikers. Dus je wilt eigenlijk alles weten over een specifieke doelgroep. Dus uit die negen doelgroepen die ik net een soort van opzwomde, daarvan zeiden we van nou de burger, daar willen we mee beginnen. We hebben ook een aantal die we heel snel daarna willen. Dus maatschappelijke organisaties en de toezichthouder. Maar die burger, dat was er eentje waarvan we zeiden van nee, je moet in elk geval voor een burger een gebruiksvriendelijke duidelijke website hebben. Dus die moet aansluiten bij je burger. En dan ga je, als je gaat inleven in je gebruiker, dan ga je dus heel erg kijken naar welke behoeften heeft hij of zij, welke vragen heeft hij, wat is het kennisniveau. Even kijken, ja, hoe kan ik, ja, dus eigenlijk van wat speelt er bij die gebruiker, welk probleem zit daar, of welke vraag, zodat je kan aansluiten met je applicatie. En dan kan je dus gaan aanpassen daarnaar. En hoe ben je aan de burgers gekomen? Ja, daar hebben we over nagedacht. Wat is nou een goede locatie om mensen te gaan opzoeken? Je kan het heel groot aanpakken met een respondentenbureau en een groot UX-onderzoek opzetten, zeg maar. Dat kost heel veel tijd en heel veel geld, denk ik ook. En wij hebben gezegd van, nou, we willen eigenlijk gewoon informatie ophalen, want we weten nog heel weinig over de burger in relatie tot het algoritmeregister. Dus we gaan dat heel erg kwalitatief onderzoek doen. Dus dat is gewoon naar de mensen toe en daar naar ze luisteren. Vertel, wat weet jij over algoritmes? Weet jij eigenlijk wel wat een algoritme is? - Ja, en wat was het antwoord? - Nou, mensen weten dat lang niet altijd. En als ze het weten, zeggen ze ja, wat YouTube doet. En dat is eigenlijk wat iedereen ongeveer zegt. Dus ja, Facebook, YouTube, ik zit in een kanaal of ik zit in een tunnel, zeg maar. - Oh ja. - Maar we hebben dus dat gebruiksonderzoek gedacht van we willen de burger benaderen. En ons leek de bibliotheek een goede plek, want daar komen veel mensen van allerlei soorten herkomst. Die tijd hebben vaak, ze zijn niet gehaast, zoals op een centraal station ofzo. Ja, dat is leuk. Ja, en het was winter dus we willen ook gewoon binnen zijn en niet op straat mensen aanvragen. Ja, en daar hebben we dus mensen aangesproken eigenlijk. Heb je heel even de tijd? Wat waren de reacties op dat algoritme gisteren? Tenminste op de website. Je laat ze de website bekijken toch? Ja, we doen eerst gewoon even een praatje maken met mensen. Ze zijn toch vaak een beetje zenuwachtig. Of hebben het gevoel van, je gaat mij testen. Wat is mijn kennis over algoritmes? Ja, dat is een goede. Ja, dus dan wil je echt vooral zeggen van, we testen niet jou. We interviewen niet jou. Maar we zijn heel benieuwd naar hoe jij je verhoudt tot een onderwerp. In spreektaal. Ja, eigenlijk vinden ze het dan vervolgens heel erg leuk dat er 20 minuutjes of een half uur naar iemand geluisterd wordt. En als je iemand hebt die een beetje niet zo spraakzaam is, dan vraagt dat van mij als onderzoeker juist weer heel erg de skills van hoe krijg ik diegene wel aan het praten? Ja. Dan ga je een beetje vertellen of hum, of een beetje geluidjes maken of herhalen wat ze net zeiden, zeg maar. En zo probeer je van elke burger, van elke mens die je dan spreekt, informatie in haar voren te krijgen. Je vroeg naar wat ze dan reageren op het afgesloten gisteren. We doen het dan eerst gewoon praten, van waar sta je eigenlijk, hoe digivaardig ben je? Dat probeer je dan te achterhalen als onderzoeker. Maar ook, wat is je kennis van de politiek een beetje, van algoritmes, hoe technisch ben je? maar ook hoe wereldwijs. Nee, dat zeg ik niet goed. Hoe kritisch ben je op techniek eigenlijk? Hoe bewust ben je van de gevaren en zo? Ja, dus die dingen. Dan heb je een beetje contact gemaakt met iemand die heeft van alles verteld. En dan maak je op een gegeven moment de overstap naar "Ik heb een paar schermen voor je, zou je eens willen meekijken?" En dan zeg je van "Zou je eens alles wat je denkt hardop willen meedenken?" Dat vraagt wel wat van iemand, om hardop te denken. Want ook dan weer, zeg ik niet iets doms. En moeten ze dan zeggen wat ze zien, wat ze begrijpen? Ze zien zo'n scherm. Ja, dan zeg ik, nou vertel eens, waar kijk je naar? Dan zeggen ze, nou ik zie hier heel duidelijk een zoekbalk. Wat fijn is dat? Bijvoorbeeld. Of, ja ik vind het heel overzichtelijk, er staat niet heel veel. Ja, je laat ze echt hard op denken eigenlijk. En als ze dan niet echt iets zeggen, zeg je nou, vertel eens wat zie je. Wat me wel lastig lijkt, is omdat je de mensen heb je, nou ja, niet letterlijk van straat getrokken, maar... zij zijn op zich, ze zijn wel potentiële gebruikers, maar zijn niet misschien op dat moment per se op zoek naar een uitleg over een algoritme. Ja, daar heb je een heel goed punt, zeg maar. Dus dan heb je een, we hebben de zoekbalk en daar staat de tekst in. Waar ben je nou op zoek? En dan krijgen we dat ook wel terug van twee mensen van ja, maar ik ben niet op zoek naar iets. Dus wat een UX designer, wat vanuit mijn vakgebied zeg maar, moet je heel erg nadenken van op welk moment, uit welke situatie komt iemand in dit scherm terecht? En ja, dat is eigenlijk onderdeel van een grotere puzzel, waarbij we binnen het project bijvoorbeeld bijvoorbeeld, probeerde de verbanden te leggen naar... Eigenlijk is het scenario waarschijnlijk dat een burger... thuis een besluit krijgt van een bepaalde organisatie... en dat hij zich afvraagt of zij van... welke gegevens over mij zijn gebruikt om tot deze keuze te komen... of welke... Hoezo hebben ze mijn uitkering gekort, ik zeg maar iets. En hoe kom je dan op dat algoritmeregister terecht? Want dan heb je een hele specifieke vraag... naar die van de gemeente Rotterdam over, nou ja, ik weet niet wat. Dus die slag willen we heel graag maken, maar het gaat ook zo hard als het gaat. We hebben ook een specialist voor linked data, dus we proberen echt een link te leggen naar andere bronnen, zeg maar. Je hebt besluiten van overheid, je hebt regels met overheid. Je hebt heel veel sites, daar willen we naar linken en verbinding leggen. Ik heb echt duizenden en een vragen in mijn hoofd. We beginnen met nummer één. Waar ik benieuwd naar ben, de mensen die je geïnterviewd hebt, kwamen die ook uit een gemeente die al bijvoorbeeld in het algoritmeregister genoemd wordt? En kwamen ze die dan ook tegen? Nee, ja en nee. De gemeente Utrecht heeft zeker wel algoritmes in het algoritmeregister. Van de gemeente Den Haag, dat is erg, maar ik weet het niet uit mijn hoofd. Ik heb net gekeken, daar zit in ieder geval, nu zit daar wel wat voor. Hoeveel zijn dat er? Ik weet het niet. Oh nee, het was als nieuw toegevoegde zag ik hem staan, gemeente Den Haag. Ik had er straks nog even gekeken op het algoritmeregister. Het was niet voor het eerst trouwens hoor. - Nee, het is echt wel een goed initiatief dat het er is... en dat we daar steeds meer op kunnen vinden. - Zeker. En besef hebben van wat er al is en wat er al gebruikt wordt. Wat vaak denk ik ontbreekt ook. Ja, daar hoor ik graag na de uitzending meer over. Wat je daarvan allemaal dacht. De mensen die we aanspraken, die waren inderdaad niet op zoek. Dus die hadden ook niet zoiets van ik wil iets weten over mijn eigen gelieten. Dus daar is niet in het bijzonder op gezocht. Wat er wel bijvoorbeeld naar voren kwam, was iemand die zocht, ik wil dan weten of de belastingdienst erin staat. Dus die typt in de zoekbalk belastingdienst. Ja logisch. Ja, maar dan krijg je nul resultaten. Oh, spannend. De belastingdienst is daar wel mee bezig, ook om aan te sluiten in het algoritmeregister. Maar bijvoorbeeld de toeslagenafferen komen vanuit de dienst toeslagen. Dus dit vakgebied is ook zo dat je gaat zorgen dat dingen die voor een mens logisch zijn, Dat is een op een. Dat dat in de applicatie dan ook wordt gekoppeld aan elkaar. Dus ze stonden het ook echt in als dienst toeslagen? Ja, dat is namelijk gewoon de organisatie heet zo. O, zo ja, natuurlijk ja. De synonyme en dat soort zaken die zijn wel van belang om het gebruikersgemak daarin te vrogen. We hebben het in deze podcast ook nog wel eens over de toeslagenaffaire. Maar dan hebben we het inderdaad over de belastingdienst. Ja, inderdaad. Ja, dan weet je bij deze niet helemaal... Ja, correct. Rechtificatie. Ja, ja. Maar zo komen uit dat onderzoek dus wel heel veel communicatieve wensen. Dus ze hebben bepaalde inhoudelijke vragen die dan door de mens worden gesteld. Maar ook functionele wensen komen ervoor. Zoals die belastingdienst koppelen aan de dienst toeslagen. Ja, dat kan je dan met text bijvoorbeeld oplossen. Zo komen er wat mensen, gaven ook aan, twee mensen gaven aan van het zou mooi zijn als ik op mijn eigen regio kan zoeken. Of als ik kan kijken in mijn straat, wat speelt hier allemaal? Mooi inderdaad. Welke data wordt er gebruikt voor mijn regio? Wat voor algoritmes zitten daar weer die gebruik van maken van die data van mijn regio? Maakt je wel heel tastbaar inderdaad. Ja, en dat kan een mooie manier zijn om mensen te betrekken bij je applicatie. Zijn het allemaal AI-machine learning algoritmes die hierin genoemd worden? Nee, het zijn zelflerende algoritmes en regelgebaseerde algoritmes. Die ook? - Ja. O. - Maar ja, dus allebei die twee dingen. En combinaties daarvan. - O ja. Ja, dat maakt het natuurlijk voor mensen ook wel lastig om te begrijpen precies wat een algoritme is. Er wordt inderdaad al heel snel gedacht dat dat gaat over zelflerend. Maar ik denk dat er inderdaad een heel groot gedeelte niet zelflerend is. Klopt. En dat laat ook zien waar we als project ook nu mee bezig zijn. Wat is eigenlijk de scope? Welke type algoritmes zetten we wel en niet in het register? Gelukkig ga ik daar niet over als UX-onderzoeker. Impactvol of hebben ze invloed op een burger of is het ook voor bedrijven en semi-overheid. Dus ja, welk type algoritmes en wie zijn de bronhouder van die algoritmes? Dat soort vragen worden nu heel erg uitgepuzzeld. Ja, en er is best wel, want dit gaat natuurlijk ook over transparantie, het algoritmeregister. Welke, misschien is het duidelijke vraag waar je het antwoord niet op weet hoor, maar heb je een idee zeg maar over wat voor type transparantie we hier over hebben? Wordt het algoritme uitgelegd? Wordt er ook uitgelegd welke data er gebruikt wordt? Wordt er ook uitgelegd wat de uitkomsten zijn? Er zijn natuurlijk allerlei verschillende manieren waarop je kan zeggen, dit is transparant. Ja, dat klopt. In het projectteam zitten gewoon een boel specialisten. En er zit ook één iemand bij die echt alles weet over die metadata die geselecteerd wordt. Die metadata is ook aan verandering onderhevigd. Het wordt nog steeds bijgesteld en scherper neergezet. En velden gaan er af die toch niet zoveel toe doen bijvoorbeeld. De velden komen erbij. Transparantie zal denk ik eigenlijk voor elke gebruiker weer een andere betekenis hebben. Misschien is dat je antwoord. Maar inderdaad, elke algoritmeomschrijving heeft wel een veld voor echt van hoe wordt dit toegepast? Welke risico's zijn er hier? Is hier een mensenrechtentoets gedaan of niet? Wat is de wettelijke grondslag? Ja, dat zijn hele belangrijke karakteristieken, toch? Ja, welke data wordt gebruikt is zeker ook één van de bronnen. Ja, mooi. En ook waar de data dan vandaan komt? Ja, daar is ruimte voor om dat in te vullen. Maar wat dat betreft zie je ook wel dat het nog een heel erg algoritme, register... Of ja, hoe zeg je dat, dat veel van de omschrijvingen zijn ook nog echt in ontwikkeling... en niet alle velden zijn allemaal ingevuld, bijvoorbeeld. Nee, maar je moet ergens beginnen. - Ja. Ja. Ja, mooi initiatief. - Ja, zeker. Ik denk heel erg belangrijk dat die goed gevuld wordt... en dat die niet beperkt blijft met wie je hem gaat vullen... maar dat het eigenlijk belangrijk is dat er gewoon eigenlijk heel veel zaken... die de maatschappijen raken, erin komen te staan. Ja, inderdaad. En ook de vulling moet gewoon echt nog op mogen. We hebben nu 109 algoritmes en dat moet echt een heel stuk meer worden, zodat het nog meer meerwaarde gaat bieden. En wat misschien ook wel leuk is, is dat een aantal van de burgers die ik sprak, zeiden ook van, ja, ik wil niet per se als burger dat algoritmeregister gaan onderzoeken en gaan testen, want wat weet ik er nou van? Ik wil juist dat specialistische organisaties namens mij kritisch kijken naar maar hoe zit het met die transparantie? Je kan zeggen, daar ligt een rol voor de journalisten en voor de maatschappelijke organisaties... om namens de burger, zeg maar, heel kritisch te kijken... en dingen te kunnen vergelijken en aan de kaak te kunnen stellen. Dus dat is een mooie soort van secondaire bron. En stel, ik ben als burger, ik ga naar het register... en ik zie een algoritme die mij raakt, in welke hoedanigheid dan ook. Staat dan ook bij met wie ik contact op kan nemen... Als je ergens niet mee eens bent of misschien uitgesloten wil worden of een actie wil ondernemen. Ja, dat is leuk dat je het zegt met dat uitgesloten worden. Maar eerst wil ik antwoord geven op je vraag. Ja, bij elk algoritme staat wie de eigenaar is van dat algoritme, maar ook waar het algoritme vandaan komt, dus de producent van het algoritme. Dat is natuurlijk een stukje informatie, we zeggen dat, ICT, software. Maar er staat ook welke afdeling. Dus je kan op die manier de route vinden waar je kan klagen. Of kan vragen. - In ieder geval vragen. Kan een loket hebben waar je terecht kan. Het hoeft niet alleen om te klagen. - Het kan ook positief zijn, toch? Ja, ik ben heel blij met mijn... Nee, dat kan ook zeker. Dat was uitsluit. - Ja, het uitsluit. Wat heel leuk was vanuit die burgers, was dat redelijk veel mensen zeiden... "Oh, groet maar gister. Oh, net zoiets als het Belmen niet registeren." Dat is echt een begrip geworden. Omdat ik denk dat het voor heel veel mensen irritant is en speelt. Dus dan denk je, nou dat ga ik gebruiken. En vervolgens word je nog steeds wel eens gebeld door bepaalde organisaties. Want er zitten allemaal natuurlijk, hoe zeg je dat, halletjes onder het gras. Als je ergens op bel op reageert, mag je weer gebeld worden enzo. Maar die koppeling naar het Belmen niet-register is wel mooi, omdat het aangeeft van die burger die wil echt op zijn eigen persoon zeg maar, invloed hebben op de besluiten die over hem worden genomen of op de algoritmes die op hem worden losgelaten. Ja, dus wat mensen verwachten, een aantal mensen die ik sprak verwachten dat je hier, je kan inloggen met je DGD en dat je dan kan zeggen Ik wil niet meer gevolgd worden door de overheid. Of ik wil niet meer dat de parkeeralgorithmes mij volgen. Ja. Ja. Aan de ene kant eigenlijk wel logisch die associatie. Ja, de ene register, andere register. Ik had het zelf niet gelegd, maar nu je het zo zegt eigenlijk. En ook wel weer logisch, want je wil enigszins invloed hebben op wat gebeurt met mijn data. En daar iets over willen kunnen zeggen, of je daar recht bij hebt of niet. Dus een tweede. Maar daar wil je wel invloed op kunnen hebben inderdaad. Ja, mooi. Ja. Nou Roos, ik denk dat we heel veel geleerd hebben over het algoritmeregister. Zeker, wat ik zo mooi vind, is dat... Wij maken bijvoorbeeld dit soort type modellen. Maar er zit heel veel omheen. En juist de transparantie is zo belangrijk. En ik denk dat dit een grote bijdrage kan leveren. Maar ook hier weer, wat jij doet, een heel belangrijk onderzoek van hoe is het gebruik daarvan? En kunnen mensen ook daadwerkelijk wat je aanbiedt, kunnen ze dat ook vinden, begrijpen, benutten? Mooi inzicht. - Ja, zeker weten. Dank je wel. - Ja, graag gedaan. Leuk dat je weer luisterde naar een aflevering van EETD Live. Dankjewel Roos dat je te gast was bij ons. Mis geen aflevering. Abonneer je via je favoriete podcast app. En tot de volgende keer. TV Gelderland 2021