HBO Data Science & Zwarte lijsten

Deze aflevering is weer een bite-sized aflevering. Lekker kort. Niels en ik bespreken wat ons

is opgevallen in de nieuws. Veel plezier. Zo, zijn we weer Joop. Tijd voor een nieuwe

bite-sized aflevering. Ja toch? Weer even lekker kort, maar wel over het nieuws wat

ons is opgevallen. Wat was jou opgevallen Niels? Ja wat mij opgevallen was dat er steeds meer

hoogscholen en universiteiten starten met studies op data science en artificial intelligence. Ik

was gisteren op een conferentie met een collega waar we een stukje over data ops hebben mogen

presenteren en daar was ook in dit geval hoogschool Rotterdam aanwezig met een leuke talk over ethiek

en dat meenemen in de oplossingen bij data science en machine learning. En ook daar zijn ze bezig met

het opzetten van een studie waar ook het hele stukje responsibility en ethiek, ja dat wordt

dat wordt gewoon gemeengoed in de opleiding. Dus dat is wel heel erg goed nieuws dat dat steeds

meer in Nederland plaatsvindt. Dat is zeker goed nieuws. Ja dus ik was erg blij om dat online te

zien en ook in de presentaties ook naar voren kwam. Ja dat die diversiteit, die responsibility

en dat de studenten dus opgeleid worden, of het nou wel of niet in hun rol of vakgebied, of een

rol misschien in het begin is, om die ethische vraag te blijven stellen van god er wordt mij nu

gevraagd om een bepaald model te gaan maken. Om daar met de verschillende pattern op en perspectieven

te kunnen, de sessies te gaan organiseren. Moeten we dit willen? Zo ja hoe? Wat is de impact? Om

dat eigenlijk mee te nemen in de opleiding. Ja wat ik ook verheugend vind is dat je ook zegt dat het

een hogeschool is, HBO. Ja. Wat we natuurlijk in het verleden veel hadden zijn masterstudenten die

van universiteiten afkomen. Maar het feit zeg maar dat het nu zo belangrijk gemeengoed wordt,

dat het ook in HBO studies naar voren komt. Ja daar ben ik heel blij om weet je. Aan de ene kant

hebben we de research heel erg nodig, maar hebben we ook de praktijk nodig. De HBO's zijn iets meer

op de praktische invulling. Die combinatie is goud. Ja ja en dan pakken ze ook gelijk nog een stukje

in de studies mee over data engineering. Zodat ook dat soort zaken en hoe ga je met CI/CD en de

software kanten van. Ja echt een stap waar we in de uitvoer dat als basiskennis mee gaan krijgen

de komende jaren. Het is natuurlijk even wachten of ze ook de lichtingen eruit gaan rollen. Maar

ja als dat nu niet gebeurt dan zijn we al te laat. Eigenlijk zijn we nu al te laat, maar het is goed

dat het nu gebeurt. Ja fijn fijn. Ik weet dat ze in Den Bosch hadden ze al een opleiding hiervoor.

Ik heb ook gehoord dat Den Haag gaat starten als ik het goed heb. Rotterdam er nu bij. Wie weet

welke hogescholen er nog meer bij dit soort initiatieven aansluiten. Ja alleen maar goed

nieuws. Zeker. Heerlijk heerlijk nieuws. Echt top. En jij Joop wat is jou opgevallen in het nieuws?

Nou ik heb iets dan iets minder gezellig en leuk nieuws. Er is een brief gekomen van de

staatssecretaris van Financiën, Marnix van Rij, als ik het even uit mijn hoofd doe. Die heeft een

brief geschreven aan de Tweede Kamer na aanleiding van de rapporten die PwC heeft opgesteld. Ook weer

over de zwarte lijsten die er nu zijn bij de Belastingdienst. Mensen zijn ongewild op

zwarte lijsten gekomen. Daar was het ook niet duidelijk van dat ze erop stonden. Laat staan

hoe ze erop zijn gekomen. Met grote consequenties. En onze gast Marlies van Eck van een aantal

afleveringen geleden die postte daar ook over. Zij heeft een scriptie natuurlijk geschreven over

geautomatiseerde besluiten binnen de overheid. En zij had hier ook al vragen over gesteld.

Waarbij ze heel vaak het antwoord kreeg van de bedrijfsjuristen van de achteren. Dit is toch

maar eenvoudige machine learning. Oftewel weet je, wat kan er misgaan? En als je dan in die...

Ja, eigenlijk moeten we er niet op lachen natuurlijk. Eigenlijk moeten we erom huilen.

Maar goed, we kunnen er maar beter om lachen. Het is echt dramatisch. En dan echt waar,

op de eerste pagina van de brief. En ik ga het je gewoon letterlijk voorlezen. Dat ik het niet

verkeerd weergeef. Is, daar zegt de staatssecretaris, die zegt, voordat ik in deze brief nader inga op

de conclusies van PwC, hecht ik er aan te benadrukken dat de Belastingdienst alleen die

gegevens in zijn selectieprocessen dient te gebruiken die aan toonbaar relevant en objectief

gerechtvaardig zijn om te kunnen controleren of de fiscale wet en regelgeving op de juiste

manier is toegepast. Voor de Belastingdienst geldt hier als overheidsorganisatie een hoge norm.

Selectie kan nooit plaatsvinden op karakteristieken van de belastingbeplichtigingen die niet relevant

zijn. Wat zij gevonden hebben, ik sla een heel klein stukje over, zijn vermeldingen van nationaliteit

en handleidingen. En een daderprofiel vindt die onacceptabel en moreel verwerpelijk. Het

blijkt dus dat ze dingen hebben meegenomen als nationaliteit. Of jij wel of niet een gift hebt

gedaan aan een moskee. Er zitten allerlei data, zeg maar is er gekozen als features voor de modellen,

die gewoon een garantie zijn op discriminatie. We hebben verschillende podcasten gehad over

hoe je bias detecteert, wat je er mee moet, hoe je aan fairness komt. Luister ze terug zou ik zeggen.

Maar één van de dingen is, hier is gewoon een keuze gemaakt om te discrimineren zou ik zeggen. Dat is

bijna mijn conclusie, dat staat er niet. Maar dit is garantie. Je neemt dingen mee waarvan je weet

dat het problemen gaat opleveren. En ik blijf dan te hopen dat het onbewust onbekwaam is. En dat het

niet bewust onbekwaam is. Want anders dan zijn we wel ver van het padje. Maar blijkbaar hebben we

nog niet de gebruikersgroep aan de podcast gekozen in Sint-Joop. Dus we hebben daar nog wat werk te

doen om ook die mensen te bereiken. Dat is echt heel erg. En jij bent dan optimistischer blijkbaar

dan ik, maar ik iets minder. En ik wil je nog twee stukjes voorleggen. Dit gaat over maken van keuzes.

In onze vorige podcast zeggen we, weet je, in je ontwerp moet je heel goed nadenken waar wil je op

optimaliseren? Wat wil je ermee bereiken? Wat is je doel? Allemaal dat soort zaken. Dat kan je niet

automatiseren. Dat past in geen enkel proces. Dat heeft te maken met je cultuur en normenwaarde.

Ja, toch? Dat soort zaken. Maar goed, komen we bij de volgende twee punten. En dan laat ik het er ook

bij. Ik ben boos genoeg. Een van de conclusies is beslisregels en de handelswijze van de

Belastingdienst waren niet vastgelegd, niet gearchiveerd, niet herleidbaar en niet reproduceerbaar.

Dat is een van de redenen waar we het in onze vorige podcast over hebben gehad met MLOps,

dat dat gewoon onderdeel van je geautomatiseerd proces is. Ik bedoel, dit is bijna een keuze

om amateuristisch aan de slag te gaan. Ja, maar hoe kan je dit niet afleveren?

Onze vorige aflevering is professionaliseren van machine learning modellen met MLOps en

dan zeggen we, dit hoort er allemaal bij. Als je professioneel bezig bent met machine learning,

horen dingen erbij als herleidbaarheid, reproduceerbaarheid en dat je gewoon

de beslissingen vastlegt. Dus hier zeggen we eigenlijk, het is gewoon

onprofessioneel gedrag. Onprofessioneel uitgevoerd. Dit is gewoon niet goed omgaan met de technologie.

En dan echt de laatste. Er staat een reconstructie van de selectiegronden en motivatie binnen queries

en analyse aan de poort. Valt volgens PwC niet te maken. Toegepaste selectieregels zijn in

werking niet meer op sluitende wijze te reconstructeren. Hier zeggen ze ook eigenlijk,

er zijn besluiten genomen. We weten niet op basis waarvan. We kunnen niet herleiden welke

regels daaraan de grondslag hebben gelegen. Welke versie van de regels en of dit, zeg maar,

menselijke besluiten zijn geweest, geautomatiseerde besluiten en op basis

van welke data. Nou, dan heb je zeg maar je traceerbaarheid op alle punten niet in orde.

Ja, als we dan toch weer terugkijken naar de vorige aflevering over MLOps. Datgene wat wij

verstaan van professioneel MLOps en professionele development is dat gewoon een necessity onderdeel

van het product wat je oplevert. Zijn al die punten die hier eigenlijk ontbreken.

Ja. Ja, je zei net optimistisch, maar ja, ik ben eigenlijk een rasoptimist. Ik probeer altijd wat

positief aan te zien, maar ik word hier toch richtelijk negatief van. Ik ga de rest van het

rapport ook niet lezen. Weet je wat, ik ga hem wel lezen. Ik wil het toch weten. Maar ja,

vrolijk ga ik er niet van horen als ik het zo hoor. We zullen in ieder geval eventjes de brief

opnemen in de beschrijving van de podcast. Dan kun je dat inderdaad even nalezen dat ik dat op de

juiste manier heb voorgelezen. Ja, nog een vraag die ik dan heb. Staat hier ook in wat ze eraan

gaan veranderen? Nou, het is vooral eigenlijk inderdaad allerlei acties en maatregelen.

Een van de eerste maatregelen blijkbaar die ze genomen hebben is dit systeem uit productie,

dat die uit productie is gehaald. Maar ik ben bang zeg maar dat dit natuurlijk, weet je,

dit gaat verder dan alleen maar maatregelen nemen op het toepassen van deze technologie.

Ik bedoel, de technologie is wat mij betreft niet het probleem. Hoe zijn ze hiermee omgegaan?

Weet je, jij noemde het nog onbewuste keuzes. Ik denk welke bewuste keuzes hebben ze gemaakt?

Zeg van, nou ja, hier willen we op selecteren en daar gaan we mee aan de slag. En dat er

niemand ergens bedacht heeft van, ja, maar we zullen toch ergens uitleg moeten kunnen geven

waarom iemand op een zwarte lijst is komen te staan. Ja, dat zegt iets over de cultuur.

Nou ja, ik zat er niet in. Daar moet je eerst maar eens mee begonnen worden, toch?

Ja, we hebben het de vorige aflevering ook gezegd. Het zit zoveel in de cultuur en elkaar die vragen

stellen en elkaar kritisch de vragen durven te stellen. Inderdaad, hoe gaan we dit verantwoorden?

Wat vinden we van deze kwaliteit? Ja, dus kijk, er zitten dingen in als

een interne dialoog, dat gebruik van nationaliteit op dit soort dingen niet meer mag. Verdere

compliance in de processen, documentatie, allemaal dat soort dingen. Maar ik denk uiteindelijk dat het

gaat over mindset en toezicht. Volgens mij horen ze formeel, maar goed, dan geef ik me een beetje

op een glad ijs. Maar volgens mij hoort er formeel wel toezicht opgehouden te worden. En als dat ook

niet gebeurt, dan maakt het ook allemaal niet uit wat er gedaan wordt.

Ja, en mijn persoonlijke ervaring is in dit soort veranderingen bij data ops en ops,

waarbij cultuur een belangrijk onderdeel is, is het dus dat het stukje educatie echt een

ondergeschoven kindje is. Gewoon met elkaar de kennis opdoen van hoe moeten we hiermee omgaan?

Ja, dat wordt gewoon te weinig gedaan en er wordt ook te weinig tijd voor gepakt. Alsjeblieft,

educeren, educeren. Ja, en om even naar een wat hoger niveau te tillen, want ik wil niet bashen

op de op de belastingdienst, want dat is heel makkelijk. Dit gebeurt gewoon…

Is een voorbeeld. Ja, je loopt makkelijk in deze valkuil, dat je denkt van ja, we willen een model,

die moet dit probleem oplossen. We gaan ermee aan de slag. En je vergeet eigenlijk alle

zaken die er omheen gedaan moeten worden om dit op een goede manier en op een moreel verantwoorde

manier aan te pakken. Dus het is echt niet… Het is heel makkelijk om nu te schieten op de

belastingdienst. Zij hebben de tussen aanhalingstekens pech dat het heel zichtbaar is en

de mensen die dit treft hebben een nog veel grotere pech dat ze daar ontzettend veel last van hebben.

Maar dit gebeurt ook ongezien bij andere bedrijven, misschien net zo grote schaal of kleinere schaal.

Dus dat professionaliseren is gewoon een heel belangrijk punt. Wat ik in ieder geval mee wil

geven aan onze luisteraars, denk eraan en denk vooral niet van, ja, weet je, het model doet

het. Daar gaat het om. We hebben even wat in elkaar gesleuteld. Bij professioneel machine

learning bouwen horen al dit soort aspecten. Ja, het gaat verder dan de techniek. We moeten

even naar buiten kijken. Wat was de impact die we maken? Technisch zijn we heel blij als die af

is, maar dan is het nog niet af. Dan hebben we iets waar we de dialoog over kunnen aangaan en

vervolgens moeten we overheen itereren om dat professioneel in te kunnen zetten. We moeten nu

inderdaad die volgende stap met elkaar moeten maken om van de techniek wat dan werkt door te

gaan naar een continue ontwikkeling. Ja, en als we dan draaien naar goed nieuws, dan is het in ieder

geval dat door dit soort dingen die naar buiten komen er hopelijk ook echt een bittere noodzaak

ontstaat om dit gewoon beter aan te pakken. Ja, volgens mij hebben we dit soort verhalen ook

nodig om elkaar te zeggen van "hé, maar we willen dat niet hier hebben, want als we dit soort voorbeelden

niet hebben, dan zien we ook de verandering niet. Dus het is noodzakelijk dat we het hier wel met

elkaar over hebben zonder dat de bedoeling is om te blijven bashen inderdaad. Ja, precies.

Mooi! Dat was hem. Tot de volgende! Yo! Hoi hoi!

Tot de volgende keer!

.

.