Wat leer je in deze aflevering?
In deze aflevering van AIToday Live is Duuk Baten te gast, adviseur Responsible AI bij Surf. Duuk deelt inzichten over de rol van Surf in het Nederlandse onderwijs en onderzoek, en hoe zij werken aan IT-innovatie en -dienstverlening. Er wordt dieper ingegaan op de uitdagingen en kansen van AI in het onderwijs, inclusief een discussie over ethische vraagstukken en het belang van diversiteit en inclusiviteit bij de ontwikkeling van AI-toepassingen. Duuk licht ook een pilot toe rondom een AI-ethiek volwassenheidsmodel, ontwikkeld om onderwijsinstellingen te helpen verantwoord om te gaan met AI.
Kernbegrippen
- Volwassenheidsmodel
- Framework dat organisaties helpt hun huidige niveau van AI-ethiek in kaart te brengen en verbeteringen te identificeren.
- Bias in algoritmes
- Systematische vooroordelen in AI-systemen die bepaalde groepen oneerlijk behandelen of discrimineren.
- AI-ethiek
- Beginselen en praktijken voor verantwoorde ontwikkeling en inzet van kunstmatige intelligentie in organisaties.
- Vertrouwen in AI
- Combinatie van wettelijke naleving, technische robuustheid en ethische verantwoording van AI-systemen.
Interview: Duuk Baten
Kun je jezelf voorstellen aan onze luisteraars en uitleggen wat SURF precies doet?
Zeker, dank voor de uitnodiging. Ik ben Duuk en werk bij SURF als adviseur Responsible AI binnen ons innovatielab. SURF is een samenwerkingscoöperatie voor IT in het vervolgonderwijs, waaronder MBO, HBO, WO en onderzoeksinstellingen. We zijn een non-profit organisatie die alle publieke onderwijsinstellingen in Nederland bedient. Ons doel is om het onderzoek en onderwijs in Nederland te verbeteren door middel van IT-dienstverlening, -ontwikkeling en innovatie.
Wat voor activiteiten ontplooit SURF zoal?
De lijst van activiteiten bij SURF is echt eindeloos. We zijn bijvoorbeeld bekend van de spin-off Amsterdam Internet Exchange, de uitvinding van Eduroam en de Nationale Supercomputer Snellius in Amsterdam. Daarnaast doen we ook contractonderhandelingen met grote marktpartijen voor de onderwijssector. We zijn betrokken bij een breed scala aan IT-gerelateerde projecten die direct of indirect het onderwijs en onderzoek in Nederland ondersteunen.
Jullie hebben een rapport geschreven over AI in het onderwijs. Kun je daar wat meer over vertellen?
Zeker. In juni 2022 heb ik samen met mijn collega John Walker een rapport geschreven over de belofte van AI in het onderwijs. Een van de casussen die we bespraken was GPT-3, een taalmodel. We onderzochten wat dit zou kunnen betekenen voor het onderwijs, bijvoorbeeld voor het maken van essays of het produceren van tekst. We vroegen ons af wat de implicaties zouden zijn voor toetsing. Achteraf gezien hadden we misschien zes maanden voor kunnen lopen op iedereen als we de impact beter hadden ingeschat. Maar het zorgde er wel voor dat we, toen in november de 'AI-rollercoaster' begon, al een goed begrip hadden van waar we mee te maken hadden.
Jullie hebben een volwassenheidsmodel ontwikkeld rondom AI-ethiek. Hoe verhoudt zich dat tot het onderwijs?
We zien veel uitdagingen binnen onze sector. Een van de hoofdthema's waar we mee bezig zijn is 'publieke waarden'. Omdat onderwijs en onderzoek publieke ontwikkelingen zijn, willen we dat het IT-landschap deze waarden representeert. We hebben recent een pilot afgerond met een volwassenheidsmodel voor AI-ethiek, ontwikkeld door Joris Krijger en Tamara Thuis. We hebben dit model gebruikt in een pilot met 15 onderwijsinstellingen om te onderzoeken hoe zo'n model kan helpen bij het verantwoord omgaan met AI-ontwikkelingen. Het model helpt organisaties bij het identificeren van uitdagingen en het bepalen van de juiste stappen om AI ethisch in te zetten.
Kun je een voorbeeld geven van een activiteit die een onderwijsinstelling ontplooit naar aanleiding van het model?
We hebben de pilot net afgerond, dus concrete resultaten zijn nog beperkt. Maar wat we wel zagen is dat elke deelnemende instelling er met enthousiasme op terugkijkt. De resultaten verschillen per instelling. Eén instelling gaf aan dat het model een doorbraak was omdat ze eindelijk iemand hadden aangewezen als verantwoordelijke voor AI binnen de organisatie. Andere organisaties gaven aan dat het model hen hielp om duidelijk te maken dat verschillende afdelingen binnen de organisatie een rol te spelen hebben bij AI-ethiek. Het gaat niet alleen om een kleine werkgroep, maar om beleid, organisatiesponsoring en betrokkenheid op verschillende niveaus.
Hoe is het model opgebouwd?
Het model bestaat uit zes dimensies die noodzakelijk zijn geïdentificeerd voor het borgen van AI-ethiek op organisatieniveau. Voor elk van die zes thema's zijn er vijf niveaus van volwassenheid. Niveau één betekent dat je nog niet echt iets structureels doet, terwijl niveau vijf inhoudt dat AI-ethiek volledig geïntegreerd is in de organisatie. Het model geeft geen moreel oordeel, maar identificeert wat geregeld moet worden om AI-ethiek te borgen.
Wat zijn de grootste ethische dilemma's waar onderwijsinstellingen mee worstelen op het gebied van AI?
Er zijn veel uitdagingen. De Europese Commissie noemt onderwijs als een hoog-risicotoepassing in de AI-Act, omdat het zo'n grote rol speelt in hoe mensen hun plek in het leven vinden. Een voorbeeld is een algoritme dat iemands kans op succes voorspelt. Er zijn goede redenen om dit te willen, zoals vroegtijdig ingrijpen bij studenten die het moeilijk hebben. Maar als bepaalde groepen systematisch meer of minder kans maken, heeft dat grote impact op hun latere leven. Ook aanbevelingen voor passende opleidingen kunnen grote gevolgen hebben. Het is cruciaal om bias en vooringenomenheid in AI-systemen te adresseren, omdat deze altijd in zekere mate aanwezig zijn.
Hoe kunnen we vertrouwen bouwen tussen vrouwen en AI vanuit een feministisch perspectief?
Dit is een complexe vraag die meerdere aspecten raakt. Ten eerste is het belangrijk om te begrijpen wat vertrouwenswaardige AI inhoudt. Volgens de High-Level Expert Group on AI van de Europese Commissie zijn er drie elementen: het systeem moet zich aan de wet houden, het moet robuust zijn (betrouwbaar functioneren), en het moet ethisch zijn. Voor vrouwen specifiek is het belangrijk om de historische bias en discriminatie in data en onderzoek te erkennen. Bijvoorbeeld, veel medisch onderzoek is traditioneel op mannen gericht geweest, wat kan leiden tot minder accurate AI-systemen voor vrouwen in de gezondheidszorg. Om dit aan te pakken, is het essentieel om diverse teams samen te stellen bij de ontwikkeling en implementatie van AI-systemen. Dit zorgt ervoor dat verschillende perspectieven worden meegenomen en potentiële problemen vroeg worden geïdentificeerd. Daarnaast is het cruciaal om bewust te zijn van de data die wordt gebruikt om AI-systemen te trainen en ervoor te zorgen dat deze representatief is voor alle genders.
Wat zou een eerste stap zijn voor organisaties die met AI-ethiek aan de slag willen gaan?
Voor organisaties in een leiderschapspositie kan het volwassenheidsmodel een goede eerste stap zijn. Voor individuen binnen een organisatie is het belangrijk om ambities te stellen en de juiste omgeving te creëren waarin ongemak kan worden uitgesproken. Ethiek gaat vaak over zaken waar we het niet met elkaar over eens zijn. Betrek de juiste stakeholders bij je projecten, of dat nu klanten, gebruikers of andere belanghebbenden zijn. Zoek naar manieren om jezelf verantwoordelijk en toewijsbaar te houden. Door uit te spreken waar je voor staat, maak je jezelf aanspreekbaar op je acties.
Heeft ieder bedrijf een ethicus nodig?
Niet per se. Ethiek is iets van ons allemaal. Ethici bestuderen ethiek, maar zijn niet per definitie ethischer dan anderen. Wel denk ik dat veel organisaties baat zouden hebben bij iemand in hun strategische leiderschap die met een kritische, ethische blik kijkt naar wat de organisatie doet. Maar dit werkt alleen als de organisatie ook bereid is om daadwerkelijk veranderingen door te voeren. Het gaat er niet om één persoon aan te stellen, maar om een cultuur te creëren waarin ethische overwegingen serieus worden genomen en mensen het mandaat hebben om dingen anders te doen wanneer nodig. AIToday Live is een podcast die zich richt op de nieuwste ontwikkelingen in AI en de impact ervan op verschillende sectoren. In elke aflevering spreken hosts Niels Naglé en Joop Snijder met experts uit het veld om inzicht te krijgen in de mogelijkheden en uitdagingen van AI-technologie. Luister via je favoriete podcast app: Spotify, Apple podcasts, YouTube Music, en meer.
Over de gast
Duuk Baten verscheen als gast in 1 aflevering van AIToday Live.
Bekijk gastprofielTranscript
Leuk dat je weer luistert naar een nieuwe aflevering van AIToday Live. We hebben vandaag een speciaal gehad. Duuk Baten. Duuk is van Surf en we gaan zo direct daar alles van horen van wat hij daar doet. Maar eerst even onszelf toch. Ik ben Joop Snijder, CTO bij Aigency. En mijn naam Niels Naglé, Data & AI, Area Lead bij Info Support. Duuk, geweldig dat je hier bij ons in de studio wil zijn. Zou je jezelf eerst willen voorstellen aan onze luisteraars? Ja leuk, dank jullie wel voor de uitnodiging. Mijn naam is Duuk. Ik werk bij Surf als adviseur Responsible AI binnen ons innovatielab. En Surf, misschien dat jullie luisteraars dat niet weten, maar dat is een samenwerkingscoöperatie voor IT, voor het vervolg onderwijs, eigenlijk NBO, HBO, WO en onderzoeksinstellingen. En wie zit er daarin? Is dit commercieel? Nee, dit is alle publieke onderwijsinstellingen. Dus alle NBO-instellingen, alle HBO-instellingen en alle WO-instellingen. En dan nog wat onderzoeksinstellingen, TNO, KNMI, dat soort organisaties. En die werken eigenlijk in die soort van samenwerkingsverenigingen samen aan IT-dienstverlening en IT-ontwikkeling en innovatie. Mooi. Met welk doel? Nou ja, uiteindelijk om beter onderzoek en onderwijs te hebben in Nederland. Dus kunnen we de Nederlandse positie op dat vlak verbeteren. Oh ja. Ja, ik ken ze zelf vanuit software. Dat software gedeeld wordt en gedeeld ingekocht wordt volgens mij ook en beschikbaar wordt gesteld voor alle organisaties. Ja, de lijst van activiteiten bij Surf is echt eindeloos. Je zou ons kunnen kennen van de bekende spin-off Amsterdam Internet Exchange of de uitvinding van Eduroam of de Nationale Supercomputer Snellius in Amsterdam. Maar daar zit nog een heleboel andere dingen in. Dus inderdaad ook contractonderhandelingen met de grote marktpartijen voor de onderwijssector noemen we ook. Ja, nou en onderwijs en hejaai. Dat behoeft bijna geen introductie meer. Maar daar gebeurt wat. Ja, daar is wat aan de hand. Ik denk dat we daar al… Daar kan je al een eigen podcast serie over maken. Ja, eigenlijk toen we net een beetje alles aan het opzetten waren, gaf jij aan van… Jullie hebben toen eens gekeken naar ChatGPT-3, waarvan je zei van hey, misschien kan dat wel wat worden voor het onderwijs. Ja, als je dan terugkijkt, dan weet je het altijd eerder dan je het wist. Maar in juni 2022 heb ik samen met mijn collega John Walker een rapport over de belofte van AI in het onderwijs geschreven. En een van de casussen die we daar aanhaalden was GPT3, een taalmodel. En toen is dat ingedoken. Wat is dat dan precies? Goh, dat zou toch wel interessant kunnen zijn voor het onderwijs. Kun je eigenlijk een soort van essays mee maken. Je kan er een stukje tekst mee produceren. Wat zou dat betekenen voor toetsing? Nou, rapport gepubliceerd en verder gegaan met ons leven. En dan hier denk je, hadden we toch zes maanden voor kunnen lopen op iedereen, als we dat beter hadden doorgehad. Maar het zorgde wel voor dat we meteen toen, wat is het, in november, dit alles, ja, die soort van rollercoaster begon, een beetje gevoel hadden van waar hebben we nu mee te dealen en wat is het wel en wat is het niet. En ook de technische collega's bij SURF, die hadden dit al wel op de radar, maar die waren veel meer bezig met wat kan dit betekenen voor mooie onderzoekstoepassingen. Kan je hiermee nieuwe chemicaliën ontdekken of de toepassingen die je ook wel hoort, maar natuurlijk minder in het publieke debat naar boven komen. Ja, precies. En nu hebben jullie een framework ontwikkeld. Nee, ik zeg het verkeerd, een volwassenheidsmodel hebben jullie ontwikkeld rondom AI en vooral het ethische model. Hoe verhoudt zich dat tot het onderwijs? Nou, we hebben heel veel uitdagingen die we eigenlijk binnen onze sector zien. Een van de hoofdthema's waar we mee bezig zijn, als je ook naar de SURF website gaat, dan zie je dat de hele tijd terugkomen, is een paar woorden publieke waarden. Dus dat we eigenlijk zeggen, omdat onderwijs en onderzoek publieke ontwikkelingen zijn, wil je eigenlijk dat ook de ICT dat representeert. Dus dat het IT-landschap, maar ook de manier waar we dat organiseren, die publieke waarden, dus de waarden waarin wij zeggen van nou zo moet de maatschappij werken, rechtvaardig, autonoom, menselijk, dat die ook terugkomen in het IT-landschap van een onderwijsinstelling of van de onderwijssector. Daar zijn we een heleboel verschillende activiteiten aan het doen. En een van de dingen die we recent hebben afgerond, vorige week maandag, is een pilot met een volwassenheidsmodel voor AI-ethiek. Dat niet door ons ontwikkeld is, maar dat we eigenlijk gebruikt hebben en verder aan het bekijken zijn samen met Joris Krijger en Tamara Thuis. En Tamara was bij jullie in aflevering 23. Oh, je hebt het ook gewoon al opgezocht. Ja, aflevering 23. Hij komt in de show now. Die kun je terugluisteren. Maar dat was echt een super interessante activiteit. We zijn met iets van 15 onderwijsinstellingen aan de slag gegaan om te kijken wat zo'n model nou kan betekenen voor een onderwijsinstelling als organisatie. Want het zijn best wel gekke organisaties die op hele verschillende manieren met AI- en AI-achtige ontwikkelingen omgaan. En een grote vraag voor ons is hoe je dan ook kan zorgen dat je zo'n organisatie, die ook in grote verschillen terecht komt, dus een kleine mbo versus de Universiteit van Amsterdam, is nogal een verschil, hoe die verantwoord om kunnen gaan met dit soort nieuwe ontwikkelingen van AI. Dus zowel die van buitenaf komen, maar soms ook die ze misschien zelf willen ontwikkelen of willen inkopen. En ja, wat is daar dan belangrijk voor? En het model van Tamara en Joris, dat AI-volwassenheidsmodel, dat kon ons daarbij helpen eigenlijk in een soort van pilot vorm met die instellingen van het aankaarten van welke uitdagingen je nou moet oplossen om je organisatie op het goede pad te krijgen. Dus je hebt natuurlijk alle specifieke kleine dingetjes die je moet doen, maar als bestuurder of als directeur moet je ook een beetje weten van wat heb ik nou in totaliteit nodig straks om te zorgen dat ik er uiteindelijk niet uit kom. Ja, dat onderzoek hebben jullie gedaan op 15 verschillende organisaties om dat model toe te passen. Ja, dus die, ik zit even te denken met hoeveel we precies begonnen zijn. We zijn uiteindelijk met een, ik denk een vijftiental instellingen begonnen. Die zijn die pilot ingegaan en zijn gaan proberen dat model eigenlijk binnen hun eigen organisatie toe te passen. En met een soort van terugkerende, terugkom momenten met elkaar over gehad van waar loop je dan tegenaan, wat werkt wel, wat werkt niet. En uiteindelijk hebben we van die vijftien, hebben we er nu acht het resultaat ingeleverd. Waar wachten we nog? Waarin ze eigenlijk een eigen, nou ja, assessment hebben gedaan. Hoe staan wij in dat volwassenheidsmodel? Waar staan we nu precies? Wat hebben we wel geregeld, wat niet? Maar ook een reflectie te doen op het model zelf. Want dat is door een paar mensen ontwikkeld. En de vraag is natuurlijk, past dat net zo goed bij een bank of een overheidsinstelling of een verzekeraar of een andere business als het bij een onderwijsinstelling past? Omdat elke organisatie toch een beetje anders is. En daar komen dan weer wat leerpunten uit van, dit past met stil goed, dit is misschien iets wat we misten, wat we anders interpreteren dan de manier waarop het opgeschreven is. En zo hebben we eigenlijk een soort van mooie quid pro quo van Joris en Tamara, die helpen ons eigenlijk die transitie in. En tegelijkertijd kunnen wij met z'n allen weer terug reflecteren van, oh ja, wat werkt nou wel en niet goed aan zo'n model? En dan de openstaande vraag is dan natuurlijk, willen we daar als onderwijssector in de toekomst verder mee? Of willen we kijken of we dit over een jaar nog een keer kunnen doen? Om te kijken of we vooruitgang geboekt hebben bijvoorbeeld. Want zou je een voorbeeld kunnen noemen van een activiteit die dan zo'n opleiding ontplooit naar aanleiding van het model? Nou, ik denk dat dat misschien nog een beetje vroeg is, want we hebben letterlijk vorige week de pilot afgerond. En die pilot was wel echt een eerste aanraking met dat model. En we hebben een beetje een snelkookpan gedaan. Dus we zijn, moet ik even goed denken, begin april begonnen en nu half juni klaar. Nou, dat is voor een onderwijsinstelling een hele korte tijdslijn. Dus we wilden vooral echt even die vinger aan de pols krijgen van, zit hier nou wat in? Werkt dit? Werkt dit niet? En wat je zag is dat eigenlijk elke onderwijsinstelling die meedeed daar wel met enthousiasme op terugkijkt. En het verschilt het resultaat, dus het concrete resultaat verschilt heel erg per plek. Dus één, onze instelling kwam heel duidelijk terug met, ja, dit was voor mij echt een doorbraak. Want we hebben nu eindelijk iemand aangewezen die chef zag AI is binnen onze organisatie. En dat lukte maar niet totdat wij begonnen te zeuren van, hebben we dit al? Hebben we dat al? En aan de hand van dat model. Dus dan zie je dat dat eigenlijk echt een doorbraak is aan die kant. En andere organisaties zeggen juist, nou ja, we hebben dat al een beetje, maar dit heeft ons in staat gezet om eigenlijk ook bij de verschillende plekken in de organisatie duidelijk te maken dat zij ook een zaak te spelen. Dus het is natuurlijk niet alleen je kleine werkgroepje dat dit moet doen. Uiteindelijk, omdat het een organisatie, een realistisch organisatiemodel is, gaat het ook voor een groot deel over. Heb je bijvoorbeeld de juiste beleid dan, maar heb je ook de juiste organisatiesponsorship? Heb je hogerop in de boom mensen die ook zien dat wat jij aan het doen bent belangrijk is? Ja, precies. En het model bestaat eruit, als ik het even heel kort samen mag vatten, dat je het eerste niveau gaat over individuen. Dus individuen houden zich hiermee bezig en je eigenlijk groeit het naar dat je het organisatorisch, als het ware, helemaal geëncapsuleerd hebt in je organisatie, hoe je met AI en ethiek omgaat. Ja, dus wat zij heel mooi gedaan hebben, en dat was ook eigenlijk het aantrekkingspunt waarom we dachten vanuit SURF, gaan hier een pilot mee proberen, is in eerste instantie zes dimensies die noodzakelijk zijn geïdentificeerd aan de hand van een heel proces. Nou, dat kan je allemaal terugluisteren in aflevering 23. Maar daar komen zes dimensies uit en ze zeggen, die dimensies, daar moet je naar kijken om die AI-ethiek te borgen op organisatieniveau. Dus dit geeft geen moreel oordeel over wat goed of fout is, maar zegt gewoon puur, dit zijn dingen die je moet regelen. En voor elk van die zes thema's zijn er dan vijf niveaus waarvan vijf is, nou ja, je bent walhalla wat betreft hoe je dit kan regelen. En één is inderdaad over het algemeen iets van of je bent nog niet echt iets aan het doen of het is niet structureel. Twee is dan iets structureler, dus je hebt bijvoorbeeld wel een paar mensen die een potje geld hebben om wat te doen, maar het is nog niet embedded. Drie, dan begint het al embedded te worden. Vier, je hebt er processen voor. Vijf is dan, iedereen is erbij, iedereen doet het. Voor iedereen is het eigenlijk geen vraag meer. Nou, je kan je voorstellen, waarschijnlijk is er in de wereld nog geen organisatie die op niveau vijf zit. Maar je ziet wel binnen onze instellingen, binnen de deelnemende instellingen verschillen in die eerste lagen. En dat is soms afhankelijk van de interpretatie van zo'n dimensie. Maar het maakt wel duidelijk wat nodig is. Dus bijvoorbeeld, je kan niet denken dat je klaar bent voor AI überhaupt, maar zeker niet AI-ethiek, als je niet een structureel plekje hebt waar iemand zich de verantwoordelijkheid voert. Nou, dat kennen jullie van elk punt wat je binnen een organisatie hebt. Als er niet één groepje, één persoon is. - Van een eindverantwoordelijke. - Ja. En je hebt heel veel mensen die doen dit uit interesse en uit liefde, maar die lopen zich helemaal stuk op een gegeven moment, als je niet op tijd daar de goede ondersteuning bij hebt. Want dan ben je ofwel, dat geldt voor de enthousiastelingen en voor de critici, als je altijd degene bent die in het extreem van de normaalverdeling zit, dan ervaar je toch meer weerstand dan als je gewoon meegaat in de vaart der volkeren. - Ja, precies. - Ik was wel nieuwsgierig bij die groepen die bij elkaar kwamen om te kijken hoe we staan met het model, hoe ver zijn we. Wat voor mensen zaten daar in tafel om dat eigenlijk in te vullen, als een instelling? Bepaalde rollen? - Ja, wat een goede vraag. Dat verschilt. Ook denk ik een beetje afhankelijk van, we hebben die pijl er natuurlijk opgezet en je rijdt uit naar een gemeenschap en die bereid je. Maar je zag vooral mensen een beetje in de hoek van dan wel informatiemanagement. Die spelen ook binnen de coöperatie-service vaak een grote rol, omdat het natuurlijk heel veel gaat over de sturing van je organisatie en je applicatielandschap en je informatielandschap. Privacy officers, security officers, dus dat zijn meer de officer types, die natuurlijk verantwoordelijkheid voelen voor dit soort thema's. Maar ook daarmee worstelen dat ze niet weten of het nou echt hun aanpak is. Dus heel veel privacy officers die zijn aangesteld om te zorgen dat we de AVG volgen, die zijn niet aangesteld om elk ethisch probleem binnen de organisatie op te lossen, want dat zijn er natuurlijk een heleboel. Maar die officers voelen natuurlijk ook veel verantwoordelijkheid. En dan heb je nog de programma-manager, transitie-manager-achtige types die toevallig voor dit thema binnen de organisatie zijn aangesteld. En het grootste van dat hebben we eigenlijk in de start van de pilot gevraagd, we willen het instapniveau zo laag mogelijk houden. Dus als jij zegt ik vind het gewoon interessant en ik ga gewoon in mijn eentje dit model invullen, zijn we al heel blij. Maar we hebben eigenlijk iedereen geprobeerd te motiveren van ga eens naar je directeur IT of iets soortgelijks om in ieder geval een soort van badge of approval te krijgen van dat je dit doet en dat zij ook weten dat je ermee bezig bent en mee willen denken over wat dit dan zou kunnen betekenen voor hun activiteiten. Want uiteindelijk is dat wel de rol die je wat mee moet, omdat dat zo'n organisatieperspectief is. En dat kan je niet altijd alleen in één team in één project oplossen. Nee, nee, nee. Ik denk juist die verschillende perspectieven van SEO belangen is inderdaad. Je moet ergens beginnen. Dus dat is mooi dat je dan inderdaad een startpunt hebt. Maar daarna moeten steeds meer perspectieven, organisatiebreed, daarna gaan kijken. Wat denk ik ook de waarde is van zo'n model door hem alleen al te bespreken en in te vullen, heb je al een stukje awareness die je wint, onafhankelijk van waar je volwassheidsniveau zit. Ja, ja, precies. En wat we nu hopen te doen is eigenlijk die resultaten uit deze pilot mee te nemen. Een vorm van een rapportje, documentje, executive brief, is er geen naam voor, bij elkaar te schrijven. Waarin we zeggen van dit is het model. Dit is wat onze ervaring was. Dit zijn een paar ervaringen van jullie medewerkers. Die hebben gezien dat dit wel werkte, dat niet. En dan eigenlijk enigszins de vraag voor te leggen van is er interesse om hier verder mee te gaan en te kijken of we dit dan wel binnen verschillende organisaties, dan wel als sector zelf, gezamenlijk binnen de coöperatie bijvoorbeeld kunnen oppakken. Want je bent ook wel bereid om over sectoren heen te kijken. We pakken niet alleen onderwijs, maar ook andere sectoren om te kijken of het model daar dan opmerkt. Ja, daar. Joris en Tamara zeker. Want zij zijn uiteindelijk eigenaar van dat model. Ik heb het eigenlijk gewoon geleend. Dus alle intellectuele credits gaan compleet naar hun. Dus zij doen dit met verschillende sectoren en verschillende bereiden. SURF heeft echt die ledenstructuur, dus wij doen dit richting onze leden. En zijn dus echt aan het kijken wat daarin anders is. En één ding wat al terugkwam in deze korte pilot die we gedaan hebben, is als je bijvoorbeeld een bank hebt, die hebben natuurlijk een hele uitgebreide data science afdeling en een pipeline et cetera. Bij onderwijsinstellingen is dat anders, is dat wat gefragmenteerder. Maar is er ook bijvoorbeeld veel vaker dat men applicaties inkoopt in plaats van ze bouwt. En dat stukje inkoop, dat had nog niet helemaal zijn plek in dat model gevonden. Valt dat dan onder beleid? Valt dat onder je tooling? Waar hoort dat vraagstuk te liggen? Terwijl dat voor onderwijsinstellingen heel belangrijk is, omdat zij kopen heel veel dingen in. En op het moment dat je inkoopt, dan ben je ook met die verantwoordelijkheidsvraag bezig. Want je moet wel vertrouwen hebben in je leverancier. Maar op het moment dat jij het aanbiedt aan je studenten, dan kan je niet tegen die studenten zeggen "Ja, die jokers daar bij dat bedrijf hebben dit gebouwd, wij nemen daar geen verantwoordelijkheid voor." Tuurlijk, daar heb je als organisatie dan richting jouw gebruikers, zijn er die studenten en medewerkers een verantwoordelijkheid voor. Dus dat is een beetje zo'n spanning die dan opkomt, die dan in dat model nog niet helemaal zijn plek heeft. Nee, precies. En zou je, en misschien is het niet eens gerelateerd aan het onderzoeken, zou je een soort van top drie kunnen noemen, bedenken, van ethische dilemma's waar de onderwijsinstellingen mee worstelen op het gebied van de AI? Ja, top drie wordt lastig. Uiteindelijk zijn er heel veel uitdagingen. Je hebt nu de AI-acte die eraan komt. Daar noemt de Europese Commissie ook zelf al onderwijs als een hoog risicotoepassing, omdat het zo'n rol heeft in de manier waarop mensen in hun leven een plek vinden. Dus stel dat er een algoritme is wat jouw kans op succes voorspelt, en er zijn zat redenen om dat te willen. Je moet bijvoorbeeld ingrijpen bij een student die niet zo lekker gaat, of wil je een beter gevoel hebben voor of een opleiding het goed doet. Er zijn allemaal redenen om dit soort analyses te doen. Maar als er als gevolg daarvan bepaalde mensen systematisch meer of minder kans maken, dan heeft dat heel veel impact op hun latere leven. Als je zelf je opleiding niet afmaakt, dan probeer je maar een baan te vinden. Of stel dat je recommendations krijgt wat een passende opleiding is bij jou, dan maakt dat nog best wel wat uit. Zowel of het past of niet. En je het dus afmaakt. Dan krijg je aangeraden om Business & IT te studeren of klassieke talen. Als dat is wat je wil, dan helemaal prima. Maar het heeft wel een gevolg waar je in je latere leven wel of niet terecht kan komen. Zeker, zeker als daar een verschil in zit. Want je kan ook een te hoog advies krijgen. Net zo erg als een te laag advies. Uiteindelijk wil je een advies dat passend is. Robert Dijkgraaf heeft het er veel over, dat we daar niet anders naar moeten kijken. Dat vakmanschap ook weer gewaardeerd wordt. Dus daar zou dit soort technologie ook wel weer bij kunnen helpen. Maar de spanningen zijn gewoon heel groot. En als je weet, en die onderzoeken terugkomen, zowel met generatieve AI als met andere AI's vormen, het heeft altijd een bepaalde bias of vooringenomenheid. En daar moet je mee omgaan. En dat gaat nooit perfect kunnen. Maar er zijn een heleboel dingen die je wel kan doen om het beter in controle te houden en daar meer verantwoordelijkheid zelf voor te nemen als organisatie. Om te zorgen dat het minder vaak en minder snel fout gaat. Duidelijk. Wat je veel ziet, als we het over ethiek hebben, is dat er heel snel wordt gesproken over risico's, problemen, uitdagingen, eufemismes vliegen je om de oren. Maar er zit toch een soort van negatieve connotatie omheen. Je zit nu iets meer in die ethiek, je hebt er wat meer naar gekeken. Zijn er ook positieve effecten rondom ethische vraagstukken? Ja, zeker. Fijn dat je deze aankaart. Ik denk dat het een heel goed idee is om het over het onderwerp te gaan. Want het is een heel goed onderwerp. En het is een onderwerp waarin je het kan doen. En het is een onderwerp waarin je het kan doen. En het is een onderwerp waarin je het kan doen. En het is een onderwerp waarin je het kan doen. En het is een onderwerp waarin je het kan doen. En het is een onderwerp waarin je het kan doen. We hebben ook een virtuele co-host. Aisha. Ja, precies. Helemaal up-to-date. Ja, helemaal up-to-date. Die wil ook een vraag gaan stellen. Het is fijn om bij dit gesprek aanwezig te zijn. Ik ben Aisha. De AI van deze podcast. Mag ik je een vraag stellen? Ja, natuurlijk. Hoe bouwen we vertrouwen tussen vrouwen en AI vanuit een feministisch perspectief? Wow. Mooi. Spannende vraag. Zo, dan moet ik even... Aisha is geëngageerd. Dat is een scherpe vraag. Zal ik hem voor je herhalen? Hoe bouwen we vertrouwen tussen vrouwen en AI vanuit een feministisch perspectief? Dat is die perspectief. Ik heb hem wel scherp. Ik moet nog even bedenken wat ik hiermee ga doen. Misschien om hem even in twee stukken te splitsen. Dat stuk vertrouwen... Uit 2019, denk ik, heb je zo'n high-level expert group van AI-ethiek... die een stuk geschreven heeft voor de Europese Commissie. Dat is eigenlijk voor trustworthy AI. Dus vertrouwenswaardige AI, even vrij vertaald. 7 key requirements of trustworthy AI. Precies. En één ding wat mij altijd helpt in mijn werk is... beseffen wat ze daarin zeggen. Eigenlijk die vertrouwelijkheid komt van drie elementen. Namelijk een AI-systeem dat zich aan de wet houdt. Dat is niet alleen de AI-Act en de GDPR. We hebben natuurlijk meer wetten. Dus je moet je aan de wet houden. Een AI-systeem moet robuust zijn. Dus het moet doen waarvoor het gebouwd is op een betrouwbare manier. Dus dat je enigszins weet wat je eraan hebt. En het moet ethisch zijn. Robuust en ethisch klinkt gelijkend, maar dat is het natuurlijk niet. Want een robuust systeem kan nog steeds onethisch zijn. En een ethisch systeem dat niet robuust is, kan je ook niet op vertrouwen. Want dan is het te random, te fragiel om echt wat mee te bouwen. Dus als we dat dan even als preliminaire gebruiken, dan heb je dus dat in ieder geval nodig. Voor elk AI-systeem, of dat nou voor vrouwen is of niet. Wat je natuurlijk wel ziet is dat er zijn voor zowel mensen met kleur als vrouwen, in de geschiedenis best wel veel van die soort discriminatie en bias-achtige voorbeelden geweest. Een bekend voorbeeld is altijd dat er heel veel onderzoek is gedaan naar hartfalen bij mannen. Dat uitzicht op bepaalde manieren bij vrouwen uitzicht op een andere manier. Dat hebben we gewoon heel lang niet op de radar gehad, omdat we er eigenlijk niet echt onderzoek naar deden. Dat is natuurlijk ergens een heel duidelijk probleem, want als je namelijk niet de data verzamelt, kun je er ook niks van vinden. En dat is denk ik bij heel veel AI ook nog steeds, dat we die disbalance hebben waar datasets vandaan komen, waar we data over hebben. En de vraag is dan, hoe kan je dat dan wel beter doen? En ik denk dat dat in ieder geval twee opties voor zijn. Eentje is, dat noemen wij ook zelf in onze eigen discussiepapers, zorgen dat je de juiste omgeving creëert om die ethische vragen op te lossen. En dat betekent ook zoveel als zorgen dat de juiste mensen aan tafel zijn. En voor een onderwijsinstelling kan dat bijvoorbeeld betekenen dat je niet alleen zorgt dat je een diverser medewerkersbestand hebt, maar ook zorgt dat die ook een plek hebben in bijvoorbeeld adviesraden of stuurgroepen van projecten of in de projectgroepen zelf. Want op het moment dat mensen aan tafel zitten vanuit verschillende achtergronden, dan komen er ook ineens de juiste vragen naar boven. Je hebt van NASA zo'n bekend voorbeeld dat ze op een gegeven moment een vrouw voor pakweg een maand naar zo'n space station stuurde, en zich afvroegen hoeveel tampons ze dan mee moesten en dat er dan 200 tampons meegestuurd worden of zoiets. En dat is dan ook een soort van verantwoordelijkheid. En dat is ook een soort van verantwoordelijkheid. Wat zou een tip zijn vanuit jou en SURF? Waar zou je starten? Misschien ongeacht onderwijs, andere sectoren. Welke eerste stap zou jij aanraden? Welke eerste stap zou jij aanraden? Ik denk dat het volwassenheidsmodel een mooie eerste stap kan zijn. Als je zelf in een leiderschapspositie zit waarin je probeert een organisatie op te zetten en te runnen. Dus even van uitgaan dat je niet op zo'n plek zit waar je wat te bepalen hebt van een organisatie. Maar juist in een plek zit waar je denkt, ik moet uitvoeren of ik ben dingen aan het doen. En mijn mandaat en macht is redelijk beperkt. Dan denk ik dat je juist gewoon die ambities stellen belangrijk is. Dus waar wil je heen? De juiste omgeving voor jezelf en je collega's creëren. Waar dus ook ongemak uitgesproken kan worden. Want ethiek gaat vaak over ongemak. Gaat vaak over dingen waar we het niet met elkaar over eens zijn. Dus die polarisatie in de maatschappij draagt daar natuurlijk ook niet echt bij. Dat je kijkt of je de juiste stekel bij je projecten kan betrekken. En dat betekent soms de klanten of de gebruikers van de klanten. Maar dat kan ook zijn als je hier ineens een kerncentrale houdt. Dan wil je ook de mensen in de omgeving misschien betrekken. En dat je zoekt naar een manier waarop je jezelf verantwoordelijk/toewijsbaar houdt. Hoe kunnen andere mensen jou ook wijzen op dat je misschien iets niet zo goed hebt gedaan. Op een manier dat jij uiteindelijk... Het is natuurlijk een beetje vervelend. Maar door zo'n uitspraak te zeggen als wij zijn voor transparantie. Dan kan iemand nu zeggen, AI Aigency, jullie zeggen dat je transparant bent. Maar je bent het niet. Dus door het uit te spreken maak je jezelf toerekenbaar. Mensen kunnen naar jullie wijzen en zeggen, jullie doen niet wat je zegt. Als je nooit had gezegd dat je transparant was geweest, dan kom je overal mee weg. Dat zou wel niet transparant zijn. Nee, dat zou wel niet transparant zijn. Nee, maar ik snap zeker wat je bedoelt. Ik kan me zo voorstellen, want er zijn ook best wel heel veel MKB'ers die naar ons luisteren. Die denken van, ja jeetje, wat een gedoe. Framework, groepen, projecten. Ik heb geld te verdienen. Ja, precies. Wat verder van mijn realiteit. Ik was ooit afgestudeerd filosoof. Dus je moet me de zweverigheid ook een beetje excuseren. Maar ik denk dat het dan misschien in ieder geval twee elementen zijn die belangrijk zijn om met je mee te nemen. Dat de technologie en de dingen die je ontwikkelt zijn niet neutraal. Die hebben een impact op andere mensen. En daar heb je wel een verantwoordelijkheid voor te dragen. En die verantwoordelijkheid hoeft misschien niet altijd te zijn in de verste verte van het woord. Dat ligt natuurlijk ook aan hoe gevoelig jouw vakgebied is. Als jij een AI maakt die tomaten herkent, is het een stuk minder gevoelig. Dus welke tomaten ze rijden is een stuk minder gevoelig dan het herkennen van mensen op een station die misschien iets verdachts doen. Precies. Hoe ze dat op grote schreeuwen krijgt. Dus je daar bewust van zijn en bedenken dat je het tool die je maakt, het product dat je verkoopt, daarin wel een rol speelt. Is denk ik belangrijk. En dan misschien om toch die morele ambitie weer terug te hebben. Dat je zegt, dat wil ik graag zo goed mogelijk doen. En hopelijk komen we in een wereld terecht waarin je dat zo goed mogelijk doet en dus ook verkoopt. En dat dat ook een 'marked edge' kan zijn ten opzichte van andere partijen. Mooi, zeker. Dus eigenlijk de kernwaarde van de organisatie, meenemen in de besluitvorming van hoe je iets toepast. En past het bij het product ook wel. Ja, en dat is denk ik altijd een beetje de spanning van je wilt iets maken, dat moeten we waarderen. Tegelijkertijd is de wereld ook niet verschuldigd om iets te kopen wat ze niet willen hebben. Dus er zit een soort van gekke spanning in. Maar het lijkt me wel lastig als mkb-er, want de wereld verandert natuurlijk ontzettend snel. En je wil graag je bedrijf succesvol verder ontwikkelen. Het is best wel moeilijk om bij te blijven. We hebben een tekort aan mensen. Het doet allemaal maar bij elkaar. Dus ik ben er ook niet jaloers op om daar te zijn. Maar het is even wat het is. Ik heb nog één afsluitende vraag, als dat mag. Want we hebben het veel over dit soort modellen en ethische frameworks die komen op ons af. Heeft ieder bedrijf een ethicus nodig binnen zijn bedrijf? Het is zo'n bedrijf, als je zegt moet ieder of alles, dan zeg ik nee. Er moet 90% van. We hebben het over het MKB gehad. Ik denk niet dat die een ethicus gaan inhouden. In corporates, enterprises, hebben die in hun board, in hun ethiek-board, als je dit soort dingen gaat uitvoeren, heb je dan een ethicus nodig? Ik denk dat ethiek iets is van ons allemaal. Ethici bestuderen ethiek, dus die proberen te leren over ethiek. Ethici zijn niet ethischer. Ze willen ook graag ethisch zijn. Meer ethisch dan niet ethisch, dat is helemaal niet waar. Maar ik denk wel uiteindelijk heb je natuurlijk een organisatiestructuur, een organisatie governance om verantwoordelijkheden te beleggen. Die verantwoordelijkheden zijn er. Ik denk dat we een heleboel organisaties meer waarde zouden kunnen hebben, zeker in dit moment in tijd, om iemand binnen hun strategische leaderships gedeelte van de organisatie te hebben, die met zo'n iets wat kritische, ethische blik kijkt naar wat ze als organisatie aan het doen zijn. Maar dat kan alleen als je dan dus ook bedenkt dat je het ook wilt doen uiteindelijk. Want als je iemand hebt en die gaat een vier jaar ongelukkig weg omdat ze niks wil veranderen, en dat gebeurt bij heel veel organisaties, dan heb je gewoon je geld verspeeld ergens. Dan is er namelijk niets veranderd, dan heb je alleen je schuldgevoel afgekocht voor een 1 FTE. En dat is ook zonde. Dus je moet er ook wel wat mee willen doen. En daarom is één iemand denk ik niet genoeg. Dat betekent niet dat je een ethische team moet hebben, maar je moet zorgen dat binnen je organisatie de mensen die met dit soort vragen bezig zijn, ook de cultuur hebben of de mandaat hebben om dingen anders te doen. En dat is natuurlijk per organisatie verschilt tot hoe belangrijk het is. Als je een uitkeringsorganisatie bent of een verzekeraar of zo, ligt dat natuurlijk veel gevoeliger dan als jij een product, zoals dit, te maten herkenningstheme hebt. Dan is misschien zo'n corporate social responsibility officer veel belangrijker, omdat je je eigen life cycle van je product in de gaten wil hebben. Ja, duidelijk. Ik heb in ieder geval geleerd van liever bereiken dan vermijden. Als we het hebben over ethiek. En het laatste vind ik eigenlijk ook wel een heel mooi uitgangspunt. Als je ermee begint, moet je ook wel bereid zijn om te veranderen. Ja, precies. Nou, Duuk, hartelijk bedankt voor dit interessante gesprek. Dank jullie voor de uitnodiging. Graag gedaan. Leuk om mee te praten. Fijn dat je weer luisterde naar een aflevering van AIToday Live. Vergeet je niet te abonneren via je favoriete podcast app, dan mis je geen aflevering. Tot de volgende keer. [Muziek]