Standaardisatie in AI: een broodnodige richtlijn - Willy Tadema en Nelleke Groen

Hoi, leuk dat je weer luistert naar een nieuwe aflevering van AIToday Live. We gaan het vandaag hebben over standaardisatie in AI met Willy Tadema en Nelleke Groen. Leuk dat jullie er zijn. Mijn naam Joop Snijder, CTO bij Aigency. Mijn naam Niels Naglé, Area Lead, Data & AI. Ja Willy en Nelleke, geweldig dat jullie wilden komen bij ons in de studio. Dankjewel. Willy jij op doorreis, we hebben al wel eens iemand gehad die vanuit Finland onze studio binnen is gekomen en doorgegaan is. Maar jij bent eigenlijk op weg naar iets. Ja nou van Groningen, pitstop hier in Veenendaal en dan door naar Berlijn. Ja, dat is een mooie U-bocht. Ja leuk. Voordat we beginnen, zou je jezelf willen voorstellen, laten we beginnen bij jou Willy. Mijn naam is Willy Tadema en ik werk bij Binnenlandse Zaken bij het Rijk ICT Gilde. Dat is eigenlijk een pool van technische experts die overal binnen het Rijk worden ingezet. Onder andere softwareontwikkelaars, security experts en ook specialist op het gebied van AI en data. Daar hoor ik ook bij, ik ben adviseur op het gebied van verantwoord inzet van AI. Mooi. Klopt en ik doe nu een opdracht bij digitale samenleving en daar gaan we het volgens mij ook over hebben. Het dossier waar ik daar mee bezig ben. Jazeker. Jij Nelleke? Ik werk ook bij het Rijk, niet bij Binnenlandse Zaken, bij Rijkswaterstaat. Ik ben daar jurist en ik ben sinds twee jaar of zo meer tech-jurist op het gebied van cybersecurity data. Hiervoor deed ik privacy, dus dat heeft op zich wel met elkaar te maken. Maar nu iets meer specifiek richting de techniek dan op de gegevensbescherming. En dat is sinds anderhalf, twee jaar eigenlijk alleen maar AI. Maar er ging iets doen met algoritmes en toen kwam er een ChatGPT en toen zei iedereen "ja we deden al heel veel met AI, want we doen echt heel veel met AI, dus we gaan nu nog meer er mee doen en wat vind jij ervan?" Dat vroegen ze niet, ik zei "ik vind er wat van". Dat kon draaien. Mogen we meteen vragen om "wat vond je ervan?" Wat vond je ervan? Ik vind er heel veel van. We zitten, even kijken, november 22, het jaar GPT en toen had ik al gesprekken met onze IV-afdeling. We hebben een dienstonderdeel dat gaat echt over IV. Wat is IV? Centrale Informatievoorziening is wat ze dat noemen. Dus dat gaat zowel over IT als IA, industriële automatisering, als meer kantoor IT. En cybersecurity zit er in. Dat is eigenlijk voor alles wat RWS doet. In Rijkswaterstaat verzorgen zij de digitale kant en het digitale denken en het digitale maken. Daar zijn zij mee bezig. Ik kreeg dus vragen over AI. Ik had die gesprekken al wel een beetje, want ik ging dingen doen met algoritme, dus ik ging daar eens vragen van "Goh, waar hebben we die eigenlijk?" "Waar dan? En hoe ziet het eruit? En wat schrijven we daar eigenlijk over op?" Omdat er ook een algoritmeregister zou gaan komen. En toen hebben we eigenlijk met een paar mensen, onder andere iemand van Datalab en iemand van Ciovis en iemand van Strategie die heel erg geïnteresseerd was in AI, een clubje gevormd. Omdat ik zei "Ja, ik heb casussen nodig. Ik weet helemaal niet wat ik hier juridisch van vind. Er komt een wet aan en ik kan van alles bedenken, maar ik moet als jurist wel iets hebben om te toetsen." Dus toen zijn we bij elkaar gaan zitten en dat doen we eigenlijk sinds die tijd wekelijks. En we zien elkaar tussendoor ook nog wel. Puur om elkaar op de hoogte te houden en wat speelt er aan ontwikkelingen. En we zien dus dat er wel toepassingen bedacht worden en ook wel uitgerold of in pilot gebracht worden, maar echt opschalen, dat is lastig nog. Dus we zijn aan het onderzoeken. En wat ik ervan vind, ik vind dat er dus een juridische component aan zit. En dat is altijd lastig als je als jurist bij IT'ers aanklopt en zegt "Nou, ik vind ook wel wat." De meeste juristen vinden hele gedetailleerde dingen, ik niet zo heel erg. En ik ben vooral eigenlijk ook omdat de AI-act nu zeg maar, ja, hij is klaar, maar nu komt de ontwikkeling van wat betekent het nou echt. Ik ben vooral heel erg nieuwsgierig en bezig met wat voor recht moeten we vormen. Er is al recht en wat moet daarbij komen? Specifiek voor AI, om te zorgen dat dit daadwerkelijk goed landt in de samenleving. Dat we een human-centered AI hebben, dat we responsible en mensgerichte AI krijgen, wat allemaal de buzzwords zijn. Maar dat is er niet omdat je bedenkt dat je dat wil, dat is er omdat je erover nadenkt hoe dat er dan uitziet. En dat is eigenlijk voor een deel, vind ik, mijn taak als jurist. Je hebt ze ook ethici. En is dat ook de link naar jou, die responsible AI? Nou ja, ik kom echt vanuit de praktijk. Ik ben data scientist en ik heb de afgelopen zes jaar op heel veel verschillende plekken binnen de overheid gezeten in data- en AI-teams. En eigenlijk daar raken Nelleke en ik elkaar, denk ik. Daar was het ook eigenlijk mijn werk om te kijken van die prototypes die we hebben, hoe kunnen we die opschalen? Want wat je ziet is dat er toch veel prototypes zijn, veel experimenten. Maar in mijn beleving toch nog relatief weinig wat echt in productie komt. En het hele interessante wat ik ontdekte, in ieder geval in mijn werk, was dat eigenlijk het trainen van modellen is het probleem niet. Het zijn juist die juridische en die ethische en die organisatorische randvoorwaarden waar het eigenlijk aan ontbreekt. En toen heb ik me eigenlijk, vijf jaar geleden, heb ik besloten om me daar helemaal op toe te leggen, me daarin te specialiseren. En ik niet alleen, we hebben dus een heel team van 30 mensen. En nou ja, wat ik ook merkte in die teams, of in de landen, als ik dan in die AI- en data-teams zat, was dat we soms best wel heel erg gefrustreerd waren over wat er nu weer over ons uit werd gestort vanuit Den Haag aan instrumenten of beleid of zoals nu dan die wetgeving. Dus vorig jaar om deze tijd dacht ik van, ook geïnspireerd door bijvoorbeeld Brenno de Winter en Ronald Damhof, ik moet naar Den Haag. Dan moet er toch iemand naar Den Haag om ook die stem vanuit de praktijk te laten horen. Wat goed. Ja, ik vond het ook wel spannend, moet ik eerlijk zeggen. Want dan zit je dan als techneut in zo'n team direct onder de staatssecretaris en mee te praten over nieuwe wetgeving, over nieuw beleid. Maar ook super leerzaam en interessant. En dat is eigenlijk wat mij motiveert, precies wat jij zegt Nelleke, hoe gaan we dit nou operationaliseren? Hoe laten we dit werken in de praktijk? En die doelstellingen van die wetgeving en dat beleid, hoezo ervoor dat het ook echt die resultaten op gaat leven? Het lijkt me best wel lastig als je daar als, want je zou jezelf kunnen classificeren als techneut, als data-scientist. Dan is dat misschien best wel een grote stap naar Den Haag, staatssecretaris. Hoe ziet dat gat eruit en hoe heb je dat overbrugt? Hoe ziet dat gat eruit? Nou ja, in het begin ook vooral, het is gewoon ook alleen al het vocabulaire. Ja, dat is heel anders. Ja, dat is al, dat vond ik al heel bijzonder. Dan leer je eigenlijk hoe belangrijk woorden zijn. Hoe lang je het met elkaar kan, dat je kan denken dat je het over hetzelfde hebt, maar ondertussen toch verschillende betekenissen toekent. Of bijvoorbeeld op verschillende abstractieniveaus. Daar had ik zelf in het begin last van. Dat het toch, bijvoorbeeld wetgeving is noodzakelijkerwijs, toch op een hoger abstractieniveau. Dat kan ook niet anders, dat moet ook. Terwijl ik vanuit de praktijk natuurlijk wil weten, ja maar hoe dan? Wat betekent het dan om bijvoorbeeld te voldoen aan zo'n AI-act? Dus dat was heel erg zoeken voor mij in het begin. En ik denk dat ik daarom ook op dat verhaal van die standaarden ben uitgekomen. Omdat dat is wat we proberen te doen met die standaarden. Is eigenlijk te kijken van, oké, dat juridische kader, hoe kunnen we dat vertalen naar een technisch kader? Wat je ook echt kan operationaliseren. Wat je gewoon gaat vertellen, wat moet ik dan doen? Hoe dan? Ja, en ik merk dat de standaarden ook echt nog die tussenstap daarin zijn. Want uiteindelijk ga je producten maken, je gaat dingen doen. En als jurist kijk je ook naar de dingen die je doet. En dan vertel je dat weer terug naar de wet, dan binnen het juridische raamwerk. En die standaarden zijn eigenlijk zo'n zijpad daarnaast. Waarbij je dus diezelfde route loopt, maar dan met technische eisen. Dus niet zozeer met een juridisch blauw verhaal, maar met technische eisen. En die twee stukken samenbrengen vind ik echt nog een enorme uitdaging. Je ziet in de standaardisatie ook nog weinig juristen lopen. En dat is best jammer. Ik denk dat het heel goed is dat we dat meer opzoeken. Het is alleen echt heel moeilijk. Ik vind het ook echt wel heel ingewikkeld om steeds te zoeken naar... Wat is dan het abstractieniveau waar jij nu technisch op te praten bent? En wat zijn dan de vergelijkbare abstractieniveaus aan juridisch? Zijn die woorden dan hetzelfde? Moeten we dan op zoek naar andere woorden? Wat zijn de begrippen die we allebei nastreven? En halen we die? Hebben we een technische benchmark voor bias? Hoe ziet dat eruit? We gaan dat naar 0,0 zoveel. Dan maken we een grafiek. En dan ga ik bedenken, oké, maar als ik zeg... Er mag geen ongeoorloofde onderscheid zijn. Is dat er dan nog? Of niet? Want het is er wel, maar is dit zo klein? En dat soort vertalingen, dat is super interessant, maar heel ingewikkeld nog. En ook heel moeilijk om op één lijn te komen. Ja, precies. Want gaat die standaardisatie dan ook over de definitie van termen? Of gaat het nog verder ook in standaardisatie van processen? Ja, ik denk dat we... Ja, daar zijn we echt nog heel erg over in de spiegel. Nou ja, je moet eigenlijk ook wat meer weten over de AI-Act. Ja, laten we daar eens mee beginnen. Misschien kan ik eerst een vraag stellen aan jullie. Dus straks is die AI-Act van kracht. En wat zou dan de overeenstemming zijn tussen een stukje houten speelgoed, een elektrisch apparaat, een koffiezetapparaat bijvoorbeeld, en een medicinale zalm voor eczeem? En een hoog risico AI-systeem. Dus die vier dingen. Speelgoed, elektrisch apparaat, medicijnen en een hoog risico AI-systeem. Wat is de overeenkomst? Zal ik beginnen? Dat kan ik nog even nadenken. Want ik heb vier plaatjes voor me en ik zie die plaatjes en ik weet niet... Ik zie Niels echt als een konijn in de kop lampen kijken. Nou, ik zie zeg maar overeenkomsten is dat je denkt aan veiligheid, aan impact. Dus als je het hebt over het speelgoed, dat je na moet gaan denken over hoe veilig is dat voor kinderen, hoe gaat dat gebruikt worden en wat zouden negatieve consequenties daarvan kunnen zijn. Welke had je nou nog meer? Speelgoed, elektrisch apparaat en medicijnen. Elektrische apparaten hebben natuurlijk een andere type van veiligheid. Dus dan heb je de technische veiligheid en ik denk ook qua gebruik. Dus dan moet ook een soort van handleiding omheen van waar mag je het wel voor gebruiken, waarvoor niet. En hoe gebruik je het vooral veilig? En medicijnen, moet je aantonen dat er geen bijwerkingen zijn die een dusdanige negatieve impact hebben, dat dat kan leiden tot ernstige andere aandoeningen of misschien zelfs dat je daar aan komt komen overlijden. Ja, hartstikke goed. Dank je wel. Je kan het eigenlijk... Je kunt nog een stapje verder gaan. Die drie dingen die ik noemde, dat speelgoed, dat elektrisch apparaat en die medicijnen, die hebben allemaal een CE-markering. Dat heb je vast wel een keer gezien. CE-markering, dat staat voor conformité européenne, volgens mij. En wat het interessante is, dat straks een hoog risico AI-systeem ook een CE-markering moet hebben. En dat heeft alles te maken met productveiligheid, precies wat je zegt. En Nelleke is jurist, dus die kan het nog beter uitleggen dan jij. En het is wel leuk, want je noemde bij de verschillende categorieën verschillende dingen waar je aan denkt. En ik denk dat bij een hoog risico AI, zitten al die dingen erin. Dus het is intended use en hoe zou het abused kunnen worden? Of hoe zou je kunnen vergissen in de use? Hoe zou je... Nou ja, als je kijkt naar de medicijnen, wat is een overdosering in die AI? Dat klinkt een beetje raar en tegelijkertijd zijn jullie echte techneuten. En qua data en bias kun je je voorstellen hoe dat eruit ziet. En dat is ook een van de dingen waar ik heel erg aan denk. Want ik denk dat het ook een heel belangrijk onderwerp is. En dat is ook een van de dingen waar ik heel erg aan denk. Dat zijn dus heel andere dingen. Dus je bent naar heel andere dingen aan het kijken, waardoor je zegt, ja, dit is trustworthy. En je kijkt dus ook net als eerlijk, of de morele dilemma's. We maken dus een product. Laten we niet een koekenpan nemen, maar laten we een AI-achtig ding, wat qua impact de mitrailleur is, nemen. Die gaan we maken, die doet vette, coole dingen. Dat kan allemaal best, maar FTF kan ook een hele grote impact hebben en kan ook best wel rottig gebruikt worden. Maar wij gebruiken hem alleen maar voor goede dingen in ons bedrijf. Maar wij gebruiken hem alleen maar voor goede dingen in ons bedrijf. Maar wij gebruiken hem alleen maar voor goede dingen in ons bedrijf. Wie is dan degene die bepaalt of dat goed genoeg is? Of het inderdaad voldoende afgeschermd is van de maatschappij om niet zomaar gekocht te worden door mijn elfjarige zoon. Omdat het internet helemaal niet checkt of hij wel echt 18 is. En hij met mijn creditcard een heel eind komt. Of mijn gedeelde Apple Pay, whatever. Wie beslist daarover? Is dat dan een procedureeis die we in standaard opschrijven? Of komt daar norm voor? Je moet het openbaar publiceren op een plakkaat. Ik verzint ze maar wat je allemaal kan doen hoor. Is dat dan de board van dat bedrijf? Of is het het hele bedrijf? Zijn het techneuten? Moet er een klankbordgroep zijn? Met wie dan? Dat zijn ook dingen waar ook qua praktische manier van werken nog zoveel zoeken is van wat zou werkbaar zijn? Terwijl ik als jurist, want dat is dan weer mijn... Ik kan overal best wel weer punten en komma's zetten. Maar als je dit doet... Ik kan heel goed advocaat van de duivel spelen. Dat is ook heel irritant, maar ook een meerwaarde. Want door het van verschillende kanten te bekijken komen al die vragen op. En uiteindelijk wil ik ook niet een product wat niet werkt of wat te moeilijk is, maar wel een product dat voldoet aan wat veilig is. Ik zit nog even over lift en koekenpan. Dat zijn andere dingen die wel afkomen. En wat mij afvraagt is zo'n lift. Daar heb je bepaalde slijtage, je hebt er zoveel gebruik. En daar zal een x-periode van of een jaar of een half jaar voor nodig zijn om weer een extra toetsing te doen. Doet die nog wat die moet doen? Dat is een heel grote vraag. Maar dat is wel de opdracht die we hebben gekregen van de Europese Commissie. En wil die AI-act gaan werken, moeten die standaarden er wel komen. En ik denk ook... Wat je dus ziet... Dat is misschien nog wel even goed om te zeggen. Dat is een heel grote vraag. Maar ik denk ook dat het wel een heel grote vraag is. En dat is ook een heel grote vraag. Wat je dus ziet... Dat is misschien nog wel even goed om te zeggen. Die opdracht van de Europese Commissie is dus naar de Europese normalisatie-instituten gegaan. En van daaruit ook naar de nationale normalisatie-instituten. Dus in Nederland is dat een NEN. We hebben een normcommissie. Daar zitten dus Nelleke en ik ook in. En iedereen die dat wil kan zich daarbij aansluiten. Dus dat is eigenlijk het idee. Je mag gewoon meedoen. Je mag meedoen. Hoe doe je dat? Je betaalt een x-bedrag om twee plekken aan tafel te komen. Oké. Ja, echt. Dat is het. En dan kun je in ieder geval meedoen. Op nationaal niveau kun je meepraten, meedenken, meestemmen ook. En als je wilt kun je vanuit de nationale NEN-commissie ook afgevaardigd worden naar de Europese vergaderingen. En ook meeschrijven aan die standaarden. Dat is echt heel stoer, zal ik maar zeggen. Want wat je doet is dan eigenlijk toch werken aan hoe gaat die wet in de praktijk eruit zien. En deze vragen, discussiëren over deze vragen. Zoeken naar de wetenschappelijke dingetjes. Bekijken wat is er nou allemaal bedacht aan frameworks. En wat zou dan kunnen werken en hoe zou dat er dan uit moeten zien. Dat zijn dingen waar we het daarover hebben. En wat dus belangrijk is, omdat het zulke moeilijke vragen zijn om te beantwoorden. Want ik heb ook geen antwoord voor jou. Ik ook nog niet. Ik zou het graag hebben. Wat we dus heel graag willen en waar ook vanuit Europa heel erg op gestuurd wordt. Is dat dat dus ook een groep moet zijn die divers is. Dat ook echt alle belangen aan tafel zitten. Dus niet alleen industrie bijvoorbeeld. En dat daar dus ook niet alleen techneuten zitten. Of niet alleen mensen met heel veel verstand van het standaardisatieproces. Maar eigenlijk heel weinig technisch inhoudelijke kennis. Dus dat is waar we ons sterk voor proberen te maken. Dat er meer mensen gaan meedoen, meedenken, meepraten. Die een diverser achtergrond hebben. En hoe ver staat het met de standaarden? Hoe ver zijn we? Goeie vraag. Dat is een hele goeie vraag. Nou ja, ik denk wat ik al zei. Er zijn tien verschillende gebieden waarop we standaarden moeten gaan ontwikkelen. Op sommige gebieden gaat het best oké. Want daar hadden we ook al best veel standaarden. Het is niet per se zo dat we zeggen van 'Goh, we beginnen bij alles bij nul'. Ze hebben een hele slimme strategie. En die is eigenlijk 'adapt, adopt, develop'. Dus we gaan eerst kijken van 'Is er al iets wat we kunnen overnemen?' Dus is er bijvoorbeeld al een ISO-standaard? Of heeft IEEE al iets slims hierover gezegd? Als dat zo is, dan kunnen we dat misschien wel overnemen. Misschien moeten we het nog een beetje tweaken. Gaan we het een beetje adapten. Maar als er gewoon niks is, dan moeten we gewoon van nul af aan op dat onderwerp een standaard gaan bedenken. En als je kijkt, we hebben dan een werkprogramma. Dat is geschreven op Europees niveau. En voor bijvoorbeeld data-coverage en cybersecurity. Dat zijn onderwerpen waar al redelijk veel is. Dus dat loopt wel redelijk. Maar andere onderwerpen, als het echt gaat over 'Hoe vertaal ik die fundamentele rechten, die een heel belangrijk onderdeel zijn van die AI-act, het beschermen van die fundamentele rechten, hoe vertaal ik dat in technische specificaties, in proces-specificaties?' Waar je dus echt een Europees sausje krijgt. Daar moet heel veel werk voor zet worden. En de deadline is april volgend jaar. - Zo, dat is best pittig. - Ja, dat is best pittig. Het is eigenlijk absurd snel. Het is eigenlijk een absurd korte tijd dat je zoveel moet gaan maken. Dat roept iedereen ook vanaf het begin. Ik merk dat je dus ook al snel kunt verzanden met elkaar in de 'het kan niet', 'oh jeetje, dat is te veel'. En dan ga je maar weer een halve dag de pakken erbij neerzitten. En dan ga je toch maar weer aan de slag. Dus dat is heel irritant af en toe. Maar ik heb ook wel met een collega van ons binnen EZK gesproken, die meer normalisatietrajecten doen, dat het ook echt bizar snel in elkaar gezet moet worden. In vergelijking met wat je normaal ziet. Maar ja, ik weet dus ook niet of het echt allemaal gaat lukken. - En als zo'n standaard gemaakt is, staat hij dan vast voor bepaalde perioden? Of is het zo van, we zetten een MVP neer, dus eerst maar een eerste versie waar je op verder kan werken. En dan ga je door? Of moet die gewoon final zijn? - Nou, kijk, want je hebt dus standaarden en geharmoniseerde standaarden. Dat is dan wel een belangrijk onderscheid. Dus wat wij nu maken, en bijvoorbeeld ook de ISO-standaarden die er al zijn, zijn dus standaarden. Maar volgend jaar in april, dan gaat dus de Europese Commissie, die heeft experts ingehuurd, die gaan toetsen of wat er dan ligt, voldoende de AI-Act afdekt. Dus als het niet compleet is, of de kwaliteit is onder de maat. - We vinden deze benchmark helemaal niet goed genoeg. Het is niet wat wij bedoelden in de AI-Act met 'safe' of 'accurate'. Wij bedoelden iets nog beters dan dit, of iets anders dan dit. Dan is het geen geharmoniseerde. Dan is het wel een standaard. - Ja, dan is het precies. - Dan is het al tenminste aangenomen dat die vastgesteld is. De standaardisatie-bodies stellen dat vast. Dus daar stem je dan als je een plek aan tafel krijgt. In een Nederlandse stem kun je ons een kant op duwen met z'n allen. We stellen hem vast. Er is een standaard, maar hij is dan misschien niet geharmoniseerd. - Ja, en dat betekent dus, want een geharmoniseerde standaard geeft juridische zekerheid. Dat is heel belangrijk. - Oké. - Dus daarom vindt die toets ook plaats. - Als je vervolgens met de gewone, niet-geharmoniseerde standaarden een cool ding gaat bouwen. En iemand heeft schade en die gaat naar de rechter. En die zegt dat komt door jouw coole ding, wat dus ook niet voldeed aan de eis die de EHA-Act stelde. Dus jij mocht mij dit helemaal niet zo verkopen. Dan komt dat natuurlijk uiteindelijk bij je rechter. Dat is altijd wel leuk, want dat zeg je dan tegen techneuten die zeggen 'ja, maar dan is er niks'. Dan zeg ik 'ja, uiteindelijk komt er dan een rechter en moet dan toch beslissen'. Is het wel of niet jouw schuld, zeg maar. Moet jij betalen of niet? En dan kun je dus wel de vraag voorleggen. 'Ja, maar ik heb voldaan aan deze standaard. Kijk eens, ik heb mijn vette, coole ding op deze manier gemaakt.' En dat is goed genoeg. En dan is het dus aan de rechter om te toetsen. Is dat dan inderdaad goed genoeg om te voldoen aan de AI-Act of niet? Eventueel met die extra dingetjes die je doet. Of je kunt ook zeggen 'ja, heb je die standaard dan goed uitgelegd?' Dus heel veel juridische vragen. - Maar dus de ideale situatie is dat we laten zeggen volgend jaar rond deze tijd, dat de Europese Commissie, dat die adviseurs zeggen van 'nou, we hebben het getoetst. Het is helemaal prima, het is volledig, de kwaliteit is voldoende.' Nou, dan is eigenlijk vanaf dat moment de simpelste manier om te voldoen aan de AI-Act, is die geharmoniseerde standaarden implementeren. Geeft je echt juridische zekerheid. Mocht dat niet gebeuren, dus mocht maar een deel van die standaarden, bijvoorbeeld die toets, doorstaan, dan heeft de Europese Commissie een soort van veiligheidsnet ingebouwd. Dan gaan ze, dan ben ik de naam vergeten. - Jij moet die niet vergeten. - Och gossie, dit gaan we in de noot trekken. - Ja, heel goed. - En dan gaat ze zelf standaarden ontwikkelen. - Oh sorry, oké. - Common specifications, ja. - Ja, het is echt een heel lingo, dat moet ik je wel even... Als je dus hierin gaat storten, ook hiervoor geldt, die standaardisatiewereld heeft een hele eigen... - Eigen jargon. - Eigen jargon, maar eigenlijk ook niet zo interessant hoe het heet. Maar dat geeft ook wel weer aan het belang. De Europese Commissie heeft gezegd, nou dan laten we het zelf doen. - Oké, en hoe zit dat dan tussen de nationale staten? Want je zegt, we hebben dan misschien zo direct, de NEN doet het dan voor Nederland. Betekent dat dat we dan straks 27 standaarden krijgen? - Nee, dit is een standaard die wordt in het Europees Verband ontwikkeld. Er zijn Europese standaardisatiebodies, zeg maar. CEN-CENELEC hebben de opdracht gekregen. Dat is voor elektra en elektrotechniek, geloof ik. - De Europese ISO. - Ja, de Europese ISO's, zullen we maar zeggen. De Europese NENS, kunnen we ook zeggen. Maar goed, binnen Europa hebben wij afgesproken, binnen de Europese Unie. Nou, ik als NEN, of ik als DIM, of whatever, als landelijke standaardisatieinstituut, ik neem een Europese standaard over. Dus als Sen zegt, dit is hem, deze is cool, we vinden allemaal ja, en daar stem je dan dus als nationale standaardisatiebody op mee, dan kun je niet meer als nationale standaardisatiebody zeggen, nou ja, ik heb tegengestemd, dus doei. Dat gebeurt ook verder. - Dus dan is hij ook echt voor heel Europa? - Dan gaat hij voor Europa, ja. Dus dat hebben we binnen de EU afgestemd, dat we op die manier die Europese standaarden in acht nemen. - Kijk, dat scheelt weer. - Dus dat is makkelijk, ja. - We werken met elkaar samen. - Dat betekent dus ook toetsing dadelijk, maakt niet uit welk Europees land het product dat we dan hebben maar hebben getoetst wordt, overal hetzelfde is. - In principe wel, ja. Dat is eigenlijk ook een van de belangrijke ideeën achter die AI-act, gewoon een open markt met zo weinig mogelijk belemmeringen. - We hebben ook een virtuele co-host, en die wil jullie ook graag een vraag stellen. Dus daar komt ze aan. - Aisha. Aisha. Een intelligente vrouw. Aisha. Goedendag, mijn naam is Aisha. Ik ben de AI die deel uitmaakt van deze podcast. Mag ik je een vraag stellen? - Tuurlijk. Gaan we door? - Dat zou mooi zijn. - Ze staat helemaal stil. Flabbergasted. - Als het er doorheen gekomen zou zijn. Soms gaan er dingen fout hè. - Dankjewel voor je tijd. Aisha, de AI hier. Zou je het goed vinden als ik je een vraag stel? - Ja, kom maar door. - Wat adviseer je aan bedrijven die AI willen implementeren op een ethische manier? - Hoi. Toen vielen wij stil. Nou, maak het in ieder geval geen technisch ding. Want dat was eigenlijk wat mij in ieder geval motiveerde in mijn werk. Zes jaar geleden toen ik begon als data scientist met AI. Wat je merkte was dat er heel veel verantwoordelijkheid wordt neergelegd, heel laag in de organisatie, bij technische teams. En dat je als data scientist in één keer juridische en ethische kaders moet gaan lopen interpreteren en vertalen in technische beslissingen. En dat zie ik eigenlijk nog steeds gebeuren. Dat is voor mij het belangrijkste eigenlijk. Het is echt niet technisch. En je moet vooral ook beginnen met wat in de AI Act staat als AI management systemen. Dat zijn van die dure woorden, maar governance, risicomanagement. Dat inrichten en ervoor zorgen dat het op alle lagen in je organisatie wordt gevoeld als een gedeelde verantwoordelijkheid. Dat is gewoon super belangrijk. - Ja, duidelijk. - Daar heb ik echt iets aan toe te voegen. - Dat kan ik volmondig onderschrijven. - Ik waardeer je eerlijkheid in het beantwoorden van mijn vraag. Dank je wel. - Ze komt er ook af en toe een beetje tussendoor, je hoort het wel hè? - Ja, nee, die gaat gewoon barstend overheen. Maar zo werkt de AI. - Maar je wil er nog iets toevoegen? - Ik ben het echt helemaal eens met wat Willy zegt. En het is ook niet een puur juridisch ding. En het is ook niet een puur management ding. Het is echt een gedeelde verantwoordelijkheid om het daarover te hebben en te zoeken naar de verbinding daarin. - Ik had nog wel een vraag. Je had het over die tien categorieën. Is er eentje waar je nu specifiek mee bezig bent of eentje waar je juist heel erg gepassioneerd over bent? - Nou ja, eigenlijk wat ik net zei. Een van die tien onderwerpen is het inrichten van wat ze dan noemen een AI management systeem. Dat gaat dan over governance en risicomanagement. En wat je ziet, dat vind ik wel echt heel positief. Dat heel veel organisaties eigenlijk ook al begrepen hebben van we moeten er geen technisch feitje van maken. In ieder geval binnen de overheid waarin ik werk zie je dat veel organisaties gaan nadenken. Wat moeten we dan inrichten aan processen, aan checks en balances, aan rollen? Wat voor kennis hebben we nodig? En ik denk dat zo'n standaard op dat vlak daar echt bij kan helpen. Geef je wat, hou vast. Wat zijn de stappen die ik daarin moet zetten? Hoe kan ik daarin een groeipad voor mij als organisatie uit tekenen? - Wat ik ook wel eens om me heen hoor, is rondom de EU AI Act, niet iedereen is daar even positief over. Is dat er gezegd wordt van, ja maar dit remt innovatie. Hoe kijk jij daarnaar? - Ja, ehm... - Een hele diepe zucht, dat kan. - Ja, nou ik denk dat dat beslist niet zo hoeft te zijn. Je hebt het ook gezien met het GDPR. Daar is ook onderzoek naar geweest. Dat het juist ook heel veel innovatie heeft aangewakkerd. Dus ik vind het een beetje een dooddoener eigenlijk. - Oh ja. - Dat is een beetje... Ja, nee. Nelleke, wat denk jij? - Nou, ik vind het leuk dat je de innovatie onder het GDPR aanhaalt. Kijk, een norm stellen, dat is natuurlijk wat een wet neerleggen is. Ik stel een norm. Een afdwingbare norm, notabene. Maakt dat je daar dus aandacht voor krijgt. En als je dat niet doet, dan komt die aandacht niet zomaar vanzelf. En ik denk dat we met de EU AI Act als Europa wel zeggen, nou ja... Super cool allemaal. Maar we hebben een maatschappij en een samenleving en een samenwerkingsverband. Europa is van alles, Nederland is van alles. Waar we het nu goed toe vinden en dat willen we zo houden. Dus niet alle ontwikkeling zal per definitie zijn waar wij helemaal happy van worden. Dus we gaan maar even meegeven aan de wereld wat dan is hoe wij het zien. Wat de AI is waar wij happy van worden. En dat is ook een van de dingen die we in de EU hebben. En dat is ook een van de dingen die we in de EU hebben. En zolang dat een voldoende gecontroleerde omgeving is, en AIX zegt, je kunt dus sandboxes inrichten voor je innovatie, ga je gang, doe je ding, ga toetsen hoe het werkt. En daar geldt dan dus ook minder dat een product volledig veilig of volledig goed moet zijn. En je kunt dan dus ervaring op doen met hoe werkt dat, hoe moet ik eigenlijk toezicht houden op mijn AI, wanneer is die aan slijtage onderhevig, wanneer is mijn dataset versleten om nog een goed product te leveren, hoe moet ik dan mijn management systeem daarop inrichten, welke vlaggetjes moet ik omhoog laten gaan, en dan weet je, kan je ook. Met op de achtergrond dus de gedachte van, dan kan ik voldoen aan die normen. Human oversight bijvoorbeeld is een interessante, human oversight kun je op verschillende manieren doen. Vanuit juridische optiek zeg ik dan dus, als je een mens helemaal aan het einde nog eens een keer met een halfgesloten oog ergens naar laat kijken en zegt, nou, ziet er leuk uit, doei, is dat dan nog human oversight? En naast iemand die naast de AI staat en continu meekijkt, dat is je range. Maar afhankelijk van wat voor soort product je hebt, of waar je het plaatst in je productieproces, kun je je human oversight dus inrichten. En in zo'n sandbox zou je daarmee kunnen gaan experimenteren. Wat als ik het helemaal aan het begin zet, wat als ik het helemaal aan het einde zet, wat gebeurt er dan? En die sandbox is vooral ingericht ook voor de MKB, hè? Dus juist om innovatie eigenlijk te stimuleren, dat je juist niet geremd wordt, maar dat je het kan laten controleren. Voor die sandbox, is er nog een bepaalde tijdsduur dat je daarin kan zitten? Dat je daarna zegt van, nou ja, je zit nu zo lang in een sandboxomgeving, het is tijd om te promoten, of niet? Volgens mij heeft de EI, maar nu weet ik niet zeker of de EI zegt, het mag maximaal twee jaar zijn of zo. Nou, volgens mij, wat ik er in ieder geval wel van weet, is dat bij het Rijk, ook in samenwerking met de toezichthouder, gaan we hier ook experimenten voor opzetten. Dus we gaan, want ik denk ook dat het concept van die regulatory sandbox, dat is al beproefd bijvoorbeeld in de financiële wereld, hè? Maar het is ook zo'n concept dat we dus nu eigenlijk in een andere context gaan toepassen. En we gaan daar gewoon mee aan de slag het komende jaar. Dus dat is ook gewoon even kijken, hoe werkt dat? En het grote voordeel vind ik, want ik denk dat inderdaad, als je zegt, wanneer gaat het uit de sandbox? Dat is natuurlijk op het moment van opschalen of in productie nemen. Tot die tijd ben je dus aan het vreubelen. Maar een bedrijf dat iets in een sandbox stopt, gaat op een gegeven moment zeggen, ja, of we gooien die sandbox weg, dan gaan we het anders proberen, of we gaan er geld mee verdienen. Dat is wel belangrijk, want het is een hele gecontroleerde omgeving. En ook, nou ja, juristen en de toezichthouder is daar nauw bij betrokken. Het is niet zo dat je gewoon echt alles kan doen. Nee, niet dat je een sandbox-sticker erop hebt, zeg maar. Nee, dat je dan wel in de openbare omgeving, ja, dat is dus maar de werkmogelijkheid. Dat is wel herkenbaar, hè? De eeuwigdurende pijnlid. Dat is een van de meest risicovolle dingen die ik in mijn werk tegenkom. Dat klopt. Dus dat is eigenlijk, ja, als je probeert te voorkomen, eigenlijk met die mogelijkheid van een regulatory sandbox. Nee, en dat geeft dus ook wel weer, denk ik, waardevolle informatie voor standardisation of voor auditing of voor de jurist. En ook voor de techniek, voor de wereld ook. Omdat je dus dan dingen gaat doen. Je gaat ook echt dingen... Want daar loop ik dus echt wel tegen aan, dat ik veel vragen uit de organisatie en ook wel van buiten krijg, met 'Goh, als ik nou eens zoiets doe.' Of 'Wij zitten hierover te denken.' 'Oké, leuk, maar hoe ziet dat eruit? Wat wil je dan doen?' Ik heb als uiteindelijk om te kijken van 'Ja, dit gaat ergens heen of niet.' Of het voldoet aan eisen. Of 'Wat zou je nog meer moeten onderzoeken?' 'Moet ik allerlei dingen weten?' Waarvan iemand die zegt 'Ja, wij zitten hierover na te denken.' nog niet over nagedacht heeft. Ja, dus om het echt tastbaar te maken. Van ideeën naar concreetheid, om die vragen goed te kunnen stellen. Ja, dus dan is een casus, een business case, is ook altijd wel heel mooi. Omdat je dan daadwerkelijk wat gaat doen. En dan, ja, als je dus echt iets kunt gaan doen. Ja, we hebben dan wel weer de pilot en de opschaling. Even om af te sluiten. Wie zou je willen oproepen om met jullie mee te doen aan het schrijven van de standaarden? Ja, ik denk dat, ja, wat ik graag zou willen is toch meer vertegenwoordiging vanuit het maatschappelijk middenveld. Dus mensen die echt de belangen behartigen van de burger. Dat is wat ik het meeste mis nu. En inhoudelijke expertise bijvoorbeeld van universiteiten. Daar doen jullie nog weinig mee? Nou, een beetje wat het is. Dat is best wel ingewikkeld. Want we hebben wel wat leden vanuit de academische wereld. Maar dat is wel een probleem. Het werk voor een normalisatiecommissie is eigenlijk vrijwilligerswerk. Je krijgt er niet voor betaald. En als je kijkt vanuit de industrie, de belangen zijn best groot. Dus die hebben daar geld voor over. Zetten daar mensen neer. Maar als je vanuit de wetenschap, ik denk dat verhaal kennen we allemaal. Dan word je vooral afgerekend op het aantal publicaties wat je doet. Of misschien ook wel de uren die je lesgeeft. Maar niet of jij, zeg maar, jouw kennis hebt ingebracht. Want het is voor de maatschappij super belangrijk. Dat die kennis wordt ingebracht bij het maken van deze standaarden. Want die standaarden, het is echt soft law. Het is superbelangrijk. Maar het is niet iets wat beloond wordt in de academische wereld. Dus daar moeten we iets op vinden, vind ik. Ja, dat is echt superzonde. Want er zitten juist in de academische wereld heel veel ideeën. Zeker ook in Nederland. Er wordt zo fantastisch veel goed onderzoek gedaan in Nederland. Ja, op dit vlak. Ik vind het gewoon zo ontzettend jammer. Want wat je zou willen is op het moment dat we dat onderzoek weten in te brengen in dat standaardisatieproces. We hadden het er net al over. Dan gaat dat dus gelden voor heel Europa. Iedereen die zaken wil doen. Dus dat is één ding. En het tweede, laten we zeggen de NGO's, de maatschappelijke middenvelden, belangengroepen. Ja, die hebben sowieso al heel veel op hun bordje. En voor hun is dit ook iets wat er dan bij komt waar ze niet extra geld voor krijgen. Ja, ik denk dat dat ook voor het MKB geldt. Je moet betalen om aan tafel te zitten. En dat is niet miljoenen, maar toch een paar duizend euro. Nou, voor NGO's is het nu minder geld. Ja, volgens mij is het een paar honderd euro. Maar ik denk ook eigenlijk dat het geld niet zo... Ja, de tijd is belangrijk. Want je moet er gewoon wel elke week eigenlijk even tijd voor maken. En je kan er een 40-uurige werkweek van maken als je wil. Zoveel werken zit er echt wel in. Maar ja, goed, om het serieus aan te pakken ben je er gewoon een dagdeel tot een dag mee kwijt. En dat is ook weer pieken en win. Maar ja, niet iedereen heeft een dag over. Ja. Hier denken we ook wel over na. Als normcommissie en ook vanuit het Rijk, hoe kunnen we eigenlijk die belemmeringen zoveel mogelijk wegnemen? Nou, en ik denk eigenlijk inderdaad een wedervraag dan voor jullie. Wat zou je nodig hebben om te kunnen aansluiten? Aangenomen dat je het interessant vindt en wil. Want jullie zijn natuurlijk niet een heel klein bedrijf, maar wel gewoon een MKB-bedrijf. Nou, we zijn de MKB, zijn wij wel ontgroeid. Oh, jullie zijn een groot kapitaal. Nou, dat is weer een ander verhaal. Ja, wij hebben ook tijd. Ik denk dat dat het allerbelangrijkste is. Ik denk dat we het belang heel erg ervan inzien. Maar er is aan zoveel dingen tijd te besteden. De vraag is waar gebruik je het voor? Ik denk dat dat de grootste schaarste is. Ja. Jullie doen in ieder geval heel belangrijk werk. Wij zijn daar heel veel wijzer over geworden. Over standaardisatie, wat erbij komt kijken, wat het belang is voor de maatschappij. Laten we in ieder geval hoe mensen zich kunnen aanmelden in de show notes link opnemen. Dat als mensen mee willen doen, dat ze zich in ieder geval kunnen aanmelden. En meer informatie kunnen vragen. Want toegang is gewoon via RNN. En daar zitten een paar mensen die zijn fantastische hulp. En daar wil ik echt een shout-out naar, Maries van Kas. En Dennis is geloof ik de nieuwe. Maar ze helpen ons enorm. En zij kunnen ook gewoon het gesprek voeren. Dus als je denkt, nou, ik heb hier waardevolle expertise in te brengen. Misschien wil ik die ook inbrengen. Ja, neem gewoon contact met ze op. En dan kunnen ze bespreken wat er kan en hoe dan. En hoe het eruit ziet. Hartstikke mooi. Top. En dat is voor ons natuurlijk. En voor oud-bewoners. Ja, precies. Nou, super bedankt. Dank jullie wel, Willy , Nelleke, dat je in deze studio bij ons dit allemaal wilde komen uitleggen. Zorg dat je geen aflevering mist. En abonneer je via je favoriete podcast-app. En dan hoor je ons de volgende keer weer. Tot de volgende keer. [Muziek] [Muziek]