Alle afleveringen
S08E23 - Certificering als kompas voor verantwoorde AI
S08E23

Certificering als kompas voor verantwoorde AI

Seizoen 8 49 min Hosts: Joop Snijder & Niels Naglé
0:00

Wat leer je in deze aflevering?

Nico Nijenhuis van TÜV NORD Nederland ziet organisaties worstelen met AI-ethiek: teams beginnen met technologie en hopen dat verantwoordelijkheid vanzelf volgt. ISO 42001 dwingt bedrijven om vooraf na te denken over hun AI-doelen en risico's, niet achteraf repareren. Deze standaard combineert innovatiedoelen met risicoanalyse: welke risico's bedreigen jouw trustworthy AI-doelstellingen?

Bij zijn klanten ziet Nico dat kaders innovatie versnellen in plaats van remmen - zoals een zorgsysteem dat automatisch favoriete muziek afspeelt bij geagiteerde patiënten. Morgen kun je beginnen met één vraag: welke waarden zijn voor jouw organisatie niet-onderhandelbaar bij AI-implementatie?

01
ISO 42001 als managementsysteem Organisaties bepalen zelf hun AI-doelen en risico's, maar moeten nadenken over fairness, privacy en maatschappelijke impact. Voorbeeld: AI-systeem voor onbegrepen gedrag detecteert escalatie en speelt favoriete muziek af voordat hulpverlener nodig is.
02
Risk-based benadering Bedrijven analyseren risico's ten opzichte van hun trustworthy AI-doelen, niet alleen technische risico's. Verschil met informatiebeveiliging: focus op risico's voor anderen en maatschappij, niet alleen eigen organisatie.
03
Vrijwillige certificering Klanten initiëren zelf audits voor strategische positionering. Certificering toetst of managementsysteem effectief werkt en organisatie bewuste keuzes maakt over AI-implementatie binnen hun context.
04
Innovatie binnen kaders AI Act en standaarden geven richting wat wel/niet acceptabel is (unacceptable risks). Helpt organisaties verantwoord innoveren zonder achteraf te ontdekken dat systemen niet compliant zijn.

Kernbegrippen

ISO 42001
Managementsysteem dat organisaties helpt verantwoorde AI te ontwikkelen met duidelijke governance en risicokaders.
Trustworthy AI
AI-systemen die voldoen aan eisen rond fairness, privacy, transparantie en maatschappelijke impact.
Risk-based benadering
Analyseren van AI-risico's gericht op impact voor anderen en maatschappij, niet alleen technische of interne risico's.
Unacceptable risks
AI-toepassingen die volgens regelgeving en standaarden fundamenteel onacceptabel zijn en niet mogen worden ingezet.
AI-governance
Structuur en processen waarmee organisaties bewuste keuzes maken over AI-implementatie en verantwoording afleggen.

Wat gasten zeiden

Wij gaan met ons koffertje naar China toe. En dan denk ik van, maar dan gaan wij toch ook met onze waarden. Wij denken toch niet in één keer anders over mensen, omdat dat ander type mensen zijn of een andere achtergrond hebben of ergens anders wonen.

Het gaat er niet om dat AI een enorme bedreiging is. Het gaat er ook niet om dat het een enorme innovatieve kracht is, het heeft beide. En daar moeten we beide naar kijken.

Wat kun je morgen doen?

  1. 1 Begin met proefaudit om fundamentele misvattingen te identificeren voordat volledige certificering (bespaart maanden herbouw)
  2. 2 Stel concrete trustworthy AI-doelen en meet risico's daartegenaan, niet alleen technische KPI's
  3. 3 Combineer interne AI-kennis met externe juridische/ethische expertise voor complete implementatie

Interview: Nico Nijenhuis

Nico Nijenhuis
Nico Nijenhuis Senior Lead Auditor bij TÜV NORD Nederland Bekijk gastprofiel →

Kun je jezelf en je werk bij TÜV NORD even voorstellen?

Ik werk bij een certificerende instelling, TÜV NORD. Voor velen niet helemaal onbekend, best een grote organisatie, ook een internationale organisatie. En ik ben een Senior Lead Auditor, met name op het gebied van informatiebeveiliging, privacy en nu vooral ook AI, wat een speerpunt is. Wat ik dan voornamelijk doe, is ik kom bij organisaties langs om eigenlijk te toetsen, te auditeren of zij zich houden aan die standaarden. Dat zijn dan managementsystemen - dus managementsystemen voor informatiebeveiliging, privacy en AI. Dat doe ik in beginsel voor Nederland. Voor Nederland op de loonlijst. Maar ik ben voor de globale organisatie, de internationale organisatie, de TIC Manager zoals we dat dan noemen - Testing Inspection en Certification - voor de diensten die vallen onder privacy en AI. En daar zijn we nu ook echt privacy, en voornamelijk nu ook echt AI aan het uitrollen over de rest van de wereld. Dat zijn internationale standaarden. Dat zijn niet alleen maar Nederlandse zaken en wetgeving.

Over welke standaarden hebben we het precies?

Informatiebeveiliging is dan ISO 27001, die bijna iedereen wel kent. Dat is een ISO standaard. Voor de privacy is dat de ISO 27701. En als het gaat om AI is het ISO 42001 - en niet 40.000, zoals je misschien zou denken.

Wie neemt het initiatief voor zo'n audit?

De klant zelf. Die komt op een gegeven moment met een strategische keuze: wij willen gecertificeerd raken. Of misschien zelfs daarvoor nog: wij willen voldoen aan een standaard. De meeste organisaties willen dan ook een certificaat natuurlijk. Vaak beginnen ze dan met een andere partij die hen helpt om zo'n managementsysteem te implementeren, met heel veel verstand van het implementeren en de tips en tricks. En dan in dat traject zijn ze ook op zoek naar een partij die hen dan kan certificeren. De meeste organisaties zijn dan zo slim om te kijken van: nou, dan willen we ook een fatsoenlijke partij hebben die ook geaccrediteerd is. Dus waarbij zo'n certificaat ook echt iets zegt. Wij zijn dan een partij die heel veel van onze diensten geaccrediteerd aanbieden. En dat betekent eigenlijk dat wij ook weer onder toezicht staan. Dus wij moeten ons ook weer houden aan de spelregels. Dat zijn ook standaarden overigens - met betrekking tot hoe we moeten auditeren. En dat zijn spelregels over onafhankelijkheid, maar ook hoeveel tijd we besteden en of we voldoende kennis van zaken hebben en dat soort aspecten.

Wat is de inhoud van de norm die gaat over AI?

Het kenmerk van al die systemen is dat er een soort standaardstructuur in zit. Het is een managementsysteem en dat betekent dat al die systemen voor de organisatie zelf beoordeeld moeten kunnen worden als zijnde effectief. We willen ergens naartoe, we hebben bepaalde doelen. Een kenmerk wat je in al die managementsystemen ziet: we moeten iets doen aan interne auditing. Dat zijn allemaal dezelfde componenten. Informatiebeveiliging gaat dan nadrukkelijker in op informatiebeveiliging risico's die voor zo'n organisatie dan geanalyseerd worden en gemitigeerd worden, zoals we dat dan zeggen. Dan hebben we een annexe in die standaarden, er zitten allemaal security maatregelen in, die dan zo'n organisatie kan implementeren om die risico's weer te mitigeren. Dus het zijn allemaal risk-based managementsystemen voor die organisaties. Dat moeten ze allemaal zelf doen. En dan komen wij langs met de toets van: hebben ze risico's goed ingeschat en hebben ze goed gekeken naar de maatregelen en past dat ook en werkt dat ook, levert dat ook echt wat op? Voor privacy gaat het dan veel meer over wat wij eigenlijk meer kennen in Nederland als AVG. Het is een internationale standaard, dus ik wil even benadrukken: het is niet een GDPR of AVG-certificaat, maar dat is de implementatie die we hier nodig hebben in Nederland. Dus dan maken we die vertaalslag ook. Dan moet je denken aan rechten van mensen van wie gegevens worden bijgehouden, registraties, formele dingen. Is er daadwerkelijk consent gegeven en hoe doen jullie dat? Er zijn standaarden voor. Als ze zeggen dat ze daarvoor zorgen, dan moeten ze laten zien dat ze dat ook doen. Bij informatiebeveiliging ging het vooral over risico's voor henzelf. Als de beschikbaarheid, integriteit en vertrouwelijkheid van gegevens daar afbreuk aan worden gedaan, dan levert dat schade op aan het bedrijf. Dat willen ze liever niet, dus gaan ze zich daartegen beschermen. Voor privacy gaat het vooral ook om wat voor risico's je hebt voor andere mensen. De privacy van andere mensen moet je behartigen - andermans belangen moet je eigenlijk een beetje voor opkomen. En dat is zeker makkelijker gezegd dan gedaan, want ja, dan kan het wel eens een keertje een beetje frictie hebben met de belangen van zo'n organisatie.

Wat maakt de AI-standaard dan anders?

Als we nou de stap maken naar AI, dan is die nog leuker, althans dat vind ik. Omdat je dan nog veel verder moet kijken. Je moet niet alleen kijken van: nou, wat voor gevolgen heeft de verwerking van de gegevens die ik heb voor die mensen van wie die gegevens worden verwerkt, maar wat zijn nou eigenlijk de gevolgen voor mensen en de maatschappij of maatschappijen. En dan wordt het voor velen, zeker als je vanuit de IT komt - en dit is nog steeds een IT-standaard - bijna een beetje vager, een beetje filosofisch. En dat vind ik nou juist het hele mooie hieraan: dat hebben we nodig. Je moet juist die disciplines combineren. Dan kom je ook al heel snel uit op dingen als Trustworthy AI, en dat zijn allemaal hele leuke dingen. Maar wat betekent dat nou eigenlijk? Ik heb een IT-achtergrond, dus er borrelt bij mij altijd iets innovatiefs. Maar ik heb me altijd zorgen gemaakt over de impact die dat heeft - en dan bedoel ik met name op mensen en maatschappij. Dus dit is helemaal in mijn straatje.

Hoe verhoudt ISO 42001 zich tot Trustworthy AI?

Dit is eigenlijk de vraag die ik in mijn juridisch onderzoek heb gesteld. Ik had altijd gezegd: pas op, ik ben geen jurist. Ik vond het wel interessant altijd. Inmiddels ben ik daadwerkelijk ook een jurist - ik heb net een master afgerond, want dat zit er wel in natuurlijk. En dit is de vraag die eigenlijk centraal stond: hoe verhoudt 42001, deze standaard, zich tot de AI Act en in welke mate ondersteunen ze Trustworthy AI? En dan kom je heel snel op de vraag van: wat is nou eigenlijk Trustworthy AI? Daar heb je heel veel verschillende antwoorden op mogelijk. Er zijn verschillende frameworks rond Trustworthy AI. We noemen het wel allemaal, en het klinkt ook heel goed, maar hoe ga je het dan doen? Even terugbrengen naar deze standaard: de standaard zegt eigenlijk "bepaal het lekker zelf". Min of meer. Let wel, hou wel even rekening met deze en deze punten. Dit is wat wij denken dat je in ieder geval aan moet denken als het gaat om Trustworthy AI. Dan komen dingen als fairness weer voorbij, en ook privacy, explainability - dingen die we vaak horen in de context van Trustworthy AI. Maar als je verschillende modellen naast elkaar houdt, dan zijn die termen niet helemaal hetzelfde. Sommigen lijken een beetje synoniemen voor elkaar of overlappen elkaar een beetje in de definities. Het mooie aan zo'n managementsysteem is wel dat zo'n organisatie het ook echt moet implementeren voor hen, voor hun context. Heel simpel: als we kijken naar privacy, wat een van de aspecten is van Trustworthy AI - dat is een belangrijk aspect, maar wel alleen maar als je persoonsgegevens verwerkt. Dus dat is niet voor ieder AI-systeem van belang. Zo kun je het heel nadrukkelijk tunen op je eigen belangen en risico's, maar vooral ook je eigen context.

Hoe bepaal je bijvoorbeeld wat 'fair' is in jouw specifieke context?

Eigenlijk is dat het meest belangrijke. Als organisatie die vraag zelf stelt, dan moet je al weten wat bias betekent, wat fairness betekent, en wat wel en niet acceptabel is. En dat betekent dat je dingen gaat afwegen. En dat is het meest essentiële van het managementsysteem: dat je over dingen nadenkt, dat je die documenteert en daadwerkelijk die keuzes maakt die je altijd dan kunt beargumenteren. Of waarvan je altijd kunt zeggen van: deze risico's heb ik genomen. En dan mag iemand anders daar iets van vinden en daar vind je als auditor soms ook iets van. Maar dan krijg je dat gesprek. Soms kom ik op een punt uit waar ik me erg zorgen over maak en dan stel ik die vraag, en is die organisatie al lang over nagedacht. En dan word ik heel erg gerust gesteld in: ze hebben het voor elkaar, ze begrijpen het. En ze hebben daar hun keuze in gemaakt. En dat hoeft ook niet mijn keuze te zijn. Zij moeten de keuzes maken.

Hoe hou je rekening met verschillende use cases binnen één organisatie?

Wij beoordelen, wij auditeren en certificeren het managementsysteem van die organisatie. En ze hebben zelf behoorlijk wat ruimte om de scope te bepalen, zowel van de organisatie of het organisatieonderdeel als ook de scope van het managementsysteem. Maar zo'n managementsysteem is eigenlijk een overall governance framework van zo'n organisatie. Als het gaat om ISO 42001, vallen daar binnen één of meerdere AI-systemen. Dat kunnen er meerdere zijn. Soms is het er maar één, of is het één heel complexe, of bestaat die uit verschillende soorten of componenten van AI. Dus dat kan heel erg verschillen. Dat zijn de verschillende use cases voor die organisatie. Sommige kunnen al in productie zijn, sommige worden nog ontwikkeld. Soms vervangt de een de ander, of komt er naast te staan, of heeft zo'n organisatie een heel fantastisch idee en zijn ze dolenthousiast bezig met iets nieuws. Dus dat kan een enorme variatie zijn van verschillende AI-systemen. En wij kijken dan naar: welke AI-systemen zitten er in welke fase, in welke levenscyclus? Wat hoort ten opzichte van het commitment bij die fase? Wat zit er in de pipeline? Hoe bepaal je de pipeline? Sommige systemen die komen de pipeline in, maar die komen niet eens in de buurt van productie. Om heel goede redenen - ze vallen juist weer af. Maar daar zijn we niet geïnteresseerd in. Welke criteria hanteer je om door te gaan of juist de stekker eruit te trekken? En dat is eigenlijk het managen van AI. En dus hoort dat bij het managementsysteem.

Waar komt jouw passie voor privacy en ethiek in technologie vandaan?

Ik ben wel altijd in IT geweest en ik heb ook echt daadwerkelijk code geschreven, maar ik heb me nooit echt die nerd gevoeld - en dat bedoel ik 'nerd' in de meest positieve zin van het woord. Ik heb altijd heel veel bewondering gehad naar heel veel nerds die ik wel tegenkwam. Ik heb me altijd meer betrokken gevoeld bij mensen. Bijvoorbeeld in mijn rol als projectleider vond ik die uitdaging eigenlijk al veel sneller groter dan de technische uitdagingen. Ik vond het veel fijner als ik die dingen wist op te lossen. En ik ben altijd heel maatschappelijk betrokken geweest. Ik kwam op een gegeven moment wel eens in situaties terecht waarin ik zelf vond - niet zozeer ik, maar wij als IT-sector - dat we eigenlijk veel te veel bezig waren met hele coole slimme dingen verzinnen die de klant prima vond en waar de rekening van werd betaald. En daar was iedereen eigenlijk al tevreden, terwijl de impact die we maakten lang niet altijd goed was. En die zag je heel vaak terugkomen in de maatschappij waar we enorme impact hadden. Er zijn hier compleet governance-zaken misgegaan - we hebben nieuwe verkiezingen gehad, zelfs om dat soort dingen. Je ziet heel veel dingen toch echt misgaan omdat er bepaalde perspectieven niet worden meegenomen. En dat zijn vooral die perspectieven waarin het gaat om de risico's voor iemand anders dan de organisatie, of voor het belang van iets anders dan het belang van hun organisatie, wat toch in veel gevallen winst is. En ik vond dat wij als IT echt daar te weinig aandacht voor hadden voor die impact.

Wat heeft je het meest verrast van wat je geleerd hebt op juridisch gebied?

Wat mij als eerste te binnenschiet: het meest juridische dat ik heb gedaan nog onder de noemer 'ik ben eigenlijk een IT-er', is die rol als data protection officer - de functionaris voor de bescherming van persoonsgegevens. Een onafhankelijke positie in de organisatie, die gaat over of een organisatie zich houdt aan privacy wet- en regelgeving en daar advies over geeft. Daar heb je eigenlijk twee soorten: of het is iemand die komt uit IT, of het is een jurist. De meeste van de juristen hadden toch wel wat moeite met die techniek. En de meeste die uit IT komen, hadden heel weinig of te weinig met dat juridische gedeelte. Ik was vaak degene die het fijn vond om die juist te combineren. Wel vaak met de opmerking: pas op, ik ben geen jurist. Maar ik had er wel degelijk af en toe mee te maken. Ik kreeg heel snel, terwijl ik uit IT kwam, toch door: jij bent degene die met het juridische gedeelte komt. Dat vond ik altijd interessant. Ik vond het vooral interessant om te zien dat je in zo'n rol heel makkelijk een ander perspectief kunt bieden, waar simpelweg nooit eens over nagedacht is - en alleen maar door dat ter sprake te brengen, gaan de lampjes aan. We kunnen heel veel dingen ook oplossen op een niet-technische manier. Als het heel beperkt is in zo'n team of in zo'n ontwikkelteam - als het heel beperkt is door IT'ers - dan vinden we en proberen we ook alleen maar en zien we eigenlijk alleen maar de oplossing in techniek. Natuurlijk kunnen die daar ook in zitten, maar lang niet altijd. En soms is een heel ander perspectief veel makkelijker, sneller en goedkoper. Dat vond ik wel heel leuk. Dat bracht mij ook tot het besef: je kunt een juridisch perspectief inbrengen, maar ik heb ook al heel lang gezegd in die IT: je hebt niet alleen maar iets juridisch nodig. Je hebt ook iets van filosofen nodig. Dat klonk allemaal heel erg raar, maar nu hebben we het over ethiek en over trustworthiness. En nu krijgt dat wat tractie.

Hoe helpt de AI Act bedrijven om te innoveren?

Ik denk in eerste instantie dat de AI Act een richting geeft aan developers of gebruikers van AI-systemen - een soort kompas als het ware. En dan pak ik gelijk toch even weer dat wat meer filosofische, ethische deel erin. Waarin ook heel duidelijk wordt gezegd van: dit willen we hier niet. Als je kijkt naar de basis: het is een soort risk category systeem, waarin het heel breed is. We beginnen heel breed in de AI Act en we beginnen met de unacceptable risks. En die vind ik heel erg interessant. Want wat vinden we nou wel of niet acceptabel, wat kan nog? En dat is toch wel een beetje een ethische vraag eigenlijk, terwijl dat nu een beetje lijkt vastgelegd in een wet - dat is een beetje gek. Ethiek is niet hetzelfde als wetgeving. Maar nu lijkt toch een stukje ethiek te zijn vastgelegd in een stukje wetgeving, en dat ben ik heel blij mee. Ik vind het ook heel goed dat wij in dit geval als Europa natuurlijk zeggen van: nou, tot hier en niet verder. Dit is de grens, dit zijn wat wij onze waarden vinden. En ik hou echt van dat we vanuit waarden denken. Dus ik denk dat daarmee Europa, maar ook organisaties die binnen Europa systemen op de markt willen zetten of daar willen houden, daarmee geholpen worden: daar is een rode lijn. Het brengt ook heel veel andere hele leuke vragen in stelling, vooral als je internationaal opereert. Dat doen wij. Dat zijn dan de Europese waarden als het gaat om in ieder geval AI. Maar we hebben het over een internationale standaard. En hoe verhoudt je dat nou?

Waar ontstaat de meeste wrijving?

Het is niet alleen maar wrijving, het is ook dat we voor het eerst na gaan denken over dingen. Het hoeft niet per definitie wrijving te zijn, maar dan ga je er eens over nadenken. En dan denk je: oké, daar moet je iets van vinden. Maar wie moet daar iets van vinden eigenlijk, wie kan daar iets van vinden? Dat vind ik een heel leuk vraagstuk. Ik vind dat daarmee organisaties ook geholpen worden - dat die vraag wordt gesteld. Ik wil heel naïef klinken hoor, maar ik ben intrinsiek gemotiveerd om de wereld een klein beetje beter te maken. Als ik mezelf hoor denken van: nou, dat is naïef - maar dat is eigenlijk wel zo. En dan is het werk een heel stuk leuker. En dat kan ik doen door bedrijven net iets privacy-vriendelijker te maken of net iets veiliger te maken. Nu met AI komen dit soort vraagstukken ook. Ik denk: als wij nou binnen Europa hebben vastgesteld dat wij bepaalde AI-systemen echt gewoon niet vinden kunnen - dat zijn onze waarden, oké, prima - dan doen we dat hier niet, want het mag ook niet. Maar wat nu als wij het social credit system van China zouden gaan auditeren? Dan kijken naar de standaard zelf. De standaard zegt niet dat dat niet kan, want het is een internationale standaard. Als je dat binnen Europa doet, dan kan dat niet, want daar is wetgeving voor. In China is de AI Act niet van toepassing. Dus daar is het strikt genomen volgens de wetgeving niet verboden. Ze hebben daar een ander waardensysteem. En daar wil ik geen oordeel over vellen, maar we weten wel iets over ons waardensysteem. En wij zijn toch echt Europees. Dus wij gaan met ons koffertje naar China toe. En dan denk ik van: maar dan gaan wij toch ook met onze waarden? Wij denken toch niet in één keer anders over mensen omdat dat een ander type mensen zijn of een andere achtergrond hebben of ergens anders wonen? Daar is eigenlijk niet zo erg over nagedacht. En ik vind dat we daar nu al over na moeten denken, omdat daar wordt nu al aan de deur geklopt van, vooral ook buiten Europa: wij willen ook gecertificeerd raken, wij gaan ook die kant op.

Maar hoe gaat dit nu concreet innovatie helpen?

Laat ik even als eerste reageren op die positieve noot, want die zie ik ook. En die zit ook in de wetgeving, die zit ook in de standaard. Het gaat er niet om dat AI een enorme bedreiging is. Het gaat er ook niet om dat het een enorme innovatieve kracht is - het heeft beide. En daar moeten we beide naar kijken. Ik trek snel een vergelijking met een baksteen. Met een baksteen kun je hele mooie huizen bouwen, ook hele coole dingen mee bouwen, maar je kunt hem ook gebruiken om iemand een kop mee in te slaan. En dat mag je die baksteen niet kwalijk nemen. Maar hoe zet je nou, hoe gebruik je nou zo'n baksteen op een verantwoordelijke manier? Eigenlijk is dat waar het hier over gaat. Hoe zetten we nu AI op een verantwoorde manier in? Als het gaat om Responsible AI, dan zie je dat terug in de wetgeving. Wat vinden we wel en niet verantwoordelijk? Daar is over nagedacht. Er zijn keuzes over gemaakt. Dit vinden wij. En dus moet je daaraan voldoen. En dat helpt organisaties om op die manier invulling te geven aan hun verantwoordelijkheid. Je kunt niet alleen maar iets cools technologisch innoveren dat functioneel werkt of waar klanten misschien tevreden over zijn, maar wat compleet onverantwoord is. Althans, vinden wij - en daar ben ik het wel mee eens. Datzelfde geldt voor een standaard. Het hele idee is dat we moeten zorgen dat die kaders ook inderdaad een richting geven waarbinnen we die innovatie kunnen doen. En die innovatie hebben we heel erg nodig. Ik vind het heerlijk als ik als auditor bij bedrijven kom en zie hoe zij AI toepassen. Dat is waar het voor nodig is. Dat is wat onze maatschappij ook echt helpt, op een hele verantwoorde manier. Ik zie het nu vooral ook in de zorg - heel veel hele interessante toepassingen waar mensen echt beter van worden, kwaliteit van leven verbeterd wordt. Hele grote problemen als personeelstekort in de zorg kunnen worden opgelost. Ik zie dat nu ook echt gebeuren. Ik werk bij TÜV NORD ook nog als ethiek expert bij de Europese Commissie. Dat is een soort voorbode van waar allemaal in wordt geïnvesteerd. Ik vind het heel interessant om te zien wat ze daarmee doen. Daar word ik echt vrolijk van. En dan gaat mijn IT-hart natuurlijk ook een beetje sneller kloppen. Dat is waarom we ook heel erg blij moeten zijn met AI. Het gaat ons ook echt helpen. Dus ik zie die positieve noot heel nadrukkelijk. Maar ik zie ook dat als ik dan in zo'n ethical review board zit, dat er toch heel veel dingen nog even over het hoofd worden gezien. En daarmee kun je dus aan de hand van wetgeving - en eigenlijk moet je het niet alleen maar aan de hand van wetgeving doen - kan ik zo'n organisatie mee helpen om binnen die kaders te blijven, om ervoor te zorgen dat het verantwoord blijft, dat ze niet straks tot de conclusie komen dat ze hun innovatie van de markt moeten halen. Daar heeft niemand iets aan - maar de maatschappij ook niks aan.

Wat is het verschil tussen wetgeving en zo'n standaard?

Wat een kenmerkend verschil is tussen wetgeving en zo'n standaard, is dat zo'n wetgeving - daar heb je niet zoveel over te zeggen, die is van toepassing of niet. En dat moet je weten of dat had je moeten weten. Wat best complex is, want er komt heel veel wetgeving op organisaties af. Een standaard is echt een soort vrijwillige commitment. Dat is een strategische keuze, maar het is niet verplichtend. En dat is toch wel iets belangrijks, vind ik. Want als je dan ook echt het commitment geeft, dan moet je ook wel weten waar je commitment op geeft. En daar gaat het ook nog wel eens mis. Ik zie organisaties die heel erg fanatiek inderdaad hele leuke innovatieve coole AI-dingen doen, maar eigenlijk heel weinig verstand hebben van zo'n standaard. Dus je hebt niet alleen maar kennis nodig van de technologie. Je hebt ook echt kennis nodig van zo'n standaard en eigenlijk wat de bedoeling is van zo'n standaard. En daarbij is het lastig ook wel, dat zo'n standaard niet een lekker leesbaar romannetje is. Dus eigenlijk heb je daar wel weer een beetje hulp bij nodig, dat begrijp ik ook wel.

Waar begin je als organisatie die hiermee aan de slag wil?

Dat hangt er een beetje vanaf of je alles zelf wilt doen en ook in huis wilt houden, of dat je daar inderdaad hulp bij wilt in het begin of dat je dat ook wilt houden. Dat zijn verschillende mogelijkheden. Maar je moet die kennis wel in huis halen en op de een of andere manier houden. Als je dat niet hebt en je leest het wel van begin tot eind, dan loop je ook het risico dat je eigenlijk alleen maar als een soort afvinkmachine dingetjes invult. Dan maak je een heel bureaucratisch systeem dat wel aan de normen kan voldoen, maar dat heel makkelijk niet voor jou als organisatie werkt en helemaal niet heel erg efficiënt is. Als je de relaties niet kunt leggen, dan begrijp je niet waarom je dingen doet. Voordat je het weet doe je het voor de auditor die langskomt. Dat moet je begrijpen. Je kunt zelf trainingen gaan volgen. Je kunt organisaties inschakelen die je daarbij helpen. Die zijn daar specifiek ook voor opgeleid. Wij mogen dat als auditerende certificerende instelling zelf niet doen. Wat soms ook nog wel eens lastig is, zeker waar ik vandaan kom, want je wilt graag helpen. Soms ligt de oplossing voor de hand. Maar je moet ze niet meegeven in hoe ze het zouden moeten doen. Dan zijn we niet meer objectief. Daar begint het eigenlijk mee. Wij zelf geven her en der informatie of webinars, dan proberen we mensen te helpen. Zeker als we al klanten hebben - als die bijvoorbeeld informatiebeveiliging in huis hebben, dan zeggen we: is privacy misschien niet ook iets voor je? Ik zie dat jullie met AI-ontwikkelingen bezig gaan. Vanuit de hoek van zo'n informatiebeveiligingsaudit kunnen we dat toelichten: is dit niet iets? En dan kun je er wel iets van in informatieve zin aan toelichten. Maar uiteindelijk zul je die verdiepingsslag zelf moeten doen, dan moet je ook echt een traject beginnen in zo'n organisatie. En het is niet makkelijk om vanuit andere perspectieven naar je organisatie te kijken. Je moet in één keer vanuit privacy naar de risico's voor anderen kijken. Daar heb je dan ook echt weer wat verstand van privacy voor nodig. Maar AI gaat dan nog breder. Dus ja, daar heb je waarschijnlijk hulp bij nodig. Of je moet mensen met competenties in gaan huren of aannemen, of die competenties moet je gaan verschaffen aan je huidige mensen.

Wat vind je van de stelling: binnen twee jaar is AI beter dan de zorgverlener?

Ik zou gelijk nee zeggen. Nee. Zeker bij de zorg - ik denk dat er heel veel toekomst is aan AI-innovatie in de zorg. Maar de zorgverlener, we hebben het over een persoon. Als iets belangrijk is, is dat we als maatschappij, maar ook als leverancier of als innovator toch altijd het menselijke aspect niet over het hoofd moeten zien. Dat is zo belangrijk dat we nog mensen zijn. Een organisatie waar wij geweest zijn, die heeft een product ontwikkeld, AI-powered product, voor mensen met onbegrepen gedrag. Er zit vaak een complexe combinatie van allerlei medische diagnoses achter, waarbij mensen bepaald gedrag vertonen omdat ze getriggerd worden en dat wordt door de omgeving niet goed begrepen, waardoor de omgeving op hun manier reageert. En dat kan soms escaleren. Dit systeem detecteert in wat voor situatie zo iemand zit. En die detecteert van: die gaat niet helemaal goed. En voordat het daadwerkelijk tot dat gedrag leidt en anderen daar last van hebben of dat niet goed begrijpen en op hun manier reageren, wordt hun favoriete muziek afgespeeld. Dan escaleert het niet meer. Of er zijn andere vormen van reacties, of er is een soort AI-robot die tegen hem praat of die gaat interacteren. Of in sommige gevallen: ja, dit is nu - we hebben echt een hulpverlener nodig. Dus dan gaat het systeem zelf proberen al te de-escaleren, maar ook het onderscheid te maken van: nu moet je toch echt even iemand erbij hebben. Nu heb je toch echt een mens nodig. Dat vind ik heel erg mooi - dat je daar een combinatie ziet van technologie die de cliënt echt ondersteunt, maar ook nog de zorg daarmee ondersteunt. En we hebben niet heel veel zorgpersoneel. En het zou ook heel fijn zijn dat we die zo goed mogelijk inzetten. Want waarom zou een zorgverlener langs moeten komen om zijn favoriete muziek aan te zetten als een systeem dat al kan? En dat kan dan nog sneller ook nog. En dat is dan zoals ik het zie een hele mooie toepassing. De kwaliteit van het leven voor zo iemand wordt ook echt verrijkt. Maar wij als maatschappij worden er ook door geholpen - en dat is ook nog een keer belangrijk.

Wat vind je van de stelling: een fout van AI is kwalijker dan een fout van een zorgverlener?

Het lijkt erop dat wij minder snel accepteren dat een AI-systeem een fout maakt dan dat een mens een fout maakt. Dat vind ik heel erg interessant. En ik vind niet dat we te snel tegenin moeten gaan en zeggen van: nee, maar dat moeten we maar gaan accepteren. Ik vind ook echt dat we de ambitie al wat hoger mogen leggen bij innovatieve systemen. Die kunnen op termijn natuurlijk steeds minder fouten maken en steeds betrouwbaarder worden, zodat die acceptatiegraad groter wordt. Maar nu breng je het echt terug naar de zorgverlener. Ik zou eigenlijk willen zeggen, persoonlijk: nee. Als ik moet kiezen: nee. Ik denk niet dat... ik redeneer nu nog even in die zin dat AI eigenlijk doet wat wij het leren. AI is gevoed met hoe wij het doen. Je neemt het AI-systeem niet kwalijk, net zoals je de baksteen niet kwalijk neemt. Ik denk dat ik geneigd ben om toch wat meer richting het vertrouwen in AI te gaan. Ik ben heel erg voor mensen en menselijk contact en menselijke interactie, zoals je merkt. Maar mensen zijn alles behalve feilloos. En er zit nog wel wat willekeur in, mensen onderling. En ik vind het in die zin interessant dat AI-systemen daarmee ook wat meer die willekeur eruit halen. En als ze dan ook nog collectief in die willekeur op een hoger niveau komen, denk ik dat we heel ver komen. Tegelijkertijd zit ik nu even te denken aan de autonome auto die mensen met een donkere huidskleur wat minder goed weet te detecteren. Die kunnen nou eenmaal minder veilig de straat oversteken dan witte mensen. En dat vind ik - daar moeten we niet accepteren. Als een mens zo'n fout maakt, en dan ga ik er even vanuit dat dit een bewuste keuze is tussen een wit iemand die oversteekt en een gekleurd iemand die oversteekt en dat is ingegeven door racisme - dan is het heel begrijpelijk om zo'n persoon daar verantwoordelijk voor te houden. Daar komt het vandaan. Nog steeds niet te billijken. Maar dan vind ik dat eigenlijk nog schadelijker als we dat op systematische schaal gaan doen met AI.

Wat vind je van de stelling: AI maakt de zorg minder menselijk?

Ik zou bijna willen zeggen: per definitie, maar het hangt een beetje van de cases af. Maar er zit misschien een soort connotatie in de vraag of het erg zou zijn. Ik denk... ik had net het voorbeeld genoemd waarbij de combinatie van beide lijkt me een hele goede idee. Ik denk dat we daar heel veel baat bij hebben. Ik denk dat daar waar het nodig is om menselijkheid te houden, dat we dat ook echt moeten waarderen, niet moeten uitsluiten, maar ook echt moeten omarmen dat we technologische innovatie hebben die ons helpt. Maar ja, wie heeft tegenwoordig nog een platte grond in de auto? Die systemen maken het allemaal wel... Je hebt geen vrouw naast je zitten die naar de kaart kijkt en zegt van: wat doe je nou allemaal. Het wordt allemaal minder menselijk, maar de vraag is: is dat erg? In mijn geval niet, want ze houden net zo makkelijk op met kaart lezen als ik. Als ik de kaart moet lezen, dan wordt het ook geen succes. Ik denk dat het inderdaad goed is: waar wil je het voor inzetten en dat je daar met elkaar een bewuste keuze in moet maken. Waar willen we het meer menselijk houden? En daar kan AI wel bij helpen inderdaad.

Als je één aspect van de huidige AI-ontwikkeling mocht resetten, wat zou dat dan zijn?

Het eerste wat mij te binnen schiet, en dat wordt dan ook mijn antwoord, is de snelheid van het momentum. In de wereld van technologische ontwikkeling gaat het best wel snel - dat kennen we al een hele tijd, maar nu gaat het heel erg snel. Ik zit als expert ook bij de Europese Commissie. Daar kwamen een paar jaar geleden systemen voorbij waarbij automatisch beeld werd gegenereerd wat niet meer van echt te onderscheiden was. Dat was toen baanbrekend en dat moesten wij dan beoordelen in het review board. En dan zeg ik: ik begrijp dat dat kan, in dit geval voor hele nobele toepassingen natuurlijk. Maar de vraag is of wij als maatschappij daar klaar voor zijn. Als het niet meer van echt is te onderscheiden en het wordt wel als echt gepercipieerd - hoe gaan we er dan mee om in bijvoorbeeld de rechtspraak als het gaat om bewijsvoering? Of wat als bepaalde bevolkingsgroepen met beelden worden geconfronteerd en daardoor er opstand komt op basis van beelden? Is dit een soort risico waar over is nagedacht? Het is niet dat het daarom niet mag - ik geloof niet zozeer in het verbieden van technologie - maar zijn we er wel klaar voor? Dat waren we toen nog niet. Maar vandaag de dag gebeurt het, en het leuke is dat mijn kinderen nu beelden die ze zien al bijna niet meer automatisch aannemen voor echt. Het zal wel fake zijn - hoewel het soms echte beelden zijn. Ik merk dat we tijd nodig hebben om ergens aan te wennen. Maar we moeten ook niet vergeten dat sommige mensen, ook wat oudere mensen, die maken ook nog onderdeel uit van onze maatschappij. Dus je moet ook echt oppassen dat we niet te snel gaan, dat we als maatschappij of groepen binnen de maatschappij dat niet kunnen bijbenen. Die horen er echt met recht ook bij. Als ik naar mijn kinderen kijk, denk ik al dat ik al zo'n oudje ben. Ik denk dat dat is het eerste waar ik aan zit te denken: ik ben best wel heel erg enthousiast over wat we ermee kunnen. Ik maak me ook zorgen over de risico's voor anderen. Maar de snelheid - ook van de goede toepassingen - daar moeten we wel mee oppassen.

Zijn er nog belangrijke aspecten die we niet besproken hebben?

Twee dingen die me nog even te binnen schieten. Eén: je stelde op een gegeven moment de vraag over waar begin je eigenlijk. Wij komen normaal gesproken langs en dan laten we zien of je klaar bent. Je zegt dat je klaar bent en dan volgt er per definitie ook een oordeel, conclusies worden getrokken. En dat is heel spannend. Dat blijft altijd wel een beetje spannend, maar zeker als je ermee begint. Wat wij ook kunnen doen, is een proefaudit. En dat betekent dat we het wel aanvliegen als een audit. Er komt ook echt een auditor. We kijken naar een onderdeel - klanten kunnen zelf aangeven waar we naar kijken. En we kunnen onze eigen expertise meenemen. Daar gaan klanten nog wel eens de mist in. Zodat je daarna ook in kunt zoomen en daar een oordeel over kunt vellen. En daarmee kun je al heel veel misvattingen soms wegnemen. Vooral de heel fundamentele dingen. Dus dat is misschien nog even een waardevolle toevoeging. Een ander ding die ik heel erg interessant vind, is dat ik had aangegeven dat het allemaal risk-based systemen zijn. Los daarvan moet een managementsysteem ook altijd doelen hebben. En organisaties worstelen nog wel eens met: welke doelen moet ik eigenlijk stellen? Maar dat is heel essentieel. Dat is echt van die organisatie: waar sturen jullie op, wanneer ben je succesvol? Je kunt wel champagne in de kast zetten, maar wanneer trek je die er nou uit? En risico's - oh ja, dan moet je ook nog... Dat is lastig, dat is een discipline. Wat je in de ISO 42001 ziet - die vind ik echt kenmerkend anders - daar worden die twee gecombineerd. Dat betekent dat de risico's die je moet inschatten binnen zo'n artificial intelligence management systeem, die moet je zien ten opzichte van de doelen. Dus welke risico's kunnen mijn doelen in de weg zitten of juist helpen? En het leuke van die doelen is: die doelen verwijzen eigenlijk naar Trustworthy AI objectives. En daarmee heb je eigenlijk... maar dit is niet heel makkelijk leesbaar. Als je dit begrijpt, dan kan er een lampje aangaan en denk ik: dat is het. En dan wordt het enige lastige nog: hoe ga je nou dan die AI-doelen ook echt meetbaar maken? Dat blijft lastig. En soms heb je daarvoor nou juist ook anderen nodig. Het voorbeeld dat ik gaf, die organisatie met dat onbegrepen gedrag - die werken met wetenschappelijke onderzoeken die ze adopteren, werken met een universiteit. Je kunt ook anderen gebruiken, input van buiten gebruiken om dat meetbaar te maken of daar keuzes in te maken. Dan ga je dat denk ik wat meer begrijpen. En voordat je het weet ga je er nog lol in hebben en komt die champagne uit de kast. Kernpunten en praktische adviezen ISO 42001 is een vrijwillige commitment: In tegenstelling tot wetgeving is certificering een strategische keuze van de organisatie zelf. Dit vereist wel dat je goed begrijpt waar je je aan committeert. Denk vanuit verschillende perspectieven: Bij informatiebeveiliging gaat het om risico's voor de organisatie zelf, bij privacy om risico's voor individuele personen, en bij AI om risico's voor mensen én de maatschappij als geheel. Trustworthy AI bepaal je zelf: De standaard geeft richting, maar organisaties moeten zelf invulling geven aan concepten als fairness en explainability binnen hun eigen context. Dit vereist nadenken, documenteren en bewuste keuzes maken. Combineer disciplines: Effectief AI-management vereist een combinatie van IT-kennis, juridische expertise en ethische overwegingen. Eén perspectief is niet genoeg. Begin op tijd met voorbereiding: Overweeg een proefaudit om fundamentele misvattingen vroegtijdig te identificeren. Schakel externe expertise in als je de kennis niet in huis hebt. Koppel risico's aan doelen: ISO 42001 onderscheidt zich doordat risico's worden gekoppeld aan Trustworthy AI-doelen. Welke risico's kunnen jouw doelen in de weg zitten of juist helpen bereiken? Focus op effectiviteit, niet bureaucratie: Een managementsysteem moet werken voor jouw organisatie. Als je alleen maar vakjes afvinkt zonder de relaties te begrijpen, creëer je een bureaucratisch systeem dat niet effectief is. Wees je bewust van de snelheid: Technologische ontwikkelingen gaan snel, soms te snel voor bepaalde groepen in de maatschappij. Neem de tijd om na te denken over maatschappelijke impact. Behoud het menselijke aspect: AI moet mensen en de zorg ondersteunen, niet vervangen. De beste toepassingen combineren technologische innovatie met menselijk contact waar dat nodig is. Denk internationaal: Als je internationaal opereert, denk dan na over hoe verschillende waardensystemen zich verhouden tot elkaar. Europese waarden zijn niet universeel, maar dat betekent niet dat je ze moet loslaten. AIToday Live is een podcast die zich richt op de nieuwste ontwikkelingen in AI en de impact ervan op verschillende sectoren. In elke aflevering spreken hosts Niels Naglé en Joop Snijder met experts uit het veld om inzicht te krijgen in de mogelijkheden en uitdagingen van AI-technologie. Luister via je favoriete podcast app: Spotify, Apple podcasts, YouTube Music, en meer.

Over de gast

Nico Nijenhuis
Nico Nijenhuis
Senior Lead Auditor bij TÜV NORD Nederland

Nico Nijenhuis werkt als Senior Lead Auditor bij TÜV NORD Nederland, waar hij organisaties toetst op het gebied van informatiebeveiliging, privacy en AI-managementsystemen. Hij heeft een IT-achtergrond en heeft recent een juridische master afgerond om zijn technische kennis te combineren met juridische expertise. Als TIC Manager voor privacy en AI-diensten helpt hij de internationale uitrol van deze standaarden en werkt hij ook als ethiek expert bij de Europese Commissie.

Bekijk gastprofiel

Transcript

None Certificeringen worden vaak gezien als bureaucratie, maar Nico Nijenhuis is hier iets anders. None Bij TÜV NORD Nederland, internationaal certificerende instelling, toetst hij of organisaties hun None AI-systemen goed in orde hebben voor het inzetten. None ISO 42001, de nieuwe standaard voor AI Management, zet bedrijven aan het denken. None Niet over compliance, maar over belangrijke vragen als fairness en maatschappelijke impact. None Laten we naar Nico gaan luisteren. None Joop: Leuk dat je weer luistert naar een nieuwe aflevering van AIToday Live, mijn naam Joop Snijder, CTO bij Aigency, en mijn naam, Niels Naglé, Area Lead Data & AI bij Info Support. None Joop: In de studio hebben we Nico Nijenhuis. None Joop: En Nico, ik vind het ontzettend leuk dat je er bent, want wij kennen elkaar al best wel heel erg lang, oud collega. None Joop: Maar je bent al een paar jaar wat anders aan het doen, maar daar komen we direct vanzelf op, zou je jezelf eerst even willen voorstellen. None Nico: Nico, dus inderdaad, oud collega. None Nico: Ik werk bij een certificerende instelling Noord. None Nico: Voor velen niet helemaal onbekend, best een grote organisatie, ook een internationale organisatie. None Nico: En ik ben een Senior Lead Auditor, met name op het gebied van informatiebeveiliging, privacy. None Nico: En nu vooral ook AI, wat een speerpunt is. None Nico: Wat ik dan voornamelijk doe, is ik kom bij organisaties langs om eigenlijk te toetsen, te auditeren of zij zich houden aan die standaarden. None Nico: Dat zijn dan managementsystemen. None Nico: Dus managementsystemen voor informatiebeveiliging privacy en AI. None Nico: En dat doe ik in beginsel voor Nederland. None Nico: Voor Nederland op de loonlijst. None Nico: Ik ben voor de globale organisatie, internationale organisatie, de TIC Manager zoals dat dan noemen, Testing Inspection en Certification. None Nico: Voor de diensten die vallen onder privacy en AI. None Nico: En daar zijn we nu ook echt privacy, waar voornamelijk nu ook echt AI aan het uitrollen over de rest van de wereld. None Nico: Dat zijn internationale standaarden. None Nico: Dat zijn niet alleen maar Nederlandse zaken en wetgeving. None Niels: Welke standaard hebben we het dan over? None Nico: Informatiebeveiliging is dan ISO 27.001, die bijna iedereen wel kent. None Nico: ISO standaard is dat. None Nico: Voor de privacy is dat de ISO 27.701. None Nico: En als het gaat om AI is het ISO 42.001 en niet 40.000. None Nico: Je vroeg het expliciet. None Joop: Dan weten we ook precies waar we het over hebben. None Joop: Ik ben wel benieuwd van je zegt van wij doen dan audits. None Joop: Wie initieert de audit. None Nico: De klant zelf. None Nico: Die komt op een gegeven moment. None Nico: De klant begint eerst natuurlijk met een eigen strategische keuze. None Nico: Wij willen gecertificeerd raken. None Nico: Of misschien zelfs daarvoor nog, wij willen voldoen aan een standaard. None Nico: De meeste organisaties willen dan ook een certificaat natuurlijk. None Nico: Vaak beginnen ze dan met een andere partij die hen helpt om zo'n managementsysteem te implementeren. None Nico: Heel veel verstand van het implementeren van de tips en tricks. None Nico: En dan echt in dat traject zijn ze ook op zoek naar een partij die hen dan kan certificeren. None Nico: En de meeste organisaties zijn dan zo slim om te kijken van nou, dan worden ook een fatsoenlijke partij hebben die ook geaccrediteerd is. None Nico: Dus waarbij zo'n certificaat ook echt iets zegt. None Nico: Wij zijn dan een partij die heel veel van onze diensten geaccrediteerd aanbieden. None Nico: En dat betekent eigenlijk dat wij ook weer onder toezicht staan. None Nico: Dus wij moeten ons ook weer houden aan de spelregels. None Nico: Dat zijn ook standaarden overigens met betrekking tot hoe we moeten auditeren. None Nico: En dat zijn spelregels over onafhankelijkheid, maar ook hoeveel tijd we besteden en of we voldoende kennis van zaken hebben en dat soort aspecten. None Nico: Maar het initiatief komt bij een klant. None Nico: En dan gaan wij kijken of het een goede match is en of ze klaar zijn of niet. None Nico: Dan op een gegeven moment komen wij langs en dan gaan we daadwerkelijk toetsen of ze klaar zijn. None Nico: Tot daar al, maar zeggen ze dat ze klaar zijn en dan gaan we dat valideren. None Joop: En kan je wat vertellen over de inhoud van de norm die gaat over AI. None Nico: Ik heb net even over jullie vind ik drie genoemd. None Nico: Het kenmerk van al die systemen zit een soort standaardstructuur in. None Nico: Het is een managementsysteem en dat betekent dat al die systemen moeten voor de organisatie zelf beoordeeld kunnen worden als zijnde effectief. None Nico: We willen ergens naartoe, we hebben bepaalde doelen. None Nico: Een beetje een kenmerk wat je in al die managementsystemen ziet, al die managementsystemen moeten we iets doen aan interne auditing. None Nico: Dat zijn allemaal dezelfde componenten die je ziet. None Nico: Informatiebeveiliging gaat dan nadrukkelijker in op informatiebeveiliging risico's. None Nico: Die voor zo'n organisatie dan geanalyseerd worden en gemitigeerd worden, zoals we dat dan zeggen. None Nico: Dan hebben we een annexe, die standaarden, er zitten allemaal security maatregelen in, die dan zo'n organisatie kan implementeren om dan die risico's weer te mitigeren. None Nico: Dus het zijn allemaal risk-based management systemen voor die organisaties. None Nico: Dat moet ze allemaal zelf doen. None Nico: En dan komen wij langs met de toets van hebben ze risico's goed ingeschat en hebben ze goed gekeken naar de maatregelen en past dat ook en werkt dat ook, niet geert dat ook echt. None Nico: Voor privacy gaat het dan veel meer, natuurlijk over wat wij eigenlijk meer kennen in Nederland als AVG. None Nico: Het is een internationale standaard, dus ik wil even benadrukken, het is niet een GDPR of AVG-certificaat, maar dat is de implementatie die we hier nodig hebben in Nederland. None Nico: Dus dan maken we je vertaalslag ook. None Nico: Dan moet je denken aan rechten van mensen van wie gegevens bijgehouden. None Nico: Registraties, formele dingen, maar ook allemaal dat soort aspecten. None Nico: Is er daadwerkelijk consent gegeven en hoe doen jullie dat? None Nico: Er zijn allemaal, er zijn standaarden voor. Nico: Als ze zeggen dat ze daarvoor, dan moeten ze laten zien dat ze dat ook doen. 76 Nico: Dus dat zijn andersoortige maatregelen, controles, die ze een andere stelling kunnen brengen. 77 Nico: Het zijn ook andere risico's die zo'n organisatie dan in elkaar moet brengen. 78 Nico: Bij informatiebeveiliging ging het vooral over risico's voor hen zelf. 79 Nico: Dan beschikbaar de identiteit en vertrouwelijkheid van gegevens daar afbreuk aan worden gedaan, dan levert dat schade op aan het bedrijf, links of rechts liever niet. 80 Nico: Gaan ze zich tegen niet. 81 Nico: Voor privacy gaat het vooral ook om wat voor risico's hebben voor andere mensen. 82 Nico: De privacy van andere mensen moet je andermans privacy eigenlijk een beetje andermans belangen moet je eigenlijk een beetje voor opkomen. 83 Nico: En dat is zeker makkelijker gezegd dan gedaan, want ja, dan kan het wel eens een keertje een beetje frictie hebben met de belang van zo'n organisatie. 84 Nico: Als we nou de stap maken naar AI, dan is die nog leuker, althans dat vind ik. 85 Nico: Omdat je dan nog veel verder moet kijken, je moet niet alleen kijken van nou, wat vervolgen heeft de verwerking van de gegevens die ik heb voor die mensen van wie die geest werken, maar wat zijn nou eigenlijk de gevolgen voor mensen en de maatschappij of de maatschappijen. 86 Nico: En dan wordt het voor velen, zeker als je vanuit de IT komt, en dit is nog steeds een IT-standard, wordt al bijna een beetje vagen, een beetje filosofisch. 87 Nico: En dat vind ik nou juist het hele mooie hier aan dat hebben we nodig, moeten dat je juist combineren al die disciplines. 88 Nico: Maar dan kom je ook al heel snel uit op dingen als Trustworthy AI en dat zijn allemaal hele leuke dingen. 89 Nico: Maar wat betekent dat nou eigenlijk? 90 Nico: Nou ja, als we dat jou zouden vragen, wat betekent dat de vraag het antwoord? 91 Nico: Wat ik nog even wil zeggen, is dat ik heb een IT-achtergrond, dus er borrelt bij mij altijd iets innovatiefs. 92 Nico: Ik heb me altijd zorgen gemaakt over de impact die dat heeft en dan bedoel ik met name op mensen en maatschappij. 93 Nico: Dus dit is helemaal in mijn straatje. 94 Nico: Maar ik heb ook altijd gezegd, pas op, toen merkte ik nog hier. 95 Nico: Ik vind het wel heel interessant, ik krijg alles in mijn kant op, maar ik ben geen jurist, weet je niet of je dat nog kunt herinneren. 96 Nico: Ik vond het wel interessant altijd. 97 Nico: Inmiddels ben ik daadwerkelijk ook een jurist, ik heb net een master follow-up gedaan, want dat zit er wel in, natuurlijk. 98 Nico: En dit is de vraag die jij nu eigenlijk stelt, is eigenlijk de vraag die ik in mijn onderzoek heb gesteld. 99 Nico: Hoe verhoudt 42001 deze standaard zich tot de AI kan gebruikt worden? 100 Nico: En in welke mate ondersteunen de Trustworthy AI. 101 Nico: En dan kom je heel snel op de vraag van wat is nou eigenlijk Trustworthy AI. 102 Nico: Daar heb je heel veel verschillende antwoorden op mogelijk. 103 Nico: Er zijn verschillende frameworks aan Trustworthy AI. 104 Nico: We noemen het wel allemaal. 105 Nico: En het klinkt ook heel goed. 106 Nico: Maar hoe ga je het dan doen? 107 Nico: Even terugbrengen naar deze standaard, zegt eigenlijk de standaard bepaal het lekker zelf. 108 Nico: Min of meer let wel, hou wel even rekening met deze en deze punten. 109 Nico: Dit is wat wij denken dat wij in ieder geval aan moeten denken als het gaat om Trustworthy AI. 110 Nico: Dan komen dingen als fairness weer voorbij en ook privacy weer explainability. 111 Nico: Dingen die we vaak horen in de context van Trustworthy AI. 112 Nico: Maar als je verschillende modellen naast elkaar houdt, dan zijn die termen niet helemaal hetzelfde. 113 Nico: Sommigen lijken een beetje synoniemen voor elkaar of overlappen elkaar een beetje in de definities. 114 Nico: Het mooie aan zo'n managementsysteem is wel dat zo'n organisatie moet het ook echt implementeren voor hen, voor hun context. 115 Nico: Heel simpel, als we kijken naar privacy, wat een van de aspecten is van Trustworthy AI, dat is een belangrijk aspect, maar wel alleen maar als je da werken. 116 Nico: persoonsgegevens verwerkt. 117 Nico: Dus dat niet voor ieder AI-systeem is dat ook echt van belang. 118 Nico: Zo kun je het heel nadrukkelijk tunen op je eigen belangen en risico's, maar vooral ook je eigen context. 119 Joop Snijder: Soms moet je natuurlijk ook keuzes maken. 120 Joop Snijder: En ik kan wel zeggen van ja, fairness is belangrijk. 121 Joop Snijder: Maar hoe bepaal je die en wat is fair in jouw context? 122 Nico: Ja, eigenlijk is dat het meest belangrijk. 123 Nico: Als organisatie die vraag zelf stelt, dan moet je al weten wat bias betekenen, wat fairness betekent, en wat wel en niet acceptabel is. 124 Nico: En dat betekent dat je dingen gaat afwegen. 125 Nico: En dat is het meest essentiële van het managementsysteem, dat je over dingen nadenken. 126 Nico: Dat je die documenteert en daadwerkelijk die keuzes maakt, die je altijd dan kunt beargumenteren. 127 Nico: Of daarvan altijd kunnen zeggen van deze risico's heb ik genomen. 128 Nico: En dan mag altijd die man iets van vinden en daar vind je een order soms ook iets van. 129 Nico: Maar dan krijg je dat gesprek. 130 Nico: Soms kom je op een punt uit waarbij ik kom heel vaak op punt uit waar ik me erg zorgen over maken en dan stel ik die vraag en is die organisatie al lang over nagedacht. 131 Nico: En dan word ik heel erg gerust gesteld in, ze hebben het voor elkaar, ze begrijpen het. 132 Nico: En ze hebben daar hun keuze in gemaakt. 133 Nico: En dat hoeft ook niet mijn keuze te zijn. 134 Nico: Zij moeten de keuzes maken. 135 Niels Naglé: Het is misschien een te diepgaande vraag, maar geeft het vooral aan als niet zo is. 136 Niels Naglé: Wat ik dan aan denk, is van er zijn heel erg situatieafhankelijk. 137 Niels Naglé: Dus je bent een bepaalde AI-implementatie aan het doen. Niels: En zo altijd doe je voor de hele organisatie. Niels: Maar soms heb je dus een use case die misschien net wat anders is dan de andere standaard. Niels: Hoe hou je daar rekening mee in een audit? Niels: Of is dat het hele systeem die dan geaudit wordt? Nico: Ik denk dat ik je vraag begrijp, maar dat kun jij beoordelen als ik de antwoord geef. Nico: Wij beoordelen, wij auditeren en certificeren het managementsysteem van die organisatie. Nico: En ze hebben zelf behoorlijk wat ruimte om de scope te bepalen, zowel van de organisatie of de organisatieonderdeel als ook de scope van het managementsysteem. Nico: Maar zo'n managementsysteem. Nico: Dus een overall governance framework eigenlijk van zo'n organisatie. Nico: En als het gaat om ISO 24001, vallen daar binnen één of meerdere AI-systemen. Nico: Dat kunnen er meerdere zijn. Nico: Soms is het er maar één, of is het één hele complexe, of bestaat die uit verschillende soorten of componenten van AI. Nico: Dus dat kan heel erg verschillen. Nico: Dat zijn de verschillende use cases voor die organisatie, maar dat kunnen de verschillen zijn binnen een organisatie. Nico: En sommigen kunnen al in productie leven, sommigen worden nog ontwikkeld. Nico: Soms vervangt de een de ander, of komt er naast te staan, of heeft zo'n organisatie. Nico: En ik heb een heel fantastisch idee en zijn dolenthousiast bezig met iets nieuws. Nico: Dus dat kan een enorme variatie zijn van verschillende AI-systemen. Nico: En wij kijken dan naar van welke AI-systemen zit er in welke fase, in welke levenscyclus. Nico: Wat hoort ten opzichte van het commitment bij die fase. Nico: Wat zit er in de pijplijn? Nico: Hoe bepaal je een pijplijn? Nico: Sommige systemen die komen gaan de pipeline in, maar die komen niet eens in de buurt van het productie. Nico: Om hele goede redenen ze juist weer afvallen, maar daar zijn we niet geïnteresseerd. Nico: Welke criteria hanteer je om door te gaan of juist de stekker eruit te trekken. Nico: En dat is eigenlijk het managen van AI. Nico: En dus hoort dat bij het managementsysteem. Joop Snijder: Ik heb nog wel een persoonlijke vraag, want je zegt, je komt uit IT. Joop Snijder: Dus volgens mij ook als ontwikkelaar begonnen. Joop Snijder: Wat heeft die passie, zeg maar voor privacy en dit soort zaken? Joop Snijder: Waar komt dat vandaan? Joop Snijder: Ik ken je als iemand die daar heel gepassioneerd over is, wat trek je er zo in aan? Nico: Ja ik denk een beetje combinatie van factoren allemaal. Nico: Ik ben wel altijd in IT geweest en ik heb ook echt daadwerkelijk code geschreven, maar ik heb me nooit echt die nerd gevoeld en dat bedoel ik nerd in de meest positieve zin van het woord. Nico: En ik heb altijd heel veel bewondering gehad naar heel veel nerds die ik wel tegenkwam. Nico: Ik heb in verschillende hoedanigheden daarmee samengewerkt en later als projectleider meer leiding gegeven waar ik zo moet. Nico: Ik heb me altijd meer betrokken gevoeld bij mensen. Nico: Bijvoorbeeld in mijn rol als projectleider vond ik die uitdaging eigenlijk al veel sneller groter dan de technische uitdagingen. Nico: Voel ik nu veel fijner bij als die dingen wist op te lossen. Nico: En ik ben altijd heel maatschappelijk betrokken geweest. Nico: En ik kwam op een gegeven moment wel eens in situaties terecht waarin ik zelf vond niet zozeer hier, maar wij als IT-sector, zeg maar eigenlijk veel te veel bezig waren met hele coole slimme dingen verzinnen. Nico: Die de klant het prima vond en waar de rekening van werd betaald. Nico: En daar was iedereen eigenlijk al tevreden. Nico: Terwijl de impact die we maakten lang niet altijd goed was, en die zag je heel vaak terugkomen in de maatschappij waar we enorme impact hadden, er zijn hier compleet governance van gevallen hier, we hebben nieuwe verkiezingen gehad, zelfs om dat soort dingen. Nico: Je ziet heel veel dingen toch echt misgaan, omdat er bepaalde perspectieven niet worden meegenomen. Nico: En dat zijn vooral die perspectieven waarin het gaat om de risico's voor iemand anders dan de organisatie of voor het belang van iets anders dan het belang van hun organisatie. Nico: Wat toch in veel gevallen winst is. Nico: En ik vond dat wij als IT echt daar te weinig aandacht voor hadden voor die impact. Joop Snijder: Het is niet alleen maar winst. Joop Snijder: Want er zijn natuurlijk ook hele duidelijke gevallen vanuit de overheid waar gedacht werd. Joop Snijder: En dan gaat het misschien over efficiëntie of dat soort zaken. Joop Snijder: En is dat misschien je winst. Joop Snijder: Maar het gaat niet altijd maar om geldelijke. Nico: Het punt dat ik helemaal gelijk, maar ze gaan even en we gaan nog wel eens voorbij aan het feit dat er allemaal mensen achter zit en dat we mensen raken. Nico: En daarmee gezinnen en maatschappijen en culturen. Nico: Dat heeft mij altijd heel erg getrokken. Nico: Ik geloof er nou juist in dat die twee samen zou moeten komen. Nico: IT moet de mensheid ondersteunen, niet alleen maar een bedrijf of een Belastingdienst. Nico: Daar komt het een beetje vandaan, denk ik, dat men dat heel erg heeft getrokken. Nico: En ik heb daarvoor de ruimte gekregen en gepakt die er toen was. Nico: Dus toen ben ik langzaamaan die kant steeds meer op geschoven. Niels Naglé: En toen ben je de juridische kant op gaan, en heb je dat gecombineerd? Niels Naglé: Wat heeft je het meest verrast van wat je geleerd hebt van de juridische kant, die je graag al had willen weten toen je nog in de techniek zat. Nico: Wat mij als eerste te binnenschiet, is het meest juridische dat ik heb gedaan nog onder de noemen van ik ben een IT-er eigenlijk, is die als data protection officer. Nico: De functionaris voor de bescherming. Nico: Onafhankelijke positie in organisatie, nou gaat over een organisatie houdt aan privacy wet en regelgeving en daar advies over geeft ook echt bij betrokken moet worden. Nico: Daar heb je eigenlijk twee soorten, of het is iemand die komt uit IT, of het is een jurist. Nico: De meeste van de juristen hadden toch wel wat moeite met die techniek. Nico: En de meeste die uit IT komen, heel weinig of te weinig met dat juridische gedeelte. Nico: Dat is dan vaak het geval. Nico: En ik was vaak degene, ik vond het fijn om die juist te combineren. Nico: Wel, vaak met opmerking, pas op, ik ben geen jurist, maar ik had er wel degelijk af en toe mee te maken. Nico: Maar ik kreeg heel snel, terwijl ik uit IT was toch door. Nico: Jij bent degene die met juridisch gedeelte komt. Nico: Dat vond ik altijd wel, ik vond het interessante speelveld. Nico: En ik heb met veel mensen ook samengewerkt, sommigen wat meer dan anderen, sommigen zagen daar wat meer nut van in. Nico: Maar ik vond het vooral interessant om te zien dat je in zo'n rol heel makkelijk een ander perspectief kunnen bieden, waar simpelweg nooit eens over nagedacht en alleen maar door dat ter sprake te brengen, gaan de lampjes aan. Nico: We kunnen heel veel dingen ook oplossen op een niet technische manier. Nico: En dat is voor heel veel mensen, als het heel erg beperkt is in zo'n team of in zo'n ontwikkelteam. Nico: Als het heel beperkt is door IT's, dan vinden we proberen we ook alleen maar zien we eigenlijk alleen maar de oplossing. Nico: Natuurlijk kunnen die daar ook in te vinden, zijn maar lang niet altijd. Nico: En soms is een heel ander perspectief, veel makkelijker, sneller en goedkoper. Nico: En dat vond ik wel heel leuk. Nico: En dat bracht mij ook tot het besef, dat kun je een juridisch perspectief inbrengen, maar ik heb ook al heel lang gezegd in die IT, je hebt niet alleen maar iets juridisch. Nico: Je hebt ook iets van filosofen nodig. Nico: Dat klonk allemaal heel erg raar, maar nu hebben we het over ethiek en over trustworthiness. Nico: En nu krijgt dat wat tractie. Joop Snijder: Zeker zeker. Joop Snijder: Je wil niet weten hoeveel mensen we in de podcast hebben gehad die filosofie hebben gestudeerd en nu in de AI terecht zijn gekomen. Nico: Dat begrijp ik. Joop Snijder: Hoe helpt nou de AI Act, de norm, bedrijven om te innoveren binnen dit vlak? Nico: Interessante vraag om even voor na te denken hoe ik dit ga beantwoorden. Nico: Ik denk in eerste instantie dat de AI Act geeft een richting aan developers of gebruikers van AI-systemen. Nico: Win als het ware een soort, dat vind ik zelf en dan pak ik gelijk toch even weer dat wat meer filosofische ethische deel. Nico: Waarin ook heel duidelijk wordt gezegd van dit willen we hier niet. Nico: Als je kijkt naar de basis is een soort risk category systeem, waarin het heel breed is, we beginnen heel breed in AI Act. Nico: En we beginnen met de unacceptable risks. Nico: En die vind ik heel erg interessant. Nico: Want wat vinden we nou wel of niet eigenlijk nog kunnen. Nico: En dat is toch wel een beetje een ethische vraag eigenlijk, terwijl dat nu een beetje lijkt vastgelegd in een wet, dat is een beetje gek. Nico: En het ethische, dat is niet hetzelfde. Nico: Maar nu lijkt toch een stukje ethiek te zijn, vastgelegd in een stukje wetgeving, en dat ben ik heel blij mee. Nico: Ik vind het ook heel goed dat wij in dit geval als dan Europa. Nico: Natuurlijk zeggen van nou, tot hier en niet verder, dit is de grens, dit is wat wij onze waarde vinden. Nico: En ik hou echt van dat we vanuit waarde denken. Nico: Dus ik denk dat daarmee Europa, maar ook organisaties die binnen Europa systemen op de markt willen zetten of daar willen houden. Nico: Daarmee geholpen worden van daar is een rode lijn, ik weet niet of je dat nu vandaag de dag kan zeggen. Nico: Dus dat vind ik heel erg goed. Nico: Het brengt ook heel veel andere hele leuke vragen in stelling. Nico: Vooral als je internationaal opereert. Nico: Dat doen wij. Nico: Dat zijn dan de Europese waarden als het gaat om in ieder geval AI. Nico: Maar we hebben het over een internationale standaard. Nico: En hoe verhoudt je dat nou? Joop Snijder: Waar komt het dan de meeste wrijving? Joop Snijder: Waar ontstaat die? Nico: Het is niet alleen maar wrijving, het is ook dat we voor het eerst na gaan denken over dingen. Nico: Niet per definitie wrijving te zijn, maar dan ga je er eens over nadenken. Nico: En dan denk je, oké, daar moet je iets van vinden. Nico: Maar wie moet wie kan daar iets van vinden eigenlijk? Nico: Dat vind ik hele leuke vraagstuk. Nico: Ik vind dat daarmee worden organisaties ook geholpen. Nico: Dat is de vraag worden gesteld. Nico: Nu neem nou even deze vind ik zelf heel erg leuk. Nico: Dan schieten nu iets anders binnen dat ik heel even moet vertellen. Nico: De reden waarom je dit doen, zo gepassioneerd over ben, ik wil heel naïef klinken hoor, maar ik ben intrinsiek gemotiveerd om de wereld een klein beetje beter te maken als ik mezelf hoor denken van nou, dat is naïef, maar dat is eigenlijk wel zo. Nico: Dan is het werk een heel stuk leuker. Nico: En dat kan het doen door bedrijven en net iets privacy vriendelijker te maken of net iets veiliger te maken. Nico: Nu met AI komen dit soort vraagstuk ook. Nico: En ik denk van als wij nou binnen Europa hebben vastgesteld dat wij bepaalde AI-systemen echt gewoon niet vinden kunnen, dan zijn het onze waarden, oké, prima, dan doen we dat hier niet, want het mag ook niet. Nico: Maar wat nu als wij het social credit system van China zouden gaan auditeren, dan kijken naar de standaard zelf. Nico: De standaard zeg niet dat dat niet kan. Nico: Want het is een internationale standaard. Nico: Als je dat binnen Europa, dan kan dat niet, want daar is wetgeving voor. Nico: In China, daar is de AI echt niet van toepassing. Nico: Dus daar is het strik genomen volgens de wetgeving niet verboden. Nico: Ze hebben daar een ander waardensysteem. Nico: En daar wil ik geen oordeel vellen, maar we weten wel iets over ons waardensysteem. Nico: En wij zijn toch echt Europees. Nico: Dus wij gaan met ons koffertje naar China toe. Nico: En dan denk ik van, maar dan gaan wij toch ook met onze waarden. Nico: Wij denken toch niet in één keer anders over mensen, omdat dat ander type mensen zijn of een andere achtergrond hebben of ergens anders wonen. Nico: Daar is dan eigenlijk niet zo erg over nagedacht. Nico: En ik vind dat we daar nu al over na moeten denken, omdat daar wordt nu al aan de deur geklopt van, vooral ook buiten Europa, wij willen ook gecertificeerd raken, wij gaan ook die kant op. Joop Snijder: En we hebben ook natuurlijk de druk andersom, dat er vanuit Amerika wordt gezegd. Joop Snijder: Ja, leuk dat jullie bepaalde waarden hebben, maar onze techbedrijven. Joop Snijder: Wij vinden dat niet. Joop Snijder: Dus Europa, jullie moeten niet zeuren. Joop Snijder: Ja, gaan we aan de kant met die waarden. Nico: En dan gaat het onder druk zijn. Nico: En dan kom je erachter van wat zijn nou echt waarden. Nico: Dat vind ik het leuk, wanneer ga je nou echt ergens een keertje voor staan? Nico: En is het dan een commerciële waarde of kunnen allerlei verschillende waarden zijn? Nico: Ja, wat prevaleert nou? Nico: Dat vind ik hele interessante vraag. Nico: En even los van het antwoord erop, en iedereen mag voor zichzelf ook een opinie hebben. Nico: En dan komen we heel snel bij integriteit uit, denk ik. Nico: Ik vind het vooral belang van belang dat we daar van tevoren over nadenken, niet achteraf tot de conclusie kan van zit, dat we dat nou niet even wat eerder te tafel hadden hadden. Nico: Nu zitten we in dit verder. Nico: Dus ik denk dat zo een AI, ik moet ook een standaard, organisatie ook echt helpt om na te denken en keuzes te maken. Joop Snijder: Maar dan nog, want dan hebben we dus de wet, hebben we de standaard waar je iets tegenaan kan houden. Joop Snijder: Ik ben eigenlijk wel juist benieuwd van hoe gaat dit innovatie helpen? Joop Snijder: Want waarom ik dit vragen, is dat ik namelijk zelf geloof dat kaders, je helpen om creatief te denken. Joop Snijder: Er wordt heel vaak gezegd, dus regels beperken je, maar ik denk dat beperkingen helpen bij creativiteit. Joop Snijder: De insteek is een positieve insteek als vraag. Joop Snijder: Hoe gaat nou eigenlijk de wet zo'n zo'n nomering en het orde van de nomering? Joop Snijder: Je helpen als bedrijf om je innovaties verder te brengen. Nico: Stiekem vraag is in. Nico: Laat ik even als eerste reageren op jouw positieve noten, want die zie ik ook. Nico: En die zit ook in de wetgeving, die zit ook in de standaard. Nico: Het gaat er niet om dat AI een enorme bedreiging is. Nico: Het gaat er ook niet om dat het een enorme innovatieve kracht is, het heeft beide. Nico: En daar moeten we beide naar kijken. Nico: Ik heb snel dan eigenlijk om te zeggen van over het vergelijking trekken met een baksteen. Nico: En een baksteen kun je hele mooie huizen bouwen, ook je hele coole dingen mee bouwen, maar je kunnen hem ook gebruik om iemand een kop mee in te slaan. Nico: En dat mag je die baksteen niet kwalijk nemen. Nico: Maar hoe zet je nou, hoe gebruik je nou zo'n baksteen op een verantwoordelijke manier? Nico: Eigenlijk is dat waar het hier over gaat. Nico: Hoe zetten we nu AI op een verantwoorde manier in. Nico: Als het gaat om, we hebben het al vaak nu over Responsible AI. Nico: Dan zie je dat terug in de wetgeving. Nico: Wat vinden we wel en niet verantwoordelijk. Nico: Daar is over nagedacht. Nico: Er zijn keuzes over gemaakt. Nico: Dit vinden wij. Nico: En dus moet je daaraan voldoen. Nico: En dat helpt organisaties om op die manier invloed te geven in hun verantwoordelijkheid. Nico: Je kunt niet alleen maar iets iets cools technologisch innoveren dat functioneel werkt of waar klanten misschien te vereniging zijn, maar wat compleet onverantwoord is. Nico: Althans vinden wij, en daar ben ik het wel mee eens. Nico: Datzelfde geldt voor een standaard. Nico: Het hele idee is dat we moeten zorgen dat die kaders ook inderdaad een richting geven waarbinnen we die innovatie kunnen doen en die innovatie hebben we heel erg nodig. Nico: Ik vind het heerlijk als ik als auditor bij bedrijven komen en zie hoe zij AI toepassen. Nico: Dat is waar het voor nodig is. Nico: Dat is wat onze maatschappij ook echt helpt, een hele verantwoorde manier door. Nico: Ik zie het nu vooral ook in het zorg heel veel hele interessante toepassingen waar mensen echt beter voor worden kwaliteit van leven verbeterd wordt. Nico: Hele grote problemen als personeelstekort in de zorg kunnen worden opgelost. Nico: Ik zie dat nu ook echt gebeuren. Nico: Ik werk zij not ook nog als ethic expert bij de Europese Commissie. Nico: Dat is een soort soort voorbode van waar allemaal in wordt geïnvesteerd. Nico: Vind je heel interessant om te zien wat ze daarom doen zijn. Nico: Daar word ik echt vrolijk van. Nico: En dan gaat mijn IT-haar natuurlijk ook een beetje. Nico: Dat is waarom we ook heel erg blij moeten zijn met de AI. Nico: Het gaat ons ook echt helpen. Nico: Dus ik zie die positieve noot heel nadrukkelijk. Nico: Maar ik zie ook dat als ik dan in zo'n ethical review board zie, dat er toch heel veel dingen nog even over het hoofd worden gezien. None Nico: En daarmee kun je dus aan de hand van wetgeving. None Nico: Daar moet ik het eigenlijk alleen maar aan de hand van wetgeving doen. None Nico: Kan ik zo'n organisatie mee helpen om binnen die kaders te blijven om ervoor te zorgen dat er verantwoord blijft dat hij niet straks tot het conclusie komt dat hij zijn innovatie van de muur moet groei. None Nico: Daar heeft hij niks aan, maar is de maatschappij ook niks aan. None Niels Naglé: Ik moest even nog verder aan die baksteen denk ik. None Niels Naglé: Ik ben heel vies denken, maar ik probeer even voor mezelf te worden dat je iemand dat je iemand. None Joop Snijder: Je zal ze wel een huis te bouwen. None Niels Naglé: Ik zat iets altijd met de baksteen gewoon mooi te maken, inderdaad. None Niels Naglé: Dankjewel. None Niels Naglé: De bak zijn niet kwalijk nemen. None Niels Naglé: En sommige organisaties hebben ook niet het brede beeld. None Niels Naglé: En ik denk dat het daar eigenlijk helpt om aan organisaties duidelijk te maken, waar moet je allemaal over nadenken? None Niels Naglé: Wat zijn die kaders, de vragen stellen die je moet doen, ook perspectieven moet je aannemen. None Niels Naglé: En ik denk dat het zo'n norm daarbij helpt om eigenlijk dat plaatje breder bekend te maken. None Niels Naglé: Dus daarom kan ik even een baksteen. None Niels Naglé: Je kan de baksteen niet kwalijk nemen. None Niels Naglé: En ja, we kunnen het organisaties wel kwalijk nemen, want er zijn gewoon normeringen, er zijn gewoon wetgevingen. None Niels Naglé: Ga dat dus ook gebruiken om dat voor jezelf voor je eigen organisatie helder te krijgen, dat is even waarvoor ik even moest terugdenken aan de bakstenen. None Niels Naglé: Het idee was dat ik met die metafoor het makkelijker maken, ik weet dat het voor veel leuk was, maar goed, voor mij misschien even een rateltje van binnen. None Nico: Wat nog wel een kenmerk verschil is tussen wetgeving en dan zo'n standaard, is dat zo'n wetgeving, daar heb je niet zo over te zeggen die iets van toepassing of niet. None Nico: En dat moet je weten of dat had je moeten weten. None Nico: Wat best complex is, want er komt heel veel wetgeving op organisaties af. None Nico: Een standaard is echt een soort vrijwillige commitment. None Nico: Dat geeft een strategische keuze, maar het is niet verplichtend. None Nico: En dat is toch wel even weer vind ik iets belangrijk. None Nico: Want als je dan ook echt het commitment geeft, dan moet je ook wel weten waar je commitment op geeft. None Nico: En daar gaat het ook nog wel eens mis. None Nico: Ik zie nog als organisatie die heel erg fanatiek inderdaad hele leuke innovatieve coole AI-dingen doen, maar eigenlijk heel weinig verstand hebben van zo'n standaard. None Nico: Dus je hebt dan ook, je hebt niet alleen maar kennis nodig van de technologie. None Nico: Je hebt ook echt kennis nodig van zo'n standaard en eigenlijk wat de bedoeling is van zo'n standaard. None Nico: En daarbij is het lastig ook wel, dat zo'n standaard is niet een lekker leesbaar romannetje. None Nico: Dus eigenlijk heb je daar wel weer een beetje hulp in nodig, dat begrijp ik ook nog wel. None Joop Snijder: Ja, maar dat zou ook meteen een vraag zijn, weet je, van ik zou dit willen als organisatie, waar begin ik dan om hier kennis van op te doen en dat ik het eigenlijk laat ik zeggen vandaag een beetje kennis ervan opdoen, morgen al een beetje proberen dat ik dat ik het kan gaan opbouwen. None Nico: Dat hangt er een beetje vanaf of je alles zelf wil doen en ook in huis wil houden, of dat je daar inderdaad hulp bij nodig in het begin of dat je dat ook wil houden, dat zijn verschillende van je bent. None Nico: Maar je moet die kennis wel in huis halen en op de enige manier houden. None Nico: Als je dat niet hebt en je leest het wel van begin tot eind, dan loop je ook het risico dat je eigenlijk alleen maar als een soort afvinkmachine dingetjes in te vullen. None Nico: Maak je een heel bureaucratisch systeem. None Nico: Kan aan de normen voldoen, maar dat kan heel makkelijk niet voor jou als organisatie werken en helemaal niet heel erg efficiënt zijn. None Nico: Als je als je de relaties niet kunt leggen, dan begrijpt niet waarom je dingen doet voor dat je weet doe je het voor de orde die langskomt. None Nico: Dat moet je begrijpen. None Nico: Je kunt zelf trainingen gaan volgen. None Nico: Je kunt organisaties inschakelen die je bij helpen. None Nico: Die zijn daar specifiek ook voor opgedrenzen. None Nico: Wij mogen dat als auditerende certificerende instelling zelf niet doen. None Nico: Wat soms ook nog wel eens lastig is, zeker waar ik vandaan kom, want je wilt graag zelf, soms is het licht de oplossing voor de hand. None Nico: Maar je moet ze niet meegeven in hoe ze het zouden moeten doen. None Nico: Dan zijn er niet meer objectief. None Nico: Daar begint het eigenlijk mee. None Nico: Wij zelf geven her en derde informatie of webinars, dan proberen mensen mee dan zeker als we al klanten hebben die bijvoorbeeld als ze in thuis een hebben. None Nico: Is privacy misschien niet ook iets voor je. None Nico: Ik zie dat jullie met AI-ontwikkelingen bezig gaan. None Nico: Vanuit de koken van zo'n informatiebewijsbeste, moet dat tot aangeboden besteed van is dit niet iets. None Nico: En dan kun je er wel iets van informerende zin aan toelichten. None Nico: Maar uiteindelijk zul je die verdiepingslag zelf moeten doen, dan moet je ook echt een track beginnen in zo'n organisatie. None Nico: En het is niet makkelijk om vanuit andere perspectieven naar je organisatie te kijken. None Nico: Je moet in één keer inhouden privacy naar de risico's voor anderen. None Nico: Daar heb je dan ook echt weer wat stand van privacy voor nodig. None Nico: Maar AI gaat dan nog breder. Nico: Dus ja, daar heb je waarschijnlijk hulp bij nodig. Nico: Of je moet mensen competenties mensen in gaan huren of aannemen. Nico: Of die competenties moet je gaan verschaffen. Joop Snijder: We hebben ook een kaartspel ontwikkeld, over verschillende competenties en verschillende perspectieven gesproken. Joop Snijder: Deze versie hebben wij samen met het ETZ ontwikkeld, het liefst bij twee steden ziekenhuis uit Tilburg. Joop Snijder: Zij zijn voorlopers op het gebied van AI-implementaties in de zorg. Joop Snijder: Het leuke is, zeg maar de stellingen, het idee is dat je een stelling krijgt, dus ook geen goed of fouten antwoord, maar dat je dus juist met elkaar bespreekt, wat vind je ervan. Joop Snijder: En wij willen zo'n stelling ook aan jou voorleggen. Joop Snijder: Iedereen heeft te maken met de zorg. Joop Snijder: Kijk het vanuit het perspectief, misschien ook gewoon vanuit jezelf. Unknown: Nee, voor elkaar twee. Unknown: Je denken het altijd bepalen verhalen. Niels Naglé: Je zag het, ik heb geschud en ik heb er willekeurig eentje uitgetrokken en de categorie is als volgt: toekomst visies en speculaties en een stellingluid. Niels Naglé: Binnen twee jaar is AI beter dan de zorgverlener. Nico: Ik zou gelijk nee zeggen. Unknown: Nee. Nico: Nee, zeker bij de zorg, ik denk dat er heel veel toekomst is aan AI-innovatie in de zorg. Nico: De zorgverlener hebben het over een persoon. Nico: Als iets belangrijk is, is dat we als maatschappij, maar ook als leverancier, denk ik, of als innovator toch altijd het menselijke aspect niet over het hoofd moeten zien. Nico: Dat is zo belangrijk dat we nog mensen zijn. Nico: Dus heb je niet nog een wat andere makkelijke of moeilijke stellingen. Joop Snijder: Daar hebben we niet gehad. Joop Snijder: Misschien kan je er eentje even uit de categorie ethiek pakken. Joop Snijder: We hebben zes categorieën waarin er verschillende vragen zitten. Niels Naglé: En dan zijn we ook nog risico's. Nico: Maar denk jullie daar anders over dan. Joop Snijder: Heet zelfs AI versterkte mens. Joop Snijder: Ik ben het helemaal met jou eens van de mens dienen versterken in wat hij doet. Joop Snijder: Ik denk ook dat bij heel snel als we het hebben over banen, want daar hebben we het hier eigenlijk over. Joop Snijder: Dat het te makkelijk wordt gekeken naar dat wordt gereduceerd tot een paar taken. Joop Snijder: En een van de mooie metaforen die ik heb gehoord, is de Domenfallacy, wordt die genoemd. Joop Snijder: Even kwijt wie dat bedacht heeft. Joop Snijder: En dat is de doorman is de portier bij een hotel. Joop Snijder: En als je die zou tot een paar taken zou reduceren, dan zeg je eigenlijk van nou die zegt welkom hebben een gast die komt, die doet die deur open. Joop Snijder: En die doet die deur weer dicht. Joop Snijder: Nou, dat is heel makkelijk te automatiseren. Joop Snijder: Maar die portier, die staat voor veel meer. Joop Snijder: Die heet jou welkom. Joop Snijder: Maar die zorgt er ook voor dat misschien ongenode gasten er niet komen, zorgt misschien voor een beetje veiligheid. Joop Snijder: Die zorgt voor luxe. Joop Snijder: Die kan taxi's best bestellen, die kan jou informatie geven over de omgeving. Joop Snijder: Dus die is ook van mens tot mens bezig. Joop Snijder: Ik ben het helemaal mee met jou eens met de zorgverlener hoor. Joop Snijder: Het zijn niet de handelingen of zo zomaar die uitgevoerd worden. Joop Snijder: Het is een van mens tot mens relatie die er ligt. Joop Snijder: En daar kan hopelijk AI in gaan ondersteunen in taken die. Nico: In de vraag staat al de zorgverlener. Nico: Dus en het gevallen voor een mensen. Nico: Want wat mij nu wel te binnen schiet, en dat vond ik zelf een best wel een goed voorbeeld ook. Nico: Het kan de zorg heel erg goed ondersteunen. Nico: Zolang ik de zorgverlener maar niet wegneemt. Nico: Organisatie waar wij geweest zijn, die heeft een product ontwikkeld, AI powered product, zo omschrijven. Nico: Voor mensen met onbegrepen gedrag. Nico: Er zit vaak een complexe combinatie van allerlei medische diagnoses die natuurlijk achter zitten, waarbij mensen bepaald gedrag vertonen omdat ze getriggerd worden en dat wordt door de omgeving niet goed begrepen, waardoor de omgeving op hun manier op reageert. Nico: En dat kan soms een leercel zijn of instanties die gebeld moeten worden of nou escaleert dan redelijk snel. Nico: Maatschappij daar niet blij mee, zo'n persoon natuurlijk ook niet. Nico: Waarbij dit systeem detecteert in wat voor situatie zo iemand zit. Nico: En die detecteert van die gaat niet helemaal goed. Nico: En voordat het daadwerkelijk tot dat gedrag lijkt en anderen daar last van hebben of dat niet goed begrijpen op hun manier reageren. Nico: Hun favoriete muziek worden afgespeeld. Nico: Dan escaleren het niet meer. Nico: Of er zijn andere vormen van reacties, of er is een soort AI-robot die tegen hem praat of die gaat interacteren. Nico: O in sommige gevallen van ja, dit is nu hebben we echt een hulpverlener nodig. Nico: Dus dan gaat het het systeem zelf probeert al te de-escaleren. Nico: Ook het onderscheid te maken van nu moet je toch echt even iemand erbij hadden. Nico: Nu heb je toch echt een mens nodig. Nico: Dat vind ik heel erg dat je daar een combinatie ziet van technologie, de cliënt moet dan geloof ik zeggen, echt ondersteunt, maar ook nog de zorg daarmee ondersteunt. Nico: En niet heel veel zorgpersoneel. Nico: En het zou ook heel fijn zijn dat we die zo goed mogelijk inzetten. Nico: Want waarom zou een zorgverlener langs moeten komen om zijn favoriete muziek als een systeem het al zo kunnen. Nico: En dat kan dan nog sneller ook nog. Nico: En dat is dan zoals ik het zie, een hele mooie toepassing. Nico: De kwaliteit van het leven voor zo iemand ook echt wordt verrijk. Nico: Maar wij als maatschappij er ook nog een keertje belangrijk is. Joop Snijder: Wat een mooie voorbeeld. Niels Naglé: Heeft me ook even de tijd gegeven om dat twee uit te pakken, inderdaad. Niels Naglé: Dank je wel voor. Niels: De categorie was dus op verzoek ethiek en maatschappij. None Niels: En ik heb er even twee uitgepakt, laten we met het eerst even beginnen. None Niels: Een fout van AI is kwalijker dan een fout van een zorgverlener. None Unknown: Over van de zorgverlener. None Nico: Ja, die vind ik wel leuker. None Nico: Het lijkt erop dat wij minder snel accepteren dat een AI-systeem een fout maakt dan een mensenfout maakt. None Joop: Na gedaan, dat is zo. None Nico: Dat vind ik heel erg interessant. None Nico: En ik vind niet dat ik te snel tegenin moet gaan dat ze zeggen van nee, maar dat moeten we maar gaan accepteren. None Nico: En ik vind ook echt dat we de ambitie al wat hoger mogen leggen bij innovatieve systemen. None Nico: Die denk ik ook op ten duur en op termijn natuurlijk steeds minder fouten maken en steeds meer. None Nico: Ik kan het zeggen foutloos zijn, maar steeds betrouwbaarder worden dat die acceptatiegraad groter wordt. None Nico: Maar nu breng je het echt terug naar de zorgverlener. None Nico: Ik zou eigenlijk willen zeggen, persoonlijk dan even zeker. None Nico: Nee, als ik moet kiezen, nee, nee, ik denk niet dat we. None Nico: Ik reden nu nog even in die zin dat AI eigenlijk doet wat wij schat in wat mensen doen, wat mensen de steen niet kwalijk is nou misschien ook, wat je neemt het AI-systeem niet kwalijk, want het is gewoon toch gevoed met hoe wij het doen. None Nico: En ik denk dat ik geneigd om toch wat meer richting het vertrouwen van AI te gaan. None Nico: Ik ben heel erg voor mensen in menselijk contact en mensen interactie, zoals je merkt, maar mensen zijn alles behalve feilleloos. None Nico: En er zit nog wel wat willekeurig in mensen onderling. None Nico: En ik vind het al in die zin interessant dat AI-systemen daarmee ook wat meer die willekeur eruit had. None Nico: En als ze dan ook nog collectief in die willekeur op een hoger niveau weten ben ik, denk ik dat we heel ver komen. None Nico: Dus ik denk dat mijn antwoord is, tegelijkertijd zit nu even te denken aan de autonome auto die mensen met een donkere huidskleur wat minder goed weten te detecteren. None Nico: Die kunnen nou eenmaal minder veilig de straat over steken dan witte mensen. None Nico: En dat vind ik daar moeten we niet accepteren. None Joop: Nee, dat is niet oké. None Nico: Als een mens zo'n fout maakt, en dan ga ik er even vanuit dit een bewuste keuzes tussen een wit iemand die oogste en een gekleurd iemand die oogste en dat is ingegeven door een racisme, dan is het heel begrijpelijk voor zo'n zo'n persoon. None Nico: Daar komt het vandaan nog steeds niet te billiken. None Nico: Maar dan vind ik dat eigenlijk nog schadelijker. None Nico: Ik proberen daar een beetje mee te vergelijken. None Niels: Wat kan je weer met de fout doen en grotere schaal een stukje automatisering inderdaad mooie blik erop dankje dan voor andere was vond ik ook wel heel mooi is: AI maakt de zorg minder menselijk. None Nico: Ik zou bijna willen zeggen per definitie, maar een beetje van de cases af maar er zit misschien een soort connotatie in de vraag of het erg zou zijn. None Nico: Ik denk, ik had net het voorbeeld genoemd, waarbij de combinatie van beide lijkt me een hele goede idee dat we daar heel veel baat bij hebben. None Nico: Ik denk dat daar waar het nodig is om menselijkheid moeten houden en dat ook echt moeten waarderen, niet moeten uitsluiten, maar ook echt moeten omarmen dat we technologische innovatie hebben die ons helpt. None Nico: Maar ja, wie heeft tegenwoordig nog een platte grond in de auto? None Nico: Die systemen maakt het allemaal wel wat je hebt geen vrouw naast je zitten die naar de kaart kijkt en zeggen van wat doe je nou allemaal, het wordt allemaal minder menselijk, maar de vraag is er in mijn geval niet, want ze houden net zo makkelijk op de kop, als ik de kaart moet lezen, dan wordt het ook geen succes. None Niels: Ik denk dat het inderdaad goed is waar wil je het voor inzet en dat je daar met elkaar bewuste keuze moet maken, waar willen we het meer menselijk kunnen maken, daar kan AI wel bij helpen inderdaad. None Niels: In die lijn, dus geen stelling wel, maar wel een vraag die nog voor me had, inderdaad, is eigenlijk als je als je nu dit allemaal meeneemt met de kennis die je nu hebt en je zou één aspect van de huidige AI ontwikkeling mogen resetten, dat we dat echt fundamenteel anders zouden gaan doen, wat zou dat dan zijn. None Nico: Het eerste wat mij te binnen schieten en dat wordt dan ook mijn antwoord, is de snelheid van mijn momentum. None Nico: In de wereld van technologische ontwikkeling gaat het best wel snel dat kennen we al een hele tijd, maar nu gaat het al heel grap. None Nico: Ik zei als expert ook bij de Europese Commissie. None Nico: Daar echt jaren geleden kwam daar een systeem voor bij waarbij dan automatisch werd beeld gegenereerd wat niet meer van echt te onderscheiden was. None Nico: Dat was toen baanbrekend en dat wordt dan moesten wij dan naar kijken in het review board, en dan zeg ik van je begrijp dat dat kan, in dit geval hele nobele toepassingen natuurlijk. None Nico: Maar de vraag is of wij als maatschappij daar klaar voor zijn, omdat als het niet meer van echt is te onderscheiden en het wordt wel als echt gepercipieerd. None Nico: Hoe gaan we er dan mee om in bijvoorbeeld de rechtspraak als het gaat om bewijsvoering? None Nico: Of wat als bepaalde bevolksgroepen met beelden worden geconfronteerd en daardoor er opstand komt op basis van beelden. None Nico: En dat eigenlijk is dit een soort risico, is over dit soort risico's nagedacht. None Nico: Het is niet dat het daarom niet mag, ik geloof niet zozeer in het gebied van technologie, maar daar zijn we er wel klaar voor. Nico: Dat waren we toen nog niet, maar vandaag de dag gebeurt, en het leuke is dat mijn kinderen die nemen nu beelden die ze zien al bijna niet meer automatisch aan voor eigenlijk. Nico: Het zal al fake zijn, het zal het soms echte beelden zijn. Nico: Ik merk dat we tijd nodig om ergens aan te wennen. Nico: Maar we moeten ook niet vergeten dat sommige mensen, ook wat meer oudere mensen, die maken ook nog onderdeel uit van onze maatschappij. Nico: Dus je moet ook echt oppassen dat we niet te snel gaan. Nico: Dat we als maatschappij of groepen binnen maatschappij dat dat niet kunnen bijbenen. Nico: Die horen er echt met recht ook bij. Nico: Als ik naar mijn kinderen kijkt, denk ik al dat ik al zo'n oudje ben. Nico: Ik denk dat dat is de eerste waar ik aan zit te denken van nou, ik ben best wel heel erg enthousiast over wat we ermee kunnen. Nico: Ik maak ook veel risico's over anderen vrouwelijk mee kunnen risico's. Nico: Maar de snelheid. Nico: Ook van de goede toepassingen, daar maken we wel zo mee. Joop Snijder: Wat is een vraag die we nog niet hebben gesteld over de normering of over de norm, die toch wel heel belangrijk zou zijn, zodat de luisteraars daar kennis van nemen. Nico: Twee dingen die me nog even binnen schoten waar ik niet echt heel druk heb. Nico: Eén is dat je stel op een gegeven moment de vraag over waar begin ik eigenlijk op moet doen. Nico: Wij komen normaal gesproken langs en dan laten we zien dat je klaar bent. Nico: Je ziet dat je klaar bent. Nico: En dan volgt het per definitie ook een oordeel, conclusies trekken. Nico: En dat is heel spannend. Nico: Dat blijft altijd wel een beetje spannend, maar zeker als je ermee begint, wat wij ook kunnen doen, is een proefaudit. Nico: En dat betekent dat we vliegen het wel aan als een audit. Nico: Er komt ook echt een orde. Nico: We kijken naar een onderdeel. Nico: Kanten kunnen zelf van ik daarna dadelijk kijkt. Nico: En we kunnen zelf onze eigen expertise meenemen. Nico: Daar gaan klanten nog wel eens de mist in. Nico: Zodat je daarna ook in kunt zoomen en daar een oorlog kunt vuil. Nico: En daarmee kun je al heel veel misvattingen soms wegnemen bij. Nico: Vooral de hele fundamentele dingen. Nico: Dus dat is misschien nog even een waardevolle toevoeging. Nico: Een andere die ik heel erg interessant vind, is dat ik had je aangegeven dat het allemaal riskbased systemen zijn, los daarvan een managementsysteem ook altijd doelen moet hebben. Nico: En organisaties worstelen nog wel eens van welke doelen moet ik eigenlijk stellen. Nico: Maar dat is heel essentieel. Nico: Dat is echt van die organisatie, waar we op sturen, wanneer ben je succesvol, je kunt wel champagne in de kast zetten, maar wanneer trek je die er nou uit. Nico: En risico's, oh, ja, dan moet je ook nog. Nico: Dat is lastig, dat is een discipline. Nico: Wat je in de 24001 ziet, IC2001, die vind ik echt kenmerkend anders. Nico: Daar worden die twee gecombineerd. Nico: Dat betekent dat de risico's die je moet inschatten binnen zo'n artificial intelligence management systeem. Nico: Die moet je zien ten opzichte van de doelen. Nico: Dus welke risico's kunnen mijn doelen bereiken of naar juist schade. Nico: En het leuke van die doelen is, die doelen die verwijzen eigenlijk naar trustworthy AI objectives. Nico: En daarmee heb je eigenlijk, maar dit is niet heel makkelijk leesbaar. Nico: Als je dit begrijpt, dan kan er een lampje aangaan en denk ik van dat is het. Nico: En dan wordt het enige lastig is voor hoe ga je nou dan nog die AI-doelen ook echt meetbaar maken, dat blijft lastig. Nico: En soms heb je daarvoor nou juist ook anderen nodig. Nico: Een omgeving voorbeeld dat ik gaf voor jullie een organisatie met dat onbegrepen gedrag, die hoeveel wetenschappelijke onderzoeken die ze adopteren werken met een universiteit. Nico: Je kunt ook anderen gebruiken, invoeren van buiten gebruiken om dat meetbaar te maken of daar keuzes in te maken. Nico: Dan ga je dat denk ik wat meer begrijpen. Nico: En voordat je het weet gaan er nog lol in hebben, die champagne uit de kast. Niels Naglé: Ik kan zeggen, ik kan in ieder geval bij jou zien dat je de lol uithaalt en om dit inderdaad uit te leggen. Niels Naglé: Dus dankjewel ervoor. Joop Snijder: Zeker, geweldig. Joop Snijder: Ik denk we een mooi kijkje hebben gehad in normering, wat het kan betekenen. Joop Snijder: Ook een beetje je eigen afwegingen. Joop Snijder: Je ziet dat als ze ethische vragen komen, dat dat best nog wel eens lastig is, hebben wij natuurlijk zelf ook. Joop Snijder: Leuk om dat van jou te horen, dankjewel. Joop Snijder: Leuk dat je weer luisterden naar deze aflevering, we hebben ook een hele leuke nieuwsbrief met dingen over achter de schermen. Joop Snijder: Da ga je ook een vraag lezen, die we bijvoorbeeld aan Nico en de andere gasten deze maand hebben gesteld. Joop Snijder: Dus abonneer je erop, een substack. Joop Snijder: Krijg je allemaal leuke informatie. Joop Snijder: Tot de volgende keer.