AI Act Roadmap: huidige regels en toekomstige verplichtingen voor bedrijven

Hartelijk welkom bij deze live keynote op het Nationaal Congres AI Governance & Compliance van Outvie. Met vandaag in de hoofdrol de AI Act. De wet die grote impact heeft op bedrijven in Nederland en Europa. En onze gast Bart Willem Schermer die geeft kleur aan een fundamentele vraag binnen deze wetgeving. Ben je aanbieder of gebruiker van AI? Een ogenschijnlijk eenvoudige kwestie met verstrekkende gevolgen. Dus luisteraar, spits je oren, publiek in de zaal, ga op het puntje van je stoel zitten want vandaag zal je zien hoe snel dit misgaat en welke verwarring op de loer ligt. Daarom zijn we blij met de perfecte gids door dit juridische labyrinth Bart Schermer. Hij is partner en oprichter van Considerati en hoogleraar Privacy & Cybercrime aan de Universiteit Leiden. Met zijn expertise in AI Legal & Governance gaat hij ons vandaag de weg wijzen. Dus laat je horen voor Bart Schermer! Zo, eerst even een belangrijk punt van aandacht. We hebben namelijk maar 35 minuten, dus we gaan direct de diepte in. Let op, de diepte in. Dus we gaan gelijk beginnen. Na de keynote zal Bart jullie vragen beantwoorden en die zijn te horen in de podcast. En vergeet dus niet je vraag tijdens deze sessie even op te schrijven en aan ons mee te geven, zodat we die kunnen stellen. En we zullen ook nog drie vraagstellers verrassen met een mooi AI-verrassingspakket. Laten we snel beginnen met de eerste vraag. Bart, wat ik wel verwarrend vind is dat de AI-act officieel is aangenomen, maar nog niet alle verplichtingen zijn meteen van kracht. Hoe zit dat precies met de huidige verplichtingen en kun je wat meer vertellen over het tijdspad van de AI-act en welke mijlpaal eraan aankomen? Klopt, ja de AI-act is in werking getreden, maar dat betekent nog niet dat die rechtstreeks van toepassing is. Dus bij Europese wetgeving is meestal een periode van 1, 2, 3 jaar voordat de wetgeving in werking traint. Zoals bijvoorbeeld ook bij de AVG, dat was het 2 jaar. Bij de AI-act is er een getrapt systeem waarbij delen van de AI-act al van toepassing zijn sinds 2 februari van dit jaar. Dus de AI-geletterdheid. Maar andere bepalingen nog in werking moeten treden, dus rechtstreeks van toepassing moeten raken. De belangrijkste datum is 2 augustus 2026. Dan gaan de regels voor hoog risico AI-systemen gelden. Dat is eigenlijk de hele AI-act zou je kunnen zeggen. Dus die datum moet iedereen in zijn agenda zetten, want dan is de belangrijkste datum. En dan is er nog de datum van 2 augustus 2027. Dan gaan de regels voor hoog risico AI-systemen gelden waarvoor een derde conformiteitstoetsing verplicht is. Dus dat moet een derde controleren hoe jouw systeem werkt en of dat aan de eisen van de AI-act voldoet. Daar moet een heel systeem voor worden opgetuigd met partijen die aanwijzen wie die toetsingen moeten doen en mogen doen. En die partijen moeten zich nog laten keuren, et cetera. Dus daar heeft de EU een jaar extra gegeven aan de lidstaten te beginnen. En je noemde net al hoogrisicofactor. Kun je toelichten waarom het risico gebaseerde karakter van de AI-act zo'n gamechanger is? Ja, wat de Europese Unie heeft gedaan is eigenlijk productregulering genomen. Dus dat geldt, dat hebben we nu al voor allerlei producten. De kabelbaaninstallatie, gastoestellen, et cetera. En dat zegt eigenlijk van op het moment dat jij een product op de Europese markt brengt wat een risico kan vormen als het niet goed is. Dan moet dat aan allerlei eisen voldoen. Zodat we alleen hoogwaardige kwalitatieve producten die veilig zijn op de Europese markt krijgen. Dus vandaar dat in de AI-act de zogenaamde hoogrisicocategorieën zijn. En dat zijn allemaal producten die dus, of eigenlijk AI-systemen, als je ze niet goed ontwikkelt en niet goed gebruikt, een risico kunnen vormen. Oh ja. En wat betekent dat dan als je in die hoogrisicocategorie valt? Dat je aan de beurt bent. Voor? Nee, wat dat betekent is dat de EU zegt eigenlijk van nou, als je hoogrisico AI-systemen bouwt en gebruikt, dan moet je aan allerlei verplichtingen voldoen. Dan hangt het dus af of je aanbieder bent van zo'n AI-systeem of wat ze noemen gebruiksverantwoordelijker. Dus de afnemer, de gebruiker van die AI-systemen. En die producten, die AI-systemen moeten goed en veilig zijn, moeten goed gecontroleerd worden. Dus als je een hoogrisico AI-systeem gebruikt of levert, dan moet je aan alle verplichtingen van de AI-act voldoen. De AI-act gaat eigenlijk alleen maar over hoogrisico. Dus het is een enkele bepaling voor overige AI-systemen. Maar het gaat primair over die hoogrisico AI-systeem. En wat zijn er ook AI-systemen die niet onder de wet vallen? Ja, dat is een interessante vraag. Je valt niet onder de wet als je geen AI-systeem bent. Dus de AI-act gaat alleen over AI-systemen. Dan is vervolgens de vraag, wat is dan een AI-systeem? Daar is een definitie van. Alleen die definitie is dusdanig ruim en vaag. Dat nog steeds vrijwel alles eronder kan passen. Nu zit er een overweging in de AI-act die zegt eigenlijk van, of bij de AI-act, die zegt van regels die puur door natuurlijke personen, dus door mensen zijn geprogrammeerd. If-then-achtige regels. Dat soort simpele algoritmen, die vallen buiten de AI-act. Maar alles wat een zeker inferentievermogen heeft, dat valt er wel onder. Dan moet je met name natuurlijk denken aan machine learning en dergelijke. AI-office, dus dat is de organisatie die de Europese Commissie helpt om de wet te interpreteren en compliance te organiseren. Die heeft een soort van richtsnoer geschreven van twaalf pagina's om dat nader te duiden. Ik ben er niet heel veel wijzer van geworden. Het is nog steeds niet heel veel helderder voor mij waar nou de scheidslijn zit van, dit is een AI-systeem en dit is geen AI-systeem. Ja, en dan heb je het over hoog en de buitenvallen. Ja, de eerste vraag is, heb je een AI-systeem? Dus gebruik je een AI-systeem of bied je een AI-systeem aan? Als je niet onder die definitie van een AI-systeem hebt, houdt het daarop. Dan is de AI-act niet van toepassing. Maar als er een AI-systeem is, dan ga je vervolgens kijken van, is dit een hoogrisico AI-systeem? Nou, als die twee voorwaarden voldaan zijn, dan moet je dus aan al die regels gaan voldoen. En als je er nu van uitgaat dat je een hoogrisicosysteem hebt, hoe kan je je dan voorbereiden op zo'n direct als dat deel van die wet geactiveerd wordt? Ja, het eerste wat je eigenlijk moet vaststellen is of je aanbieder bent van zo'n AI-systeem of zo'n gebruiksverantwoordelijke. En dat heeft allemaal te maken met het juridisch systeem wat gekozen is, dat is productregulering. Dus net als voor recreatievoertuigen, kabelbaaninstallaties en gastoestellen. Dat zijn allemaal producten die door de EU gereguleerd zijn. Eigenlijk het idee is van, dat zijn potentieel gevaarlijke producten, dus die moeten goed veilig zijn, die moeten goed werken. Dus die logica hebben ze ook losgelaten op AI. Dus eerst moet je bekijken, ben ik aanbieder, fabrikant als het ware, van zo'n AI-systeem of ben ik de afnemer, de gebruiksverantwoordelijke. En op basis daarvan krijg je dan de verplichtingen. En daar is mijn advies, ga nu alvast aan de slag. Want zeker als je aanbieder bent, dan heb je een hoop te doen en te regelen. Ja, wat heb je dan zoal te regelen voor een aanbieder? Aan de aanbiederkant, eigenlijk de hoofdregel is dat je systemen accuraat, robuust en veilig moeten zijn. En om dat eigenlijk te bewerkstelligen, worden er allerlei eisen gesteld aan de AI-systemen zelf. En jouw manier van AI voortbrengen. Dus als je kijkt naar de AI-systemen zelf, die moeten accuraat, veilig en robuust zijn. Maar je moet ook zorgen dat die systemen met de juiste data zijn getraind. Dus dat die data accuraat is, representatief is compleet, geen bias bevat, et cetera. De systemen moeten logging mogelijkheden hebben. Dus eigenlijk zeggen van nou, dit is de input die erin is gegaan met deze versie van het model. Dit is de output die eruit is gekomen. Die systemen moeten menselijk toezicht mogelijk maken. Dus dat betekent dat de gebruiksverantwoordelijke moet kunnen kijken van werkt dit systeem zo als het moet werken? Of vliegt het uit de bocht en dan kan die gebruiksverantwoordelijke aan de bel trekken? Transparantie moet interpreteerbaar zijn. Dus je kan niet zeggen een soort van black box. En al dat samen, dat zijn dus eisen aan het systeem. Daar moet je dus een kwaliteitsmanagement systeem en een riskmanagement systeem omheen bouwen. Zodat jij vanaf het voortbrengen tot en met het daadwerkelijk in gebruik nemen van het model of het systeem moet ik zeggen. Dat allemaal goed en netjes doet. Dus dat is serieuze eisen aan je AI-straat. Zeker. En je noemt accuraat, veilig en robuust. Nou, de eerste twee. Ik denk dat de mensen daar wel een idee bij hebben. Maar wat betekent eigenlijk een robuust AI-systeem? Moet je met name bedenken aan continuïteit. Dat het systeem blijft draaien. En dat heeft natuurlijk ook weer met die hoogrisicocategorieën te maken. Dus een van de hoogrisicocategorieën is kritieke infrastructuren. Ja, daar wil je niet dat je AI-systeem uitvalt. Dus er moeten eisen worden gesteld aan de robuustheid. Hangt ook weer samen met die veiligheidseisen, met die cyberveiligheid. Dus als een model wordt aangevallen, een systeem wordt aangevallen, moet het niet meteen omvallen. Nee, dus dat betekent heel veel voor technologie, maar eigenlijk nog meer voor de organisatie. Ja, aan de aanbiederskant dus alles regelen om die systemen zo te ontwerpen dat ze aan al die vereisten voldoen. En aan de gebruiksverantwoordelijke kant is de voornaamste verplichting dat je die systemen moet monitoren. Dus het menselijk toezicht, dat de verplichting daartoe ligt aan de gebruiksverantwoordelijke kant. En die moet dus monitoren van, is die output nog wel binnen de bandbreedte? Functioneert het systeem zoals het zou moeten? En dus ook ingrijpen. En dat kan tot en met op een rode stopknop drukken zijn als het misgaat. Ja. En je hebt het over aanbieder en gebruiker. Hoe weet ik of ik een aanbieder ben? Want ik heb die wet ook doorgelezen. Daar word je af en toe niet vrolijk van, van die teksten. Hoe weet ik nou dat ik aanbieder ben van een systeem? Want daar zitten best wel heel wat verplichtingen aan vast als ik een aanbieder ben. Ja, je bent aanbieder op het moment dat je het systeem binnen de Europese Unie aanbiedt op de marktplaats. Dus bijvoorbeeld te koop aanbiedt en gebruikers dat kan laten afnemen. Maar ook op het moment dat je voor jezelf een systeem bouwt. Dus je zegt van nou, ik kan in de markt geen deugdelijk systeem vinden. Ik ga het zelf bouwen. Als organisatie, als bedrijf. Als organisatie. En je gaat het voor jezelf gebruiken. Dan ben je ook aanbieder. Maar heb je ook de gebruiksantwoordelijke verplichtingen erbij. Oh, dan is het gewoon dubbel op. Dan heb je dubbel op. Want dan maak je het systeem. En als je dat in de hoog risicocategorie doet. Ja, of je dat nou koopt of je neemt het van iemand af. Dat systeem moet veilig zijn. Dus als je hem zelf dan maakt voor eigen gebruik. Dan ben je ook aanbieder. En er staat. En daar zal nog wel wat interpretatie komen. Verwacht ik. Er staat ook in de AI. Als je een systeem laat ontwikkelen. Dat je ook aanbieder bent. En als ik dat lees als jurist. Dan denk ik van nou, ik ben een ziekenhuis. Ik laat een systeem voor mij ontwikkelen door een aanbieder. Maar als ik het laat ontwikkelen. Dan ben ik aanbieder als ziekenhuis. En jij hebt als ziekenhuis juist niet de expertise. Om dat goed te doen. Want daarvoor huur je juist iemand in. Dat is best bijzonder. Dus de interpretatie daarvan. Daar ben ik ook nog wel benieuwd naar. Ja. En hoe gaat dat zo direct lopen dan? Komt er straks ergens een case of zo. Waarbij dan er meer duidelijkheid komt. Want ik neem niet aan dat de wet tekst wordt aangescherpt. Zomaar. Nee, ik denk dat ze deze wet voorlopig even niet aanraken. Wat je wel ziet. Er zijn eigenlijk twee parallele stromen. De eerste is dat richting die datum van 2 augustus 2026 en 2 augustus 2027. Er een standaardisatie traject is. Waarbij voor allerlei verplichtingen uit de AI act er Europese standaarden komen. Dat is altijd bij productregulering. Zodat je ook weet als bijvoorbeeld zo'n aanbieder. Wat je nou precies moet doen. Dus daar zal veel meer duidelijkheid komen is de verwachting. Alleen de vraag of die standaarden op tijd af zijn. Ik heb daar mijn twijfels bij, laat ik het zo zeggen. En het andere is, wat ik eerder al noemde, die AI office. Die helpt bij de interpretatie van bepaalde begrippen. Dus die hebben bijvoorbeeld al gekeken naar wat is een verboden systeem. Dat is ook een categorie in de AI act. Nu die interpretatie van de definitie van een AI systeem. Dus er zullen richtsnoeren komen en best practices en dergelijke in de komende twee jaar. Maar ik laat het zo zeggen, als ik organisaties een tip mag geven. Ga daar niet op wachten. Nee, want kijk, 2026, 2027 klinkt heel ver weg. Dus ik denk dat er best wel heel veel mensen denken, oh dat kan wel even duren. Niet wachten, wat ga je doen? Nou, aan de slag. Wat ik als eerste doe, wat wij ook organisaties aanraden, is inventariseer waar je binnen je organisatie nu al AI systemen gebruikt. Zeker als je overheid bent, want dan moet je ook voor de bestaande systemen uiteindelijk aan alle AI act regels gaan doen. Maar inventariseer waar ga je AI gebruiken en waar gebruik je AI al. En beoordeel voor elk van die systemen of systemen die je wilt gaan gebruiken. Ben ik daar nou aanbieder van of ben ik daar gebruiksverantwoordelijke voor of ben ik alle twee. En bepalen basis daarvan, wat zijn dan de regels. Dus voor aanbieders artikel 16, voor gebruiksverantwoordelijke artikel 26. Lijstje A tot en met L met al je verplichtingen. En dan kan je aan de slag. Dat is als het ware je to-do list. Ja, lekker concreet. Lekker praktisch inderdaad. Ik had nog een klein vraagje over aanbieder, gebruiker. Maar er zijn ook termen die voorbij komen als distributeur, importeur. Hoe houden die verband tot elkaar? Ja, dat is een heikelpunt met de AI act. Zoals ik al zei, het is productregulering. Wat eigenlijk betekent van je hebt een aanbieder van een product. En dat zet als het ware dat product in het schap. Dus je maakt een broodrooster als aanbieder. Die zet je in het schap en iemand neemt dat ding uit het schap. In de fysieke wereld heb je daar vaak de figuur van een importeur en distributeur bij. Dus je importeert het uit China. Of je bent distributeur voor een systeem. Dat geldt ook voor de AI act. Ik denk dat dat wat minder relevant gaat zijn in de context van AI systeem. Omdat veel van die systemen toch als een soort van SaaS-achtige oplossingen aangeboden worden. Of ergens specifiek voor een organisatie ontwikkeld worden en on-prem gedraaid worden. Dus importeur, distributeur relevant. Maar wat denk ik nog relevanter is om naar te kijken, zeker als je aanbieder bent, is wat voor componenten van anderen gebruik ik. Dus gebruik ik bijvoorbeeld open source modellen, gebruik ik tools, wat haal ik van GitHub. Al dat soort aspecten. Want dat speelt ook mee in je rol als aanbieder. Hoe je je moet verhouden tot weer die derde partij. Wat voor rol dan? Wat speelt erbij als je open source in zou zetten in je oplossing? Nou eigenlijk, en dat is een beetje een soort van verborgen aspect. Verborgen parel moet je het misschien niet noemen. Maar artikel 25 van de AI act die regelt eigenlijk de rollen in de AI waardeketen. Ze hebben eigenlijk die productregulering genomen. Dat is echt een fysiek ding. En we zijn nu toegepast op software en dat matcht eigenlijk niet. Dus dat artikel 25 dat regelt een beetje hoe die partijen zich onderling tot elkaar moeten verhouden. En dat betekent bijvoorbeeld dat als jij een aanbieder bent die componenten gebruikt van een derde. Dat je schriftelijke afspraken moet maken met die derde. Nou, is de vraag of die derde er überhaupt op zit te wachten. En bijvoorbeeld voor open source componenten is daar een uitzondering voor. Maar uiteindelijk ben je als aanbieder wel verantwoordelijk voor een deugdelijke AI systeem. Dus neem een beetje een metafoor van een auto. Als jij een motor pakt, een open source motor pakt, en die stop je in een auto. Als die auto ontploft, omdat die motor niet goed was, kun je niet zeggen. Ja, maar ik heb die motor genomen. Die was van iemand anders. Precies. Dus jij bent de aanbieder van die auto, dus jij bent ook verantwoordelijk voor het eindproduct. Zelfs als alle individuele componenten, wat ze nou noemen CE, gekeurd zijn. Jij bent nog steeds verantwoordelijk voor de som der delen. En dat is iets denk ik wat veel organisaties, veel aanbieders nu onderschatten. Die pakken een willekeurig model van internet, of dat nou Lama is, of DeepSeq, of whatever. En bouwen daar een mooie interface omheen. Prompten dat slim. En hebben een AI-systeem. Ja, dan moet je wel snappen hoe die grote modellen werken, die foundation models. Het is de vraag of je dat kan. En betekent dat je eigenlijk van gebruiker, eindgebruiker, verschuift naar aanbieder? Dat kan ook, ja. Dus als jij zegt, ik ben een ziekenhuis, of ik ben een retailer, en ik ga voor mijn eigen toepassingen een chatbot ontwikkelen. En die chatbot gaat in een hoog risicocategorie aan de slag. Dus ik heb al een gemeente gehoord die ChatGPT gebruikte voor het beantwoorden van bezwaren. Nou, ik denk dat je dan wel richting hoog risico kan gaan. Maar zelf, dat doe je. Dan kun je op dat moment aanbieder worden voor die toepassing. Omdat jij eigenlijk zo'n ChatGPT gebruikt, wat ze dan in de AI noemen een systeem voor algemene doeleinden. Als je zo'n AI-systeem voor algemene doeleinden, wat dus per definitie niet hoog risico is, omdat het voor alles gebruikt kan worden. Als je zo'n systeem inzet in een hoog risicocategorie, dan staat ook in hetzelfde artikel 25, dan verschiet je van kleur. Dan word je aanbieder voor dat systeem. En ik denk dat een hele hoop partijen zich dat niet beseffen. Want iedereen is nu natuurlijk bezig met Copilot en ChatGPT en noem het allemaal maar op. Hartstikke mooi. Maar als je dat in zo'n hoog risicocategorie doet, dan kan het best zijn dat je aanbieder wordt. En hoeveel moet je zelf toevoegen aan het generieke model wat je gebruikt om die aanbieder te worden? Het enkele gebruik van het model, zonder dat je er iets aan verandert in een hoog risicocategorie, dan verschiet je al van kleur. Oeh, dat is best pittig. Ik verschiet ook even van kleur van dit antwoord. En dat heeft gewoon te maken met dat ze die productregulering hebben gekozen. En die productregulering is eigenlijk niet geschikt voor AI in mijn optiek. Ik weet ook niet per se wat een beter systeem had geweest. Maar je zit daar met eigenlijk de legacy van wetgeving die voor de fysieke wereld is geschreven. Die je toepast op een heel nieuw dynamisch product zoals AI. En als je nou een zelf open source ontwikkelt en je stelt dat ter beschikking, ben je dan ook aanbieder? In het beginsel wel, maar dan val je grotendeels buiten de AI. Dus als jij tools of modellen echt open source publiceert, dan ben je niet aanbieder van dat model. Maar op het moment dat een aanbieder die pakt, dus een ander bedrijf zegt, ik pak Lama en dan ga ik mee aan de slag. Die wordt dan aanbieder voor dat model. En die moet dus heel goed weten wat die doet. Die moet weten wat voor tool, welke motor die in zijn auto bouwt als het ware. Ja, precies. Heftig bij zelf. Zeker heftig inderdaad. En hoe snel inderdaad. Ja, kijk, en het is ook heel... Daar zijn natuurlijk al de discussies, zeker in dit geopolitiek tijdsgewricht, naar aanleiding van het Draghi rapport. Er zijn al veel klachten over dat we niet AI moeten overreguleren. Dus ik ben benieuwd hoe heet de soep wordt opgediend. Maar de regels in de AI-act zijn wat dat betreft helder. En denk ik ook goed, als jij een product bouwt en gaat gebruiken, je gaat Europa daar en de mensen, de burgers daar aan blootstellen. Ja, dan moet je wel weten dat het goed werkt. En er is nu best wel wat te doen rondom Amerika en Europa. Voorzie jij dat vanuit, zeg maar, wat de huidige ontwikkelingen zijn, dat deze wet misschien nog onder de druk van wat er nu gebeurt, best wel fundamenteel wordt aangepast? Nou, ik denk niet aangepast, want dat zijn grote wetgevende trajecten. Dat duurt jaren en dan moeten de verschillende instituties van de EU, dus het parlement en de raad en de commissie, dan moeten er allemaal weer samenkomen. Dus een aanpassing van de wet verwacht ik niet zo snel. Maar, ja, kijk, wetgeving kun je natuurlijk op honderd manieren interpreteren. En ik denk wel dat in de interpretatie misschien een aantal bepalingen wat afgezwakt zullen worden onder druk van die geopolitieke ontwikkelen en eigenlijk de wapenwetloop waar we nu in zitten. Dat is ook wel een beetje wat het Draghi-rapport natuurlijk zegt. Dus wij moeten, nou, het is wat kort door de bocht door, maar minder reguleren, meer innoveren. En hoe kijk je daar zelf naar? Ik vind het belangrijk dat AI niet dicht gereguleerd wordt, niet kapot gereguleerd wordt. En je ziet nu al bijvoorbeeld de eerste reactie, bijvoorbeeld het nieuwste model, Lama 4 van Meta, open source model. Daar staan gewoon in de algemene voorwaarden staat dat het bepaalde toepassingen niet in de EU mag worden gebruikt. Het mag niet door EU, residents en EU bedrijven worden gebruikt. Ja, dat is natuurlijk best wel zorgelijk. Tegelijkertijd hoop ik niet dat we deze wetgeving gaan afzwakken, omdat het hele idee achter de wetgeving dat we goed werkende AI, veilige AI willen die ons ten dienste in als mens in Europa hebben. Daar vind ik die regulering, het idee achter de regulering in ieder geval, vind ik wel goed. Want het hele idee van een wapenwedloop is een race to the bottom. En voor je het weet zitten we met allemaal verschrikkelijke AI systemen die allemaal vergissingen maken, waardoor wij als mensen vermorzeld worden door verkeerde beslissingen van AI. Heeft Meta niet eigenlijk gewoon een stempel op dit model gezet van het is onveilig, kwalitatief niet genoeg, want het voldoet niet aan de EU-wetgeving? Ja, ik denk dat dit gewoon een stuk lobby ook is. Kijk, enerzijds dekken ze zich natuurlijk juridisch in door te zeggen van nou kijk, als je ons model gebruikt, dan wij vallen niet onder die EU-regels. Met de nieuwe Trump-regering zitten die big tech partijen natuurlijk sowieso iets anders in de wedstrijd. Die zijn wat minder geneigd zoals vroeger om compliant te zijn met de EU-wetgeving. Maar ik denk dat dit ook een onderdeel is van de lobby richting Europa, met name de Europese Commissie en de landen, om te zeggen van zwak die wetgeving maar wat af, want anders krijg je onze mooie spullen niet. Ja, interessante wedlopen inderdaad die daar gaande is. Ik wil hem even pakken naar het stukje van, goh, we willen dit goed doen binnen de EU. En dat betekent dat we ook afspraken moeten maken met leveranciers, met wie we de AI-producten inzetten. Hoe kunnen organisaties daarmee omgaan om het praktisch in te gaan richten om dit goed te doen? Ja, ik denk wat ik eigenlijk nu zie met de AI-act, als ik kijk naar organisaties, wij komen heel veel organisaties binnen die dus nu zich afvragen wat moeten we doen met de AI-act. En op boordniveau zie je steeds meer eigenlijk de discussie ontstaan van buy or build. Dus de AI-act door die productregulering dwingt je eigenlijk in een van die twee rollen, of aanbieden of gebruiksantwoordelijken of misschien allebei. Dus voor organisaties heb je eerst een fundamentele keuze te maken van, ga ik bouwen of ga ik kopen? Want op het moment dat je zegt ik ga bouwen, dan krijg je al die aanbiedersverplichtingen erbij. En dat betekent eigenlijk dat je een AI-ontwikkelstraat moet hebben met de juiste tools, juiste mensen, resources, expertise. En dat is best wel een fundamentele keuze. Dan is het, wij hebben een bedrijf geweest, dat was een zorgpartij, die zei van zijn wij een zorgpartij die AI gebruikt? Of zijn wij een AI-partij die in de zorg opereert? Een fundamentele vraag. Dat is echt een fundamentele strategische vraag, denk ik, die veel organisaties zich moeten afvragen. Dus daar begint het denk ik bij. En zeker als je toch zegt van, joh, ik ga voor een buy-strategie, dan is het wat makkelijk. Maar je zegt van, ik ga voor een beeldstrategie omdat ik mij wil onderscheiden. Of, en dat is met name bijvoorbeeld in overheidslands het geval, er is voor mij geen aanbieder, want ik heb een hele specifiek niche-proces. En er is niet een soort van aanbieder die voor dat specifieke niche-proces een AI-systeem ontwikkelt. Kijk, voor HR-systeem is het makkelijk. Dus iedereen heeft HR, dus daar kun je wel iets met AI doen. Maar als jij een specifiek proces hebt wat echt niche is en je dus eigenlijk gedwongen bent tot beeld, dus zelf aanbieder worden. Ja, dan moet je wel gaan kijken naar je organisatie qua inrichting. En dat begint met data en data governance. Dus AI maakt eigenlijk, wat mij de AI acten, überhaupt AI maakt veel duidelijker dat organisaties veel gestructureerder moeten omgaan met hun data. Dus elke organisatie die data en data governance niet op orde heeft, die hoeft geen AI te gaan gebruiken. Dat is dan de volgende stap. Ja, precies. Ik heb ook nog een vraag over wat nu best wel een hot topic is en dat is de AI geletterdheid. Ja. Die is ingegaan 2 februari van dit jaar. Iedereen is ook al compliant in deze zalen. Ja? Maar hoe weten we dat eigenlijk, dat zij compliant zijn? Ja, kijk, het is die AI geletterdheid, dus sowieso dit soort congressen dragen daar natuurlijk ook aan bij. Wat de AI act zegt, dat zowel voor de aanbieder als gebruiksverantwoordelijke moeten de mensen binnen de organisatie AI geletterd zijn. En dat betekent wat meer specifiek dat men voldoende moet snappen van AI om de risico's en kansen daarvan op waarde te schatten. En dat is heel verschillend voor verschillende mensen binnen een organisatie. Het is de AI geletterdheid bij de data science afdelingen, daar hoef je misschien wat minder zorgen om te maken. Maar degene die uiteindelijk achter de knoppen zitten, dus bijvoorbeeld de arts die een AI systeem gebruikt en die de uitkomst moet interpreteren, is dat misschien een ander verhaal. Of de beleidsmaker of de beslisser binnen het bedrijfsleven die een keuze moet maken voor de inzet van AI. Dus er zijn allerlei verschillende niveaus van kennis die je nodig hebt binnen een organisatie om AI geletterd te zijn. Dus wat mij betreft komt er stiekem best wel wat weg achter die AI geletterdheid. En kom je er denk ik niet met wat veel organisaties natuurlijk nu doen, is even snel een AI e-learning inkopen en dan heb je wel geregeld. Dan heb je je vinkje. Dan heb je je vinkje. Toch even over die data scientist, want ik heb het vermoeden dat je daar te makkelijk overheen stapt. Want volgens mij moet je als data scientist juist heel veel weten. Je hebt het over transparantie volgens die wet, je hebt het over bias zo min mogelijk erin. Er zijn eigenlijk heel veel eisen. Wat we natuurlijk tot nu toe gezien hebben, is dat er best wel heel veel systemen zijn die gebouwd zijn. Ook vanuit overheidswegen. Die er helemaal niet aan voldoen. Waar wel data scientists aan gewerkt hebben. Ja. Dus ik denk dat volgens mij hoe verder je komt, laten we zeggen hoe dieper je komt in de technologie, hoe meer er uiteindelijk van je gevraagd wordt. Ja, het is even de vraag of dat van de data scientist gevraagd wordt. Hoe wij het zien is dat dit is een multidisciplinair vraagstuk, multidisciplinair probleem. Dus risico's inschatten, dat ligt misschien meer in de hoek van de juristen en de compliance medewerkers. Maar die moeten wel wat snappen van AI om die inschatting te kunnen maken. En daar hebben ze de data scientists voor nodig. Net zoals dat de data scientists de juristen nodig hebben. Dus ik denk dat de sleutel voor de oplossing ligt hier echt in multidisciplinaire samenwerking. Om die risico's goed in te kunnen schatten. En om uiteindelijk een goed systeem te bouwen. Ter verdediging van de data scientists. Er zit daar natuurlijk heel veel druk op organisaties. Zeker vanuit het management van we moeten iets met AI gaan doen. Ja, zeker. Ik denk ook dat het eigenlijk begint juist bij management. En bij de business om het maar zo te noemen. Of het beleid binnen een overheid. Waar willen we AI voor gaan gebruiken? Iedereen heeft nu last van het shiny object syndrome. We moeten AI gebruiken. Ja, we weten niet welk probleem we ermee gaan oplossen. Maar we moeten het wel gaan doen. Het begint bij de vraag van welk probleem ga ik oplossen? Welk proces ga ik automatiseren? Of welk proces ga ik verbeteren? En wat is de juiste vorm van AI die ik daar eventueel bij kan gebruiken? Dus ik moet een beetje denken aan de tovenaarsleerling. Iedereen pakt nu de meest heftige modellen. Ga daarmee hobby. Hebben geen idee wat ze aan het doen zijn. Maar het wordt wel live gebracht. Dat is iets wat de AI, dat is ook denk ik goed van de AI, wat de AI aan het doen is. Die zegt van het hobby tijdperk is over. Als jij AI gaat inzetten in een hoog risicocategorie. Dan ga je al deze dingen doen. En dan ga je zorgen dat het veilig is. En dat is denk ik een goede zaak. Want we hebben het over hoog risico. Als je ze zo direct in die risicoclasse daaronder valt. Wat moet je daar dan voor doen? Ja, dat is eigenlijk de AI. Ik noem het niet zo, maar dat zou je dan de laag risicocategorie noemen. Dat zijn eigenlijk de overige AI systemen. Dat zijn eigenlijk. Daar zijn wat transparantieverplichtingen voor. Voor de liefhebbers. Met name artikel 50. En daar staan wat aparte dingen in. Dat op het moment dat jij deepfakes maakt. Dat je moet aangeven dat je deepfakes maakt. Dan denk ik meteen van ja, die oplichter die gaat dat natuurlijk zeker erbij zetten. Maar ja, voor die overige AI systemen. Voor die laag risicocategorie. Gelden geen specifieke regels van de AI. Wat wel nog goed is voor iedereen in de zaal en de luisteraars thuis. Is dat naast de AI act geldt gewoon onverkort. Alle andere Europese en Nederlandse wetgeving. Dus ga niet juichen als je geen hoog risico AI systeem bent. Of ga je daar niet uitwurmen. Want daarnaast is de AVG van toepassing. Voor de overheid is de algemene wetbestuur zegt gewoon van toepassing. Dus er zijn allerlei andere wetten. Die ook voor die laag risico AI systemen gewoon gelden. Ja, en stel we willen gaan voorbereiden. Want het is zo 2026. Het is zo 2027. Wat voor rol spelen de compliance afdelen, de legal teams binnen de organisaties om hier die stappen in te gaan zetten? Ja, dit vraag je aan een jurist. Dus die gaat zeggen dat het het allerbelangrijkste is natuurlijk om een jurist te betrekken. Nee, wat ik eerder eigenlijk zei. Ik zie het met name in die multidisciplinariteit. Dus juristen die moeten wat van AI snappen. Ik ben jurist dus ik mag dat zeggen. Maar ik ben met een ruime boog om statistiek heen gegaan. Op de middelbare scholen op de universiteit. Eigenlijk kan dat niet. Dus je moet echt als jurist verdiepen in de technologie. Je hoeft geen modellen zelf te gaan maken. Maar je moet wel een beetje snappen hoe machine learning werkt. Welke rollen er zijn. Hoe die modellen op hoofdlijnen werken. Zodat je ook die risico's kan inschatten. En het gesprek aan kan gaan met de data scientist. Net als de data scientist andersom over de eigen schaduw heen moet snappen. En wat van die vage term als proportionaliteit en subsidiariteit moet gaan begrijpen. En ik denk dat daar het begin zit. Voor nu. Leer elkaar kennen. Ga samen kijken hoe je de compliance kunt inrichten. En de volgende stap is eigenlijk wat de AI-act noemt een kwaliteitsmanagementsysteem. Dat is met name relevant voor aanbieders. Maar ook voor gebruiksverantwoordelijken zou ik daar zeker naar kijken. En dat is eigenlijk hoe gaan we die hele compliance inrichten. Vanaf het idee vormen tot en met het deployment. Alles daartussen. Wie is waarvoor verantwoordelijk. En wie moet wanneer zeggen ja of nee. Precies. Dus de rollen en verantwoordelijkheden. Je noemde al de AVG. Welke lessen kunnen we eigenlijk trekken uit de implementatie van de AVG? Dat we zeggen van laten we nou niet in die valkuilen trappen bij de implementatie van deze wet. Oeh. Een paar dingen. Eerste. Begin niet te laat. Ja. Ik heb bij de AVG. Het was hilarisch. De AVG begon iedereen veel te laat uiteindelijk. En dat was nota bene een wet die eigenlijk qua regels al bestond. Want we hadden de wet bescherming persoonsgegevens al gebaseerd op de Europese richtlijn. De AVG vroeg eigenlijk niet zo heel veel van de organisaties. Het was niet nieuws. Maar ik heb bij boards gezeten van grote multinationals. Echt miljardenbedrijven. Die zes maanden voordat de AVG van toepassing werd. Dus die hadden nog zes maanden. De CFO die vroeg aan mij van gaan we het halen? Ik zeg nou. Nee we gaan het niet halen. Op papier ga je compliant misschien zijn. Maar we gaan het niet halen. En toen vroeg je aan mij van ja maar wanneer zijn mijn peers dan begonnen? Ik zeg nou drie jaar geleden. Toen zat hij echt zo van oh jee. Dus begin op tijd. Ik heb ook hele leuke onderhandelingen gehad op 24 mei 2018 met de Amerikaanse bedrijven. Die nog snel een DPO moesten inschrijven. Heel leuk als consultant. Dan heb je een goede onderhandelingspositie. Dus mijn advies met die AI act. Omdat het ook veel meer van verschillende rollen binnen de organisatie gaat. Begin op tijd. Maar tegelijkertijd. En dat is misschien dan meer een advies aan de juristen. En ook de compliance medewerkers. Sla de ontwikkeling van AI niet dood. Ik zat laatst met een collega van mij. Bram. Zaten we bij een board. En daar zei de directeur. Die zei het heel mooi. Of zij zei van. Dit is anders dan privacy. En anders dan security. Want dat kost. Dat kost geld. Dus privacy en security zijn niet de business case. AI is wel de business case. Dat lijkt me echt een hele mooie afsluiter. We moeten helaas afsluiten. Is dat de one-liner? Ja precies. Niet eens van mezelf. Volgens mij hebben we dan ook heel mooi. Dus zorg dat je weet in welke risicoklasse je gaat vallen. Zorg dat je weet of je gebruiker bent of aanbieder bent. Begin vandaag. En zorg dat je waarde creëert. Zeg ik het zo goed? Ja dat is een hele mooie samenvatting. Hartstikke mooi. Bart. Hartstikke bedankt dat je onze gast wilde zijn. Geef een warm applaus voor alle inzichten die je gegeven heeft. En als luisteraar blijf even hangen. Want we gaan natuurlijk de vragen uit de zaal gaan we met jou doornemen. Dankjewel Bart. Zal ik met de eerste beginnen. Ik heb hier een vraag van Esmee van der Water. Zij is PMO-director van BNS International. En haar vraag is. Als je een externe AI oplossing integreert in je interne bedrijfsprocessen. Ben je dan een aanbieder? Ja het flauwe antwoord wat ik vaak ga geven is. Dat hangt af van de omstandigheden van het geval. Ik ben jurist dus ik mag dat. Het depends. Maar het hangt er wel echt vanaf. Namelijk hoe je die integratie doet. Dus op het moment dat je zegt. Ik neem bijvoorbeeld een ChatGPT-achtige toepassing. En ik ga die inzetten om mijn bedrijfsvoering te verbeteren. Dus bijvoorbeeld. Ik schrijf een e-mailtje of een brief. En ChatGPT verbetert dat door de spellingsfouten eruit te halen. Of een bericht dat op te leuken. Dat wordt niet gezien als hoog risico. Maar als je die ChatGPT bijvoorbeeld inzet in een hoog risico categorie. Dus bijvoorbeeld beoordelingen over medewerkers. Of beoordelingen van een persoon of ze in aanmerking komen voor een uitkering of iets dergelijks. Op dat moment zet je dat AI systeem voor algemene doeleinden in. In een hoog risico categorie. En daarmee word je op grond van dat artikel 25. Word je aanbieder van dat systeem. En moet je dus aan alle regels voldoen. Hetzelfde bijvoorbeeld geldt als je een AI systeem pakt. En je gaat daar dingen aan veranderen. Zover dat het wordt gezien door de Europese Unie als een substantiële wijziging. Vrij technisch gecompliceerd verhaal. Maar het komt erop neer dat waarvoor het systeem getoetst is als hoog risicosysteem. Jij gaat daar iets aan doen waarvoor het niet getoetst is. Neem het oude voorbeeld van de brommer. Dus je zet daar een zwaardere motor in. Of je verandert wat aan de remmen en dergelijke. De originele aanbieder heeft dat niet kunnen voorzien. Het product is daar dus ook niet op getoetst. En dat betekent dat jij dan aanbieder wordt voor dat product. Omdat jij die substantiële wijziging hebt doorgevoerd. Wat een goeie. Dus het hangt echt helemaal af van wat voor product of component je pakt. En wat je met dat product of component doet. En dat is iets wat eigenlijk veel organisaties zich nu niet beseffen. Die denken van ik gebruik Co-Pilot. Of ik pak ChatGPT of Cloth of DeepSeek of whatever. En ik ga dat toepassen in mijn organisatie. Maar daarmee kan je dus zomaar de aanbiedersverplichtingen op je hals halen. Wat jij eigenlijk zegt. En dan verschiet je van kleur. Van gebruiken naar aanbieder. Ja, ik had een vraag. Die ligt een beetje in de lijn. Dankjewel voor je vraag Loes. Excuses als ik je naam verkeerd uitspreek. Loes Roger. AI Governance Lead bij KPN. En ligt een beetje in de lijn. Waar ligt de grens tussen inzet van AI systeem. GPA systeem. Voor persoonlijke productiviteit. En inzet in een bedrijf in een proces. Als een recruiter een generatief AI systeem gebruikt. Voor persoonlijke productiviteit. Valt dit dan onder de AI wet. Ja, hele goede vraag. Dat valt onder de AI act. Dat valt onder de AI wet. Omdat er sprake is van de toepassing van een AI systeem. Het is de general purpose AI. De ChatGPTs, de Copilots van deze wereld. Dat zijn AI systemen. Dus ja, de AI act is daarop van toepassing. De volgende vraag is. Is het een hoog risicotoepassing? Dan komen we weer bij dat artikel 6. Dat zegt. Valt het onder bestaande productregulering? Of is het een veiligheidscomponent in een van die producten uit die productregulering? Bij persoonlijke productiviteit zal dat denk ik eigenlijk nooit het geval zijn. Dan kom je in 6-lid 2. Dat is die Annex 3. Dat is een lijst van producten. De EU heeft gezegd. Die toepassingsgebieden, die use cases zijn hoog risico. Daar kan. Dus als je persoonlijke productiviteit in die context toepast. Bijvoorbeeld in een HR context. Dan kan het hoog risico zijn. Maar dan moet je kijken naar de uitzonderingen die er zijn in 6-lid 2. Die zegt. Je zit dan in een hoog risico categorie. Maar als je bijvoorbeeld het AI-systeem alleen maar gebruikt voor voorbereidende taken. Of om de taak die aanvankelijk door een mens is uitgevoerd te verbeteren. Dan is het geen hoog risico. Dus dan val je nog wel onder die AI-act. Maar dan heb je niet zo heel veel verplichtingen. Die uitzondering is ter elfde uren nog ingefietst in de AI-act. Er is één overweging, overweging 53 voor de liefhebbers. Die uitlegt waar je dan aan moet denken. En daar gaan we nog heel veel interpretatie moeten krijgen. Dus bijvoorbeeld als het gaat om productiviteit van medewerkers. Dus bijvoorbeeld met behulp van ChatGPT je mails verbeteren. Ook al is dat in een hoog risico context. Zou ik zeggen van nee. Want dat is de taak die eerst door een mens is uitgevoerd te verbeteren. Wordt ook genoemd in de overweging 53. Maar bijvoorbeeld als je het hebt over preselectie voor medewerkers. Dus als je zegt van nou ik heb een classifier die dingen in bakje A of in bakje B stopt. En daar gaat de medewerker wel aan de gang. Ja dat kan best wel een impact hebben natuurlijk. Of je in bakje A of in bakje B komt. Dus daar zal die productiviteitstool misschien toch nog hoog risico zijn. In dat kader heb ik nog een eigen vraag. Weet je je ziet op social media van alles voorbij komen over AI geletterdheid. En één die me opviel is dat er dan wordt gezegd. En dat zijn natuurlijk typisch de trainers. Want die willen van alles verkopen. Die zeggen ja wist je omdat je een spam folder hebt in je mail. Dat is een machine learning systeem. AI. En daarmee moet je volgens de AI wet AI geletterd zijn. Klopt dat? Ja dat is een goede verkoopstrategie. Ja kijk de AI act zegt dat bestaande systemen die al draaien niet onder de regels van de AI act vallen. Tenzij je bij een overheid werkt dan moet je voor 2030 alsnog die systemen compliant krijgen. Formeel juridisch zou je inderdaad zeggen van zo'n spam filter dat is een classifier werkt met machine learning is een AI systeem. En afhankelijk van waar dat spam filter gebruikt wordt. Dus waar jouw mailbox staat als het ware wat jouw taak is. Kan het zijn dat dat hoog risico is. Maar dat is niet echt de intentie van de wetgever. Sowieso zal dat in de praktijk worden opgelost dat stel dat je mail aanbieder of dat nou Gmail is of iemand anders. Dat is dan de aanbieder. Die zal aan al die regels voldoen van de AI act. En die zal jou als gebruiksverantwoordelijke in de handleiding die je bij je mail applicatie zeggen van nou kijk af en toe eens in je spambox of iets in zit wat niet spam is. En daarmee is de kous af. Dus als gebruiksverantwoordelijke hoef je geen menselijk toezicht te gaan uitoefenen denk ik op het spam filter dat jouw aanbieder je gaat aanbieden. Dat is... De hele toepassing van de spam filter. Formeel juridisch zou dat kunnen, maar ik zie daar het probleem niet zitten. Nee. En persoonlijk, volgens mij met deze technologie is het sowieso verstandig om AI geletterder te worden als hele maatschappij. Ja, maar er zit een verschil tussen verkooppraatjes. Inderdaad. Ja, en het is ook wat AI geletterdheid is. Dus in geletterdheid, het idee is van je moet als organisatie en als mensen binnen de organisatie kansen en risico's op waarde kunnen schatten. Ja, voor een hele hoop mensen binnen een organisatie is dat helemaal niet zo heel relevant. Omdat ze niet of nauwelijks met AI in aanraking komen. Kijk, dat het management snapt wat er moet gebeuren en dat een product owner die een toepassing beheerst en laat maken dat die weet wat de kansen en risico's zijn. Uiteraard. Maar dat AI geletterdheid gaat voor heel veel mensen binnen een organisatie niet heel veel verder dan de eerder genoemde e-learning. Ja, precies. We hebben ook nog een hele mooie vraag namelijk over verplichtingen bij hoog risico van Robin Wienhans, information security officer, information security officer moet ik zeggen, gemeente Venlo. Hij schrijft heel netjes, dus het ligt aan mij. Zijn de verplichtingen met betrekking tot transparantierisico, je staat in artikel 50, ook van toepassing voor hoog risico AI? Ja. Juist toch? Ja, en voor, dus artikel 50 geldt voor alle AI systemen, maar dan specifiek de generatieve AI, dus en biometrische systemen bijvoorbeeld en chatbots. Er zijn eigenlijk een aantal soorten toepassingen genoemd in artikel 50. En die toepassingen, die zijn zowel hoog risico als laag risico, in een hoog risico laag context kun je die inzetten. Dus artikel 50 geldt eigenlijk voor alle AI systemen. En daarin boven geldt met name aan de aanbiederskant voor die hoog risico systemen, dat de gebruiksantwoordelijke moet snappen hoe het AI systeem werkt. Of in ieder geval wat de AI zegt, de output moet kunnen interpreteren. Dus er zit een aanvullende transparantieverplichting aan de kant van de aanbieder. Dus die moet het mogelijk maken om de output te interpreteren. Als dat met een complex machine learning model is met een explainer of iets dergelijks. Dus dat is een aanvullende transparantieverplichting. En als gebruiksantwoordelijke moet je ook transparant zijn richting de betrokken persoon. Dus de affected person, zoals we dat zeggen. Dus degene die geraakt wordt door AI. Die moet je allereerst aangeven als er hoog risico AI wordt gebruikt van dat hoog risico AI wordt gebruikt. In relatie tot die persoon. Dus bijvoorbeeld voor credit scoring of iets dergelijks. En ook op verzoek van die gebruiker moet je inzagen kunnen geven in welke rol de AI gespeeld heeft in de besluitvorming. Oh ja. Dus voor hoog risico AI zijn er nog meer transparantieverplichtingen dan dat artikel 50. En soms is transparantie wel een moeilijk begrip van wat er allemaal onder valt. Ja. Zeker met generatieve AI. Dus stel ik maak samenvattingen. Dus ik zit in een ziekenhuis. Maak samenvattingen van een patiëntgesprek. Wat valt dan onder die transparantie eis? Ja dat is een vraag waar het antwoord nog niet volledig duidelijk op is. Mooi. Dat is namelijk. Ik heb een promovendus. Die doet onderzoek naar AI in transparantie. En die noemt transparantie een weasel woord. Dat is een soort van wezel die zich in elk gesprek wurmt. En het lijkt een soort van oplossing maar niemand weet wat we daar nou echt mee bedoelen. Dus het hangt helemaal af van de context van de transparantie. Dus voor wie is de transparantie bedoeld? En wat is ook het handelingsperspectief vervolgens van die persoon of die organisatie? Dus je zou kunnen zeggen voor de samenvatting van een tekst is het richting de eindgebruiker helemaal niet relevant. Welke tokens zijn gebruikt en tot welke tokens die dat heeft geleid. En hoe dat helemaal de model werkt. Daar heeft niemand wat aan. Je moet gewoon weten dat die samenvatting goed en compleet is. Dus transparantie moet dan zitten in van hoe is dat ongeveer tot stand gekomen. En is dat dan voor mij bijvoorbeeld als gebruiker verifiëerbaar op de een of andere manier. Voor een toezichthouder is bijvoorbeeld transparantie weer iets heel anders. Die moet echt naar de werking van het systeem kunnen kijken. En zeggen van nou laat mij maar eens zien dat het allemaal klopt. En waarom het klopt. En hoe je dat getest hebt. Ik wil je modelcard zien. Ik wil je data cards wil ik zien. Ik wil weten hoe dat systeem gebouwd is. Wat zijn je regels die je hebt gebruikt voor validatie en testen. En hoe je je parameters getuned. En wat het allemaal mogen zijn. Dat is een hele andere vorm van transparantie dan richting een eindgebruiker. Die alleen maar moet weten van wat is de uitkomst en waarom is die uitkomst er. Precies. Dus dat vind ik een moeilijke vraag om te beantwoorden. Omdat de uitwerking van die transparantie gaat voor doelgroepen heel anders zijn. Maar daarom stelde ik hem ook. Omdat het zo'n lastig begrip is uiteindelijk. Ja. De volgende mooie vraag van Erik van Overveld. Data protection expert bij Essent. De vraag luidt. Maakt de AI Act AI veiliger en bruikbaarder voor consumenten en bedrijven? Of is er meer nodig of juist minder? Ik denk dat het zeker bijdraagt. Al is het alleen maar in de bewustwording. Dus wat ik eerder al noemde. Het hobby tijdperk is voor organisaties nu echt wel een beetje voorbij. Ik ben binnen bij een aantal organisaties geweest. En echt zonder overdrijven. Daar zijn studenten van de hogeschool of de universiteit een model gemaakt. En dat is vervolgens in productie gebracht omdat het werkte. En daar wordt voor de rest niet meer naar omgekeken. Ja, bizar. Dat gebeurt gewoon. En dat gebeurt nog steeds. De AI Act zet wel een soort van hele duidelijke streep in het zand nu. Als jij in deze context, in deze categorie, AI gaat gebruiken of aanbieden. Ja, dan moet je gewoon aan deze regels voldoen. En die regels, ook voor aanbieders. Het is heel veel en het is heel heftig. Tegenlijkheid zijn het wel ook allemaal hele logische dingen om te doen. Het is ook al die regels, als je op een zorgvuldige manier AI voortbrengt als organisatie, doe je een hele hoop al wat in die regels van de AI-act staat. Dus het is ook niet een soort van AI-aanbiederpesten of zo. Dus het zijn hele logische regels die erin staan. Dus ik denk voor dat deel gaat de AI-act echt wel een bijdrage leveren. Alleen in de perceptie is dat wel anders. En die perceptie zeker nu, we hebben het eerder gehad over de wapenwedloop die nu rondom AI is. De perceptie is nu gewoon wel dat Europa alle hele strenge regels heeft. En dat je daardoor beter als start-up of als aanbieder van AI-systemen naar het buitenland kan gaan. Omdat je dan niet van al die lastige regels hebt. En daar kun je van alles van vinden. Of dat wel of niet klopt of regelgeving een drempel is. Maar in ieder geval is dat zo in de perceptie. En dat heeft wel impact op AI-ontwikkeling in Europa. Terwijl als je gewoon heel professioneel bezig bent, zeg jij, dan voldoen je eigenlijk al heel snel een grote deel van deze wet. Ja, zeker. Kijk, het enige wat je erbij krijgt wat wel echt een ding is, uit productregulering, is die conformiteitstoets. Zeker als je dat door een derde partij moet laten doen. Dat gaat echt wel een impact hebben op innovatie. Maar goed, je zit daar ook in hoog risico. Dus je raakt ook uiteindelijk de maatschappij. Ja, zeker. Dat is ook absoluut geen gek idee. Dus bijvoorbeeld, we hebben de Medical Device Regulation bijvoorbeeld. Die reguleert medische toepassingen. Dus bijvoorbeeld insulinepompen. Als je een insulinepomp maakt, moet je dat door een derde partij laten toetsen. Of wat jij hebt gebouwd. Of dat echt wel goed werkt. Zou ik, vind ik, als ik een pacemaker krijg of een insulinepomp. Dat vind ik een hele fijne gedachte. Zeker. Een beetje te veel insuline betekent mogelijk dat je doodgaat. Daarom was ik het te noemen. En als bijvoorbeeld in die AI-systemen dan, of in die insulinepompen AI-component wordt gebruikt. Om bijvoorbeeld jouw bloedzuikerspiegel in te schatten op basis van jouw sportgedrag of iets dergelijks. Ik zeg van, nou, nu ga ik alvast meer of minder insuline afgeven. Ja, ik wil ook wel dat dat AI-systeem een beetje, dan wil ik niet dat dat een open source modelletje is in China. Waarvan niet weten hoe het werkt. Dus het is helemaal geen gek idee. Het matcht alleen niet heel goed met de innovatiecycli van AI. Want hoe zo'n derde conformiteitstoets werkt is van, daar gaat een derde partij naar toetsen. Bij die medische apparaten duurt dat nu ergens tussen de 12 en de 16 maanden. En die 12 en 16 maanden kan je dus geen wijzigingen doorvoeren aan je AI. Dus doortrainen en hertrainen van jouw systeem. Als dat systeem af gaat wijken van wat jij hebt ingediend ter toetsing. Ja, dat kan niet. Dan moet je opnieuw laten toetsen. Oh, daar heb ik nog wel geweten. Dat is wel een serieus vraagstuk, denk ik, met innovatie en AI. Van in hoeverre moet je stilstaan in je ontwikkeling. Dus de tempo waarmee AI wordt ontwikkeld, match niet met het tempo van conformiteitstoetsing. En al helemaal niet met conformiteitstoetsing door een derde partij. Ja, snap ik. En zie je daar wel ontwikkelingen om dat conformiteitstoets te versnellen? Nou, niet direct. Ik denk dat dat ook nog wat te vroeg is, nu de inkt van de AI-act net droog is. In de Medical Device Regulation heb je bijvoorbeeld verschillende categorieën van producten, waardoor je toch zegt van, deze hoeft niet door zo'n derde conformiteitstoets. Misschien gaat dat ook wel met de AI-act later gebeuren. Maar vooralsnog zit jij in een van die door de EU geregelde partijen, producten, dan moet je gewoon die conformiteitstoets doorlopen. En zoals gezegd, daar zijn ook hele goede redenen om dat te doen. Dus ik ben er niet per se tegen, maar qua innovatie gaat dat wel impact hebben. Nee, je hebt zo direct nog een vraag. De ene laatste vraag. John Koelewijn, product manager bij de ING. Moet men niet eerst de data kwaliteit beter op orde hebben voordat je met AI in zee gaat voor hoog risicosystemen? Ja, absoluut. Helemaal mee eens. Dus wat ik eerder zei, data en data governance en de kwaliteit van je data is gewoon een vereis. Dus artikel 10 van de AI, het gaat over data en data governance, zegt eigenlijk twee dingen. Gewoon een kwaliteitseis aan je data. Je data moet representatief zijn, moet passend zijn, moet zoveel mogelijk foutenvrij en correct zijn. En de eerste versie van de AI stond foutenvrij en dat is natuurlijk helemaal gek. De data is nooit foutenvrij, maar zoveel mogelijk foutenvrij. Dus eigenlijk is het gewoon de data waar jij mee gaat trainen, moet representatief zijn voor het probleem wat je wil oplossen. En dat is gewoon een algemene eis en daar zitten ook eisen rondom de inrichting van je hele data governance. Dus om aan die eis te voldoen, moet je vanuit de AI, dat artikel 10 tenminste, aan deze en deze, wat zijn je procedures voor het labelen van data? Wat zijn je procedures voor het verzamelen van data? Hoe schoon je de data op? Hoe valideer je modellen en hoe test je modellen? Al dat soort verplichtingen zit in dat data en data governance. En als je dat dus niet op orde hebt, momenteel al binnen je organisatie, dan moet je zeker geen hoog risico AI zelf gaan aanbieden. Want garbage in is garbage out. En als jij niet weet of je garbage hebt, dan wordt het lastig. En dat zie ik nu echt al binnen organisaties gebeuren. Iedereen denkt van oh, we halen ChatGPT binnen en we trainen dat op onze eigen knowledgebase. En volgens mij blijkt die hele knowledgebase totaal ongestructureerd en onduidelijk. En wat is nou wel die knowledge? Verhouder. Ja, daar moet je dus wel eerst mee aan de slag voordat je de potentie van AI kan ontsleutelen. Precies. Ja, dat doet me goed vanuit het data hart, moet ik zeggen. Dus ik word hier vrolijk van. En er zitten niet alleen de slechte regels. Nee, nee. Toen is wel over nagedacht. We hebben nog een vraag van Aad van Gils, FG, bij kwaliteit in bedrijf. En het is een denk ik een mooie, generieke afsluitende vraag. AI kost werkgelegenheid. Hoeveel werkgelegenheid leeft het op? Ja, voor juristen, compliance, medewerkers, data scientists, is het in ieder geval een heleboel met deze nieuwe AI act. Het oplevert neem ik aan, toch? Ja. Ja. Ja. Ja, kijk. En ik denk zee, de impact op de arbeidsmarkt, ik ben daar geen expert in, maar het gaat zeker een impact hebben. Ik zou niet zo snel nu tekstschrijver gaan worden, bijvoorbeeld. Tegelijkertijd denk ik wel, een baas van Google heeft dat ook gezegd, je moet je geen zorgen maken dat AI je baan gaat inpikken. Je moet je zorgen maken dat iemand je baan gaat inpikken die AI slim gebruikt. Dus ik denk dat er een concentratie van kennis gaat komen bij een kleinere groep die effectief AI kan aanwenden en überhaupt natuurlijk de middelen heeft om AI aan te schaffen. Dus daarvoor zie ik wel wat issues qua arbeidsmarkt. En tegelijkertijd met elke technologische innovatie komen er ook weer banen bij. Vroeger was er geen beroep prompt engineer. Dat is nu gewoon werk. Maar tekstschrijver of basis coderen in Python, daar kun je wel van afvragen of dat nog een goed toekomstperspectief is. Duidelijk. Dankjewel voor het beantwoorden van deze vragen. Graag gedaan. En alle gasten van het evenement voor het indienen van de vragen. Dus dankjewel. En voor drie van jullie komt er een mooi verrassingspakket naar jullie toe. Dankjewel weer voor het luisteren naar AIToday Live. Vergeet je niet te abonneren via je favoriete podcast app en misschien een aflevering. Tot de volgende keer. [Muziek]