Agentic AI Governance: Grenzen aan autonomie

Joop: Leuk dat je luistert naar deze aflevering. Joop: Het is een speciale aflevering, want we staan live op het Nationale AI en Governance Congres van Outvie. Joop: En we hebben twee fantastische gasten. Joop: Waarbij de eerste gast is Gerard Koster. Joop: En hij werkt bij de Rabobank in de tweede lijn, Operational en IT Risk. Gerard: En hij houdt zich al meer dan 20 jaar bij de bank onafhankelijk toezicht op wat er technisch en operationeel gebeurt. Gerard: Zeg ik het zo goed. Gerard: En enorm betrokken bij AI uiteraard. Gerard: Zeker, want daarvoor zijn we hier vandaag. Gerard: En onze tweede gast Daniël Verloop, is AI-specialist bij gemeente Montferland. Gerard: Hij heeft recht gestudeerd, tien jaar piloot bij KLM geweest. Gerard: En werkt nu aan de vraag hoe de overheid AI verantwoord inzet. Gerard: En hij heeft zelf aan de lijve ervaren wat er gebeurt als een agent ontsnapt. Gerard: Klinkt interessant, geef ze een warm applaus. Gerard: Om maar meteen met de deur in huis te vallen. Joop: Als we autonome AI-systemen hebben, wie is er dan eigenlijk verantwoordelijk? Joop: Dat is een heel goede vraag en volgens mij heeft daar nog niemand het antwoord op. Gerard: Ik denk dat dat per organisatie heel erg verschilt. Gerard: Ook de manier en de reden waarom een agent wordt ingezet. Gerard: Maar wat ik wel kan zeggen, is dat je per definitie hier heel veel aandacht aan wil geven om voor jezelf te inventariseren in jouw organisatie, voor jouw use case. Gerard: Hoe zorgen we ervoor dat we echt grip houden op deze zeker autonome agent? Gerard: Heb jij er ook geen antwoord op, Gerard? Gerard: Misschien wel iets concreter. Gerard: Als je net ook in de presentatie van Rob behoorden van Microsoft, je moet wel voor zorgen dat een agent een eigenaar heeft. Gerard: Dus daar begint het in mijn optiek wel mee. Gerard: Dus de eigenaar van een agent is natuurlijk wel uiteindelijk verantwoordelijk voor wat er gebeurt binnen de organisatie en wat voor besluiten en wat activiteiten die agent. Gerard: Ja, en GI is er al wat langer. Gerard: En agente is de nieuwe wave. Gerard: Wat voor verschillen zie je bij de introductie van Agentic AI. Gerard: Ten opzichte van Gen AI. Gerard: Dus binnen de Rabobank hebben we nog geen agent live op dit moment. Gerard: Het verschil is natuurlijk wel dat bij GenAI zie je dus vooral dat. Gerard: Je kijkt naar de output, wat levert nou zo'n AI-systeem, wat komt eruit, is het betrouwbaar, is het veilig. Gerard: Je kijk naar wijze van privacy. Gerard: Dat doe je ook denk ik wel bij agents. Gerard: Alleen daar wordt de scope breder. Gerard: Dan ga je ook kijken naar wat doet nou zo'n agent. Gerard: Houdt ze zich aan het mandaat. Gerard: En wat ik waar gaf binnen de Rabobank zijn we nu nog niet zover we agents in productie hebben staan, maar wel aan het experimenteren zijn. Gerard: Dus wat we vooral willen doen, is kijken zonder het vooraf dicht te timmeren, wat doet nou zo'n agent, houdt hij zich aan de afspraken, gebruikt u alleen nog autoriseerde tools. Gerard: Hoe werkt nou die realtime monitoring die je graag wil zien. Gerard: En die noodknop van die killswitch: hoe werkt dat dan? Gerard: En hoe kunnen we hem inzetten. Gerard: Dus daar staan we op dit moment. Gerard: En dat is even de positie vanuit de bank. Gerard: En verandert er dan veel op het governance vlak, of is het veel van hetzelfde of ga je er meer of dieper op in. Gerard: Wat ik verwacht aan ten aanzien van governance dan even zo gezegd. Niels: De traditionele om maar even zo te noemen: AI governance voor Jen is toch toch voorspelbaarder. Niels: En misschien ook beter toetsbaar. Niels: Aan de kant van agentic zie ik daar toch meer dynamiek ontstaan. Niels: Dat je toch op meer actie gericht of in het proces moet willen ingrijpen. Niels: Meer technische maatregelen die je wil terugzien. Daniël: Die zou verwachten. Daniël: Dat je een mandaat meegeeft aan een agent. Daniël: Dat je duidelijk aangeeft wat hij wel niet mag, en dat je daar ook met technische controle kunt ingrijpen. Daniël: Daniël, jij bent iets verder met het bouwen van de agents. Daniël: Je bent AI-specialist bij de gemeente. Daniël: Hoe zie jij dat? Daniël: Nou, ik sluit me helemaal aan bij wat Gerard zegt. Daniël: En je vroeg net daar begon je mee van: hoe zorg je ervoor dat we die governance op orde houden. Daniël: En ik stelde toen dat weet nog niemand. Daniël: Ik zal het wat nuanceren dan. Daniël: Een aantal punten. Daniël: Ik denk: heel recent is. Daniël: Er is onlangs door Entropic bijvoorbeeld het model Mythos geïntroduceerd. Daniël: Dat is een paar dagen geleden. Daniël: Dat is een model waar ze nu mee naar buiten komen, en hebben gesteld dat gaan we nog niet vrijgeven aan het publiek. Daniël: Waarom niet? Daniël: We hebben nu gezien dat dit zo krachtig en competent en capabel is. Daniël: Met name op het gebied van code. Daniël: Laten we eerlijk zijn tegenwoordig is alles wat we doen heeft met code te maken. Daniël: Het komt bijvoorbeeld bugs vinden, die al 40 jaar lang in code staat. Daniël: Het kon allerlei verbanden leggen tussen repo's over repo's heen. Niels: Om daarmee dus echt allemaal ook malware en zo te creëren. Niels: Met andere woorden, we komen nu echt wel in het territorium waarbij dit agents zo capabel en competent zijn. Daniël: En wij als mensen dat eigenlijk niet meer kunnen bijhouden. Daniël: En dat is de reden dat ik zeg niemand weet eigenlijk nog echt wat die autonomie is. Daniël: Want het werd net al gezegd ook. Daniël: Een agent die is ontsnapt, ja, dat heb ik echt serieus meegemaakt een maand of twee geleden. Daniël: Zal ik het even kort toe? Daniël: Ja, ik werk, wij werken bij Civiqs natuurlijk heel veel. Daniël: Ook echt aan de cutting edge met dit soort systemen. Daniël: Vroeger was het prompt engineering, toen werd het context engineering. Daniël: Tegenwoordig is het harness engineering. Daniël: Het model zelf maakt eigenlijk niet zo heel veel meer uit. Daniël: De modellen zijn allemaal bijzonder competent. Daniël: Het is meer het hele systeem wat je eromheen doet. Daniël: Het harness. Daniël: Je hebt een wild paard. Niels: Superkrachtig. Niels: Maar je moet het beteugelen om er daadwerkelijk wat mee te kunnen. Niels: Nou, dat is dat harness engineering. Niels: Dus daar zijn we heel druk mee bezig. Niels: En dat doen we dan, zeker ik als oud-piloot op basis van standard operating procedures, checklists. Niels: Controle, controle, controle. Joop: Maar dan nog een week of inmiddels anderhalf maand geleden of zo, hadden we een agent waar we aan het bouwen op echt helemaal autonoom, lokaal op eigen hardware. Joop: En ik werd afgeleid. Joop: Ze hadden dat gedaan en gewoon alle checklists langs, agent stond klaar. Gerard: Ik werd afgeleid. Gerard: Ik moest tussendoor ook nog eens een offerte maken voor een klant. Gerard: Dus ik begin aan die offerte, vervolgens word ik weer afgeleid. Gerard: De telefoon gaat. Gerard: Langvouwkort, ik word een uur of drie later word ik gebeld door de klant waarvoor ik 's middags die offerte aan het maken was. Gerard: Dus ik neem op. Gerard: En hij zegt, Daniël, dankjewel, dat heb je snel gedaan. Gerard: Akkoord, goede offerte. Gerard: Ik denk, nou breek me klomp. Gerard: Nou, wat bleek, die agent, ik had ondanks alle checks, alle balancers, alle standard operating procedures, was er toch één klein deurtje open blijven staan. Gerard: En dit was specifiek een autonome proactieve agent. Gerard: En dat systeem had gezien. Gerard: Hey, Daniël is bezig met een offerte. Gerard: Ik zie dat het nu al een tijdje open staat. Gerard: Laat ik hem even druk zijn, laat ik helpen, heeft de offerte afgemaakt en gemaild. Gerard: Ook nog eens een keer met mijn naam eronder. Gerard: Dus dat was een geschikte, was je tevreden met offerte. Gerard: Ik was heel tevreden met offerte dat wel. Gerard: Ik heb het ook eerlijk gezegd tegen de klant specifiek, ik zeg, nou, fijn, maar even eerlijk naartoe, dat is wel een leuk verhaal. Gerard: Maar toen bedacht ik me achteraf wel: jeetje, nu is het goed afgelopen. Gerard: Maar wie zegt niet als wij bij de overheid dit straks allemaal zo gaan doen, dat het een heel andere kant op gaat. Gerard: Wat kan ook. Gerard: En wat heb je in je sub of in je standard operating procedure of checklist aangepast om dit in de toekomst dan te voorkomen? Gerard: Goeie vraag. Gerard: Heel veel, want we hadden al veel. Gerard: Want wat wij nu echt doen, is met daarom ben ik ook heel blij om te horen van de sandbox en zo. Gerard: Maar dat is dat je wil isoleren, nog een keer isoleren. Joop: Een van de dingen die we nu ook hebben gedaan, dat klinkt vreemd. Gerard: Want die systemen maken allemaal logs. Gerard: Dat is natuurlijk een beetje basaal. Gerard: Dat je altijd de logs wil kunnen terugzien, dat je heel erg op microniveau kunt zien, wat er is allemaal gebeurt. Gerard: Maar wat blijkt nou als die logs worden gemaakt in hetzelfde ecosysteem als waar die agents opereren, kunnen ze in principe de logs gewoon aanpassen of wissen, zonder dat je het weet. Gerard: Dus je wil dus een isolatie hebben van je logs. Gerard: Dus daar moet het systeem niet bij komen. Gerard: Dus dat soort dingen. Gerard: Maar ik ben van mening dat ook dat nog niet waterdicht is. Niels: Dus ik denk dat wij de komende jaren echt heel veel gaan ontdekken. Niels: En dat is vanuit mijn professionele perspectief natuurlijk heel spannend. Niels: Maar ik vrees ook wel dat het gaat leiden tot grote problemen. Daniël: Gerard, volgens mij zitten jullie in de ontdekkende fase rondom Agentic AI. Daniël: Wat maakt voor jou het werk, wat verandert in jouw werk met de komst van Agentic AI? Daniël: We kijken nu vooral naar binnen het bank iets in productie, Gen AI. Daniël: Dus daar kijken we actief op mee. Daniël: Daarin is mijn werk wel veranderd, omdat je steeds meer met andere specialisten in aanraking komt. Daniël: Voor mij persoonlijk betekent ook mensen van Model Risk Management bijvoorbeeld meedoen aan het kijken naar en valideren van AI use cases, dat maakt mijn werk wel echt anders. Daniël: waarin je voor één best wel specifiek keek naar operational risk, maar het is nu toch veel breder. Daniël: Ik zei naar het model, naar privacy aspecten, maar ook naar compliance aspect. Daniël: Met klanten. Daniël: Daar zitten dus hoeven aan. Daniël: Zullen de beveiligingsaspecten horen valt dat ook daaronder? Daniël: Het valt daar zeker ook onder. Daniël: Wij houden dus ook toezicht op. Daniël: Aan de beveiligingsstandaarden die we als bank graag willen hebben. Daniël: We hebben heel veel contact met onze CISO office om te kijken van hoe veilig zijn die Gen AI-systemen of de AI-systemen die we bouwen. Daniël: Dus ook daar is daar focus op. Unknown: Maar dat is ook tegelijkertijd. Gerard: We zeggen van, AI zien we niet als een specifiek risico, maar meer als een soort van risk driver. Gerard: Die we binnen de bank hebben, die houden we. Gerard: En die wordt beïnvloed door de technologie AI. Gerard: Dus dat blijft alweer hetzelfde. Gerard: En jullie zijn nu aan het experimenteren. Gerard: Wat heb je nu al geleerd in die experimenteerfase? Gerard: Waar best wel belangrijk zijn in de vervolgstap hierin qua governance. Gerard: Nou, dan moet ik toch eerlijk bekennen, we hebben een aantal learning points gedefinieerd en ik had gehoopt daar al wat meer inzicht in te hebben. Gerard: En dat is toch tot beter wel beperkt. Gerard: Het is toch wel echt lastig om sowieso specifiek te worden in je learning points en hoe ga je dan ook echt nog een keer goed testen en ook goed vastleggen. Niels: Dus echt de learnings die moeten nog wel komen. Niels: Maar ik ben erg geïnteresseerd in, wat ik al aangaf, we hebben het niet vooraf dicht gezet, we hebben vooral gekeken van ja, hoe kunnen we nou straks zien wat zo'n agent echt heeft gedaan, heeft ze gehouden aan de afspraak die we of de taken die we hebben meegegeven, gebruikt alleen de systemen waarvoor die geautoriseerd is, dat soort zaken willen we wel even bevestigd zien, dat dat ook echt gebeurt. Joop: Hebben jullie al, want Daniël gaf heel mooi aan, met de logs en dat je daarin kan kijken van wat een agent doet. Joop: Hebben jullie daar al iets in belegd van die isolatie waarheid over heeft of eigenaarschappen over die logs. Gerard: Zijn jullie op dat niveau bezig? Gerard: Nou ja, wel qua requirements hebben, we willen inderdaad dat wordt aangeven, we willen wel die log hebben en houden, zodat je dus een reconstructie kunt doen. Gerard: Wat ik net ook hoor, dan is dat belangrijk om dat ook goed te isoleren. Gerard: Dus dat zijn wel learnings die nu meeneemen, maar ook wel in de praktijk tegenkwam. Gerard: Dus dat daar echt een belangrijke controle zit om later die reconstructie te doen en te kunnen zien waarom heeft nou die agent, die beslispaden afgelopen. Gerard: En jullie zijn allebei werkzaam in een gereguleerde omgeving. Gerard: Wat geeft dat aan extra eisen aan de governance? Gerard: Nou ja, ik heb het altijd over Govgrade requirements. Gerard: Wat bedoel je dan? Gerard: Als kijk naar governance, wat is Govgrade. Gerard: Is dat je echt, dus kom ik even weer terug, die isolatie, autonomie. Gerard: Maar ook die autonomiegrenzen moet je niet vastleggen met soft grenzen. Gerard: Ik hoor we soms als organisaties. Gerard: Ja, we prompten onze copilot dat hij dat niet mag doen. Gerard: Of dat hij moet zeggen hoe zeker die is onze zaak. Gerard: Ja, op het moment dat je een Gen AI-systeem gaat vragen om een percentage te geven hoe zeker die is, dan heb je echt niet heel goed begrepen waar je mee bezig ben, maar dat is wel de realiteit. Joop: Dus ik pleit ervoor, die autonomie grenzen, dat moet gewoon hardcode zijn. Joop: Dat kan. Joop: Je kunt met hele slimme prompt engineering. Joop: Echt bepaalde stappen die zo'n agent neemt. Joop: Heel erg hard in de code neerzetten, dat het deterministisch is. Joop: En dan de stappen waarbij zo'n LLM, zo'n competente LLM met natural language understanding en processing tot zijn recht moet komen, dan laat je hem vrij. Joop: Maar daarna komt er bijvoorbeeld weer een verificatie stap die weer deterministisch is. Gerard: En dan nog, zolang je met AI werkt, zul je in praktijk nooit honderd procent zeker kunnen zijn. Gerard: Dan krijg je nog die laatste laag. Gerard: Waar ook de AI echt heel duidelijk over is. Gerard: Dus dat is dan, wij als professionals controleren de output. Gerard: Dat blijft gewoon. Gerard: Dus al een paar keer gezegd. Joop: AI gaat ons niet vervangen, lijkt me ook geen goed idee. Gerard: Wij blijven als een soort laatste check. Gerard: Kijken van klopt die output, en is het goed gegaan. Gerard: En dat is voor mij is dat Govgrade. Gerard: Dus een heleboel stappen. Gerard: Hardcode. Gerard: Een stukje AI lekker gang gaan, weer hardcode, deterministisch en dan uiteindelijk ultimo de. Gerard: De professional die bepaalt, is het goed. Gerard: Zie je ook verandering omdat jullie een minste extra eis, omdat jullie in een gereguleerde omgeving zitten? Gerard: In ieder geval extra uitdaging, laat ik dat even zo formuleren. Niels: Wat je nu vooral hebt, is het dilemma van autonomie versus controle. Niels: Je wilt het liefst enige autonomie geven aan een agent, anders is het een soort van tandenloze tijger, dan heb je niks aan. Niels: Dus je wilt toch kijken hoe ver je daarin kunt gaan. Joop: En tegelijkertijd zit je in een gereguleerde gereguleerde organisatie waarin je moet kunnen aantonen wat een systeem doet, waarom die dat doet, wie verantwoordelijk is, hoe je kunt ingrijpen. Joop: En dat zijn ook zaken die je dan goed in beeld moet krijgen van zo'n agent. Joop: Dat is wel echt een uitdaging die ik zie. Niels: En dan kom je dus al snel ook wel Daniël aangeeft in toch die technische maatregelen die je dan moet inrichten om zeker voor agents om daar enige grip op te houden. Niels: En ja, los van de governance die je op papier hebt, je toch ook iets meer in de techniek hebben om de enige zekerheid aan te kunnen verbinden. Niels: En in de experimenteerfase, waar heb je dan de vrijheid en waar heb je minder vrijheid? Niels: Want in experimenteren betekent ook dingen proberen, waar het wel eens fout kan gaan. Niels: Hoe maak je daar de afweging? Niels: Waar mag ik wel experimenteren, waar mag ik niet experimenteren. Daniël: In generieke zin hebben wij een soort van labomgeving waarin je zonder klantdata een soort van je gang kan gaan. Daniël: En wat ik al aangaf, voor ons is heel bewust om te testen wat er nou gebeurt als we zo'n agent een beetje losser laten dan we misschien in de praktijk zouden doen. Daniël: Dus daar willen we vooral nu naar kijken en van leren. Daniël: Dus ja, er kan echt wel veel om kunnen kijken wat er gebeurt. Daniël: En zie je al iets waar je zegt van nou daar gaan we echt wel de rem op zetten. Daniël: Of nou dat is echt een enorme jet engine als we het even in de vliegsfeer houden. Daniël: Voor mij nog niet. Daniël: Dus ik hoop daar wel binnenkort meer duidelijkheid over te krijgen. Daniël: Ja, zeker. Daniël: We hebben het in het verleden gehad, dat heel veel mensen in één keer in Excel van allerlei dingen konden maken. Daniël: In mijn beleving heeft dat de hel of Excel opgeleverd. Daniël: Hoe zorgen jullie er nou voor in je eigen omgeving, dat je niet een wild groei krijgt aan agents die iedereen overal maar kan bakken, in Copilot Studio. Daniël: Toch misschien wel in de shadow IT die er is. Daniël: Hoe hou je dat in de klauwen? Daniël: Bij Montferland zijn we daar heel erg zitten we er heel dichtboven op. Daniël: Wij hebben dit ook vastgesteld. Daniël: Op een gegeven moment als je mensen deze competentie geeft, dan is echt een gek van de dam. Daniël: Dan gaan mensen los, willen ook los. Daniël: Die zien van dit kan, ik heb dit idee. Daniël: Al vrij snel kwamen we tot de conclusie, als we dit zo vrij loop laten, dan hebben we inderdaad straks duizend agents en niemand meer wat. Niels: Maar gelukkig hebben we bij Montferland ook al heel snel ingezet op niet alleen die actielaag die doen, maar ook het denken en analyseren met een AI-governance board. Gerard: Dus die twee sporen lopen in parallel en daar wij vastgesteld, luisteren. Gerard: Volgens nog houden wij dit wel heel beperkt binnen onze eigen regie. Gerard: Dus we hebben daar gewoon een protocol voor als iemand een agent wil inzetten, of niet voor bouwen inzetten. Gerard: Dan gaat het alle stapjes. Gerard: Dat gaat snel hoor, dat hoeft niet heel bureaucratisch. Gerard: Maar dat wij wel de grip erop houden, ja, dat is heel belangrijk. Gerard: Bij Civics doen we dat anders. Gerard: Daar laten we die governance nu inmiddels doen, als deel hoor, echt wel experimenteel. Gerard: Maar daar ben ik echt verbluffend. Gerard: Besteden we dat weer uit aan een hogere agent. Gerard: Spannend. Gerard: Maar het gaat goed hoor. Gerard: Ja, dat is bizar. Gerard: Die draait die draait drie, vier servers nu en allemaal agents daaronder. Gerard: Ja, het is echt absurd. Gerard: Wat doet hij beter dan. Gerard: Ja, ik maak mezelf een beetje overbodig eigenlijk, maar alles wat ik kan, en met alle respect, maar het is qua mensenwerk. Joop: Ik zie, wij hebben geen accountant meer. Joop: Dat is één. Joop: We hebben geen accountant meer. Niels: Dat is gewoon nu inmiddels bewezen. Niels: Onze accountant agent die regelt het allemaal. Niels: Nee, maar ik wil deze governance agent. Niels: Wat kan die wat jij niet kan? Niels: Het volledige overzicht houden. Niels: Dus die kan overal de logs uitlezen, die kan overal de processen uitlezen. Niels: Die kan heel snel oordelen of het conform al onze protocollen is. Daniël: Mens heeft er een dag voor nodig, die agent doet het allemaal binnen een minuut. Joop: Wat denk jij, zeg maar met de achtergrond van de bank hierover? Daniël: Dit gaat misschien een aantal stappen te ver. Daniël: Als bank kiezen wij eigenlijk voor een beetje behouden, aanpakken, zeker als het net over de bredere strategie van AI. Daniël: We kijken stap voor stap wat voor de bank goede use cases zijn, betrouwbare use cases, schaalbare use cases. Daniël: Zo kijken we op dit moment naar. Niels: Dat gaat ook via een soort van governance board. Daniël: We besluiten echt op basis van value, risk en andere ESG-achtige criteria wanneer we een use case wel of niet gaan doen. Daniël: En dat is hoe we er nu in zitten. Joop: Wie zitten bij jullie in het board? Gerard: Daar zit onder andere in sowieso natuurlijk de business. Gerard: Maar ook een Chief data analytics team officer eigenlijk, die zit daar geen iemand van de CRO, dus een risico persoon zit aan mij. Gerard: Dus het is wel echt een gewogen besluit die daar wordt genomen op wat we op gebied van AI doen binnen de bank. Daniël: En bij de gemeente bij de gemeente houden we als natuurlijk aan alle wetge richtlijnen doen we het gewoon nog met mensen, zeg maar. Daniël: Maar ik vond ik vind wel, ik vond de reactie wel leuk net van over governance uitbesteden aan een AI. Daniël: En wat jij zegt, nou dat gaat ons wel wat ver. Daniël: Ik snap die reactie. Daniël: En ik bedoel, ik ben zelf ook heel kritisch. Daniël: Ja, ik wil ik wil echt wel dingen zien en bewezen hebben. Daniël: Maar laten we eerlijk zijn, als je mensen die governance laat doen, gaat dat altijd goed. Daniël: Gaat het altijd goed bij de overheid? Daniël: Zijn wij met al die systemen zijn, wij de en bij de banken. Daniël: Zijn wij de uitgelezen governance apparaten, zouden. Daniël: Als ik net bijvoorbeeld ook hoor ik DNB zeggen, met alle gesprekken, dan schrok ik best wel van. Daniël: Van nee, maar het is niet zo dat als je zelf hosts per definitie veiliger is. Daniël: Dan denk ik een CISO van de DNB, die dit zegt. Daniël: Dan denk ik, heb je niet door dan op het moment dat je deze vergelijking maakt. Daniël: Al je data, gaat naar de states. Daniël: Daar wordt 100% wat mee gedaan. Daniël: En dan toch zeggen van, het is niet veiliger als we het zelf in eigen beheer zouden houden. Daniël: Ja, dan vraag ik mij af of je dan moet zeggen, per definitie mensen, maar governance laten met alle respect overigens voor Jeroen. Daniël: Dus ik denk dat we daar wel serieus naar moeten kijken. Daniël: Kijk, ik zeg niet, je moet het 100% uitbesteden, dat is nooit verstandig. Gerard: Probeer altijd wel een soort checks en balances te doen. Daniël: Maar ik vind het geen gek idee dat we langzaam gaan wennen aan het feit dat wij zelf, of dat wij naast AI die rollen steeds meer gaan combineren samen. Niels: Ik ben wel benieuwd. Niels: Je zegt aan de ene kant zit je de experimenteerfase, aan de andere kant zit je bij een gemeente. Niels: Wat doe je in de experimenteerfase, waar je zeggen als ze dat bij de gemeente doen, dan mag gewoon niet, of dat kan niet en hoe leer je van die twee? Daniël: Ja, vind ik een leuke vraag. Daniël: Ik doe het ook nog in privé zelfs dan nog. Daniël: Ik ben een beetje, ik word thuis ook altijd een nerd genoemd. Daniël: Familie zeg: je praat meer tegen je computer dan tegen ons. Daniël: Nee, flauwekul. Daniël: Nee, weet je, kijk, er zijn drie lagen eigenlijk. Daniël: Dus binnen de overheid, daar gaat het uit gewoon super strak. Daniël: Dan heb je de AI-act, je hebt AVG, net je bio, je hebt alle archief. Daniël: En daar hou je je aan. Daniël: En dan nog wat. Daniël: Bij Civics werken wij binnen een CVI werken we in sandboxes. Daniël: Gaan we verder, maar wel met de publieke sector in gedachten. Daniël: Dus gaan we niet gungho doen. Daniël: Proberen wel te kijken: hoe kunnen we deze nieuwe capabilities inzetten op een veilige, verantwoorde manier. Daniël: En zelf experimenteer ik met de meest bizarre dingen. Daniël: Ja, dan denk ik, goh, ja. Daniël: Er was een laatste vibecoder. Daniël: Een of andere knakker die een paar weken geleden op de zolderkamer vibecode had ontdekt. Daniël: En vervolgens had gezegd: joh, kijk eens even naar die McKinsey API van hun AI. Daniël: Heeft in een weekendje zijn AI, de Mackenzie API laten polsen, kwam toen twintig open endpoints tegen. Daniël: Dat ding heeft toen met een SQL injectie. Daniël: De hele hele database van McKinsey gedownload. Daniël: En dat is waar we zitten. Daniël: Hoe bizar is dat? Niels: Ja, en wat heb je daarvan geleerd wat we echt moeten gaan vatten in de governance en de processen die er nu al zitten? Daniël: Nou ja, God heb je even. Daniël: Overkoepend zou willen meegeven, ga er maar vanuit dat je niet voldoende governance hebt. Daniël: Dan zit je goed. Joop: Gerard, bij jou vanuit uit het tweede lijn, dus dan kijk jij mee natuurlijk met de eerste lijn. Joop: Wanneer heb je eens een keer op de rem getrapt? Gerard: Die zeggen van ja, dit gaan we niet doen, of misschien nu even niet doen. Gerard: Agentic is nog in experimentfase, maar ik kan me daar even bij houden, wel bij voorstellen, als je dus cases langs krijgt die vraag zijn geformuleerd. Gerard: Dus de taak omschrijven van een agent is onduidelijk of niet concreet genoeg, dan zou ik al zeggen, hier gaan we even wat op vertragen. Gerard: Eigenaarschap hebben het over gehad, die moet er zijn als die niet is, zou ik zeggen, even wachten. Gerard: Realtime monitoring, dat soort zaken, die killswitches, dat soort zaken wil je wel terugzien. Gerard: Voordat we ook echt iets gaan doen. Gerard: Uit dat perspectief zeg ik van ja, dan zou ik wel even op de remtrap om dat eerst goed te regelen. Joop: Is er een moment geweest, dat je iets hebt tegenhouden en dan misschien niet op het agendic AI. Joop: We hebben het ook over AI in governance vandaag. Joop: Waarvan je zegt van ja, maar dan had ik ook achteraf gelijk. Gerard: Ik kan hem zo snel niet. Joop: Misschien even wat bedenken, Daniël. Daniël: Ja, ik ben nooit zo bezig met gelijk krijgen. Daniël: Ik denk ik leer graag vooral iedere dag. Daniël: Wat dat bedoel ik eigenlijk. Daniël: Ik ga er maar vanuit dat je niet genoeg governance hebt, wist jij Joop dat AI onder de juiste omstandigheden in 80% van de gevallen als onderdruk wordt mensen blackmailt, hoe zeg je dat? Daniël: Ja, Blackmailt. Joop: Want deze paper heb ik gelezen. Joop: Je moet het taalmodel wel dwingen om je uiteindelijk ook te laten chanteer. Joop: Dat is wel even de nuance die erbij hoor. Daniël: Het was een lab setting en het was natuurlijk niet helemaal organisch. Daniël: Maar daar voeg ik het toch ook nog even toe dat in 40% van de gevallen dat hij ook bereid was tot moord. Daniël: Dat onderzoek. Daniël: Moet je maar eens opzoeken. Daniël: Dat is echt serieus. Daniël: En dat zijn dezelfde modellen waar een copilot nu mee werkt straks waar wij nu mee werken. Daniël: Om maar even een zijstraat te doen, zo kan ik dus nog wel 100 punten noemen. Daniël: Het is gewoon extreem veel wat er ineens op ons afkomt. Daniël: En ik denk dat we af moeten van alle oude standaarden. Daniël: We hebben software 2.0 nu gehad. Daniël: We hebben daarvoor wetten, we hebben daar weer richtlijnen. Daniël: Wat er nu aan gaat komen, ga er gewoon maar van uit dat het nog veel groter is en veel meer impact heeft op ons, onze samenleving, onze organisatie, onze mens. Daniël: En dat het goed is om daar nu alvast heel bewust van te worden. Daniël: En te gaan beginnen met kijken, zoeken, leren. Niels: Dat betekent natuurlijk wat voor de organisaties, ook voor de mensen in de zaal vandaag. Niels: Waar kan je starten dan? Niels: Hoe ga je starten? Niels: Want dit klinkt nogal heel breed. Joop: Misschien Gerard. Gerard: Voor mij als medewerker van een bank. Gerard: Waar je start, we hebben al een best van governance staan. Gerard: Dus daar haken we ook deze technologieën op aan. Gerard: Dus waar je start dat je in een kleinere setting goed zal moeten kijken van waar sta ik als bedrijf voor. Gerard: Maar als bank zijnde dan proberen het zoveel mogelijk op te nemen in onze bestaande structuren en governance afspraken die we hebben. Gerard: Dus ik vind het wel een lastige vraag om daar echt op. Joop: Is het een board topic? Joop: Wordt er in het board over gesproken? Gerard: Zeker absoluut. Gerard: Dus ook onze CEO gaat naar Silicon Valley raad, laat zich daar ook bij praten wat er gebeurt en wat belangrijk is. Gerard: Dus het is zeker een board topic. Gerard: En dat merk je ook wel. Gerard: Aan de andere kant ben ik ook wel blij om te horen dat je niet direct antwoord hebt. Gerard: Want dat betekent dat de processen die er nu zijn, al heel veel van de vraagstukken die nu ten tafel komen, er ook al gewoon nog steeds ingezet kunnen worden. Gerard: Dus ik denk dat eigenlijk voor mij is dat een geruststellend antwoord dat je er niet direct de andere reden. Gerard: En het klopt inderdaad wat je zegt, we maken heel veel soort van hergebruik van bestaande risico-instrumenten, maar ook dit soort AI-zaken te kunnen beoordelen. Joop: Er zijn best wel heel wat mensen die ervan balen dat er geen minister van Digitale Zaken is gekomen voor de zoveelste keer. Joop: Wordt er in de gemeente op politiek niveau gesproken over AI in governance. Daniël: Nou, dat begint nu vorm te krijgen. Daniël: Want wat wij ontdekken, is dat bij Montferland lopen we best wel voorop. Daniël: Als we de pers mogen geloven. Daniël: Wij zelf vinden dat het vrij normaal is dat we gewoon ons inzetten als gemeente op deze manier. Daniël: Het leuke is ook wel net om even nog heel erg terug te komen op de governance. Daniël: Er is helaas geen blauwdruk. Daniël: Er is niet zoiets van oké, als ik nu dit blauwdruk pak en volg voor mijn organisatie, dan zit het wel snor. Daniël: Dat is niet. Daniël: Wat ik wel kan zeggen is, en dat werkt voor ons heel goed. Daniël: En ook de klanten die wij helpen, andere gemeenten, andere overheden, is een twee sporen beleid. Daniël: Dus aan de ene kant heb je echt de AI governance board. Daniël: Mensen van meerdere lagen en graden die met elkaar samen praten over van is dit nou eigenlijk compliant? Daniël: Wat betekent dit voor onze inwoners? Daniël: Hoe zit het juridisch, etc, en aan de andere kant ook het actie, dus het kleine pilotjes proberen. Daniël: En daar samen van leren. Daniël: Oh, we hebben hier gemerkt, oh, dit stond nog wel wat open voor ons gevoel. Daniël: Even kijken, hoe zit het juridisch? Daniël: Groei je eigenlijk. Daniël: En zowel de governance compliance, als het inderdaad werkelijk uitvoeren. Daniël: En dat is iets wat ik wel kan meegeven. Daniël: Dat werkt echt wel eigenlijk vrijwel overal goed. Joop: Kijk, dat scheelt. Niels: Het was eigenlijk al beantwoord, inderdaad, vandaag, ik zit met een AI-agent plan en waar moet ik stappen zetten. Unknown: En dat is twee sporenbeleid. Niels: En dat betekent dus inderdaad het stukje starten. Niels: En je huidige governance aan laten sluiten en te kijken wat daar nodig is, inderdaad, dus eigenlijk is heel mooi beantwoord. Joop: Wat ik van jullie waar zie je nu als je richting de toekomst kijkt, op het gebied van agente AI in governance. Joop: Waar denk je dat het naartoe beweegt, Gerard. Gerard: Wat ik net ook een beetje aangeverd is die klassieke AI governance, waarin je dus vooraf vaak dingen vaststelt toetst. Gerard: Schuift steeds meer naar toch meer dynamische AI governance. Gerard: Veel meer gericht op technische maatregelen die zaken uitsluiten in het proces, niet meer achteraf, maar echt je geeft technische controles mee aan een workflow, als een agent iets doet wat niet mag, dat die ingrijpt, dus dat soort zaken. Gerard: Daar verwacht ik dat er steeds meer naartoe wordt bewogen. Gerard: En dat ze al ondersteund moeten worden met goede platformen. Gerard: Goede identity access management. Gerard: Richtlijnen. Gerard: Dus daar verwacht ik dat het steeds meer naartoe gaat bewegen. Daniël: Nou, ik ben ik zou met de deur naar huis vallen. Daniël: Ik ben op dit moment bijzonder pessimistisch. Daniël: Ik denk dat we op dit moment met z'n allen en de meeste hebben het niet door en je kunt het met me oneens zijn. Daniël: Maar goed, ik zie het 16 uur per dag. Daniël: Ik denk dat ze op dit moment op de rand van richting de afgrond aan het koersen zijn. Daniël: Je krijgt AI die veel competenter, het wordt, veel sneller, veel sterker. Daniël: Het wordt gekoppeld. Daniël: Kijk, zo'n Copilot wordt overhangen alle daten, we weten allemaal zelf niet eens meer hoeveel. Daniël: Er komt ook nog een stukje robotica, steeds meer in opkomst, we krijgen kwantum. Daniël: Ik denk als we zo doorgaan over vijf jaar dat we dan. Daniël: Ik hou me hard vast, laat het zo zeggen voor grappig. Joop: Ik schat je in, en misschien de zaal ook als een optimist. Joop: Dan eindigen we misschien zo, ik wil als afsluitende vraag. Joop: We hebben een kaartspel ontwikkeld met het ETZ, Elisabeth Tweesteden Ziekenhuis, en daar zitten ook ethische vragen in. Joop: En ik vond, zij hadden er namelijk één bedacht, en die wil ik ook aan jullie voorleggen. Joop: Zij stellen als stelling, het is ethisch niet meer verantwoord om AI niet in te zetten in de zorg. Joop: Is het nog wel ethisch verantwoord om AI niet in te zetten voor de burgers? Joop: Of voor je klanten, ben ik het volledig mee eens. Joop: Ik vind dat wel een paradox, wat je net aangaf, ik lijkt Trump wel, ik heb me vergeten, vrouw, het pas bij elkaar. Daniël: Kijk, ik nu zie dat we op richting de afgrond gaan, wil niet zeggen dat ik tweede ook waar kan zijn. Daniël: Ik ben alleen van mening dat wij heel hard heel snel met z'n allen wakker moeten worden. Niels: En denk daarom, het stukje governance nog belangrijker wordt en dat we hier nog meer aandacht moeten hebben. Niels: Dus ik ben blij dat er echt zo'n grote mooie volle zaal zit, inderdaad. Niels: We gaan jullie vraag ook nog beantwoorden in de podcast. Joop: Lever ze in. Joop: En voor de luisteraars blijf even hangen. Joop: Want we gaan met de heren nog zitten om de vraag te beantwoorden. Joop: En hier zou ik willen vragen, geef ze een hartelijk applaus voor alles wat ze verteld hebben. Joop: We hebben de set omgebouwd. Joop: En we zitten nu in een andere ruimte. Joop: Dus we gaan even de vragen uit het publiek beantwoorden. Joop: En ik heb voor jou Daniël als eerste een leuke vraag van Janine Simons. Joop: En zij zegt, is het realistisch om outputcontrole bij individuele professionals te leggen, als organisaties niet investeren in trainen van medewerkers in critical thinking. Daniël: Ja, daar raakt Janine de spijker op zijn kop, wat mij betreft dat is niet mogelijk. Daniël: Nee, dus daarom, en het is ook gewoon wettelijk verplicht. Daniël: Artikel 4 van de AI-verordening zegt dat een organisatie die iets met AI doet geacht voor te zorgen dat haar werknemers AI geletterd zijn. Daniël: En dat betekent dus dat je inderdaad voor wat van applicatie dan ook echt moet zorgen dat die gebruiker goed weet van hoe werkt het systeem. Daniël: Kijk, er zit natuurlijk ook de domein expertise bij, dat mogen duidelijk zijn. Daniël: Als jij output krijgt, die gaat over jouw vakgebied, wordt jij wel geacht natuurlijk daar al kritisch naar te kunnen kijken. Daniël: Het is ook heel goed dat je zegt applicatiespecifiek. Joop: Wat heel veel mensen denken van ja, maar ik kan een certificaat AI-geletterheid ergens bij je training krijgen. Joop: Het gaat over bedienen. Daniël: Om een goed voorbeeld te noemen, ik heb twee maanden geleden heb ik een paper gepubliceerd waarin ik stel dat geen enkel AI-systeem op dit moment compliant is. Daniël: En dat begint al bij de AWB. Daniël: Waarom? Daniël: Omdat als jij, laten we zeggen, vorig jaar heb je. Joop: Wat is de AWB? Daniël: Dat is bestuurswetten, zeg maar. Daniël: Dus fatsoenlijk bestuur, dat je achteraf moet kunnen aantonen voor hoe het proces gegaan. Daniël: Bij de overheid moeten we gewoon kunnen uitleggen achteraf, bij bijvoorbeeld beroep of bezwaar of een verzoek, moeten we kunnen uitleggen. Daniël: Hoe zijn jullie tot die conclusie gekomen? Daniël: En dat is heel lastig, want als jij een jaar geleden een bepaalde casus hebben behandeld. Daniël: En laten we zeggen. Daniël: Dus de domeinexpert die heeft het gedaan, je hebt bijvoorbeeld Copilot gebruikt, heeft mooie output gekregen, heeft de bronnen gecontroleerd en alles, heeft het in het dossier gezet en een jaar later wordt gevraagd: hoe is dat tot stand gekomen dan? Daniël: Wat voor rol heeft AI gespeeld, kun je dat niet meer reproduceren. Daniël: En hij wordt nog mooier op het moment zelf al. Daniël: Kijk, je ziet bronnen terugkomen bij Copilot. Daniël: Dat doen ze goed laat het duidelijk zijn. Daniël: Maar je ziet niet welke bronnen niet zijn opgehaald. Daniël: Misschien waren er wel andere documenten of stukken die ook relevant waren om tot een conclusie te komen. Daniël: Maar de ambtenaar die dacht: nee, dit ziet er goed uit plausibel. Daniël: Ik zie dat de bronnen kloppen. Daniël: Maar je weet niet wat er niet is opgehaald. Daniël: En hoe zijn dingen geframed door de AI of samengevat. Daniël: Want daar zit er echt een groot verschil in. Joop: En vind je daarmee dat het niet compliant is. Daniël: Nou ja, dat is niet zozeer wat ik vind, dat is gewoon logisch. Daniël: Dat is gewoon letterlijk de conclusie die je moet trekken, als je de wetgeving bekijkt. Daniël: Maar goed, we wijken nu af, het gaat over het AI geletterd zijn. Daniël: Maar daar zit meteen dus ook wel weer. Daniël: Het knelpunt. Daniël: Als jij als ambtenaar dit gebruikt en niet weet hoe dit AI-systeem werkt, dus ook niet weten van hoe worden eigenlijk die bronnen naar boven gehaald. Daniël: En wat wel en wat niet, en hoe wordt het geframed. Daniël: Ja, dan mag je nog zo het due diligence toepassen. Daniël: Maar als jij niet weet hoe het werkt, dan is het een soort wassenneus. Daniël: Daar moeten de gebruiker echt wel van op de hoogte zijn. Niels: En dat was al bij systemen waar ook AI in zit, alsjeblieft begrijp je systeem. Niels: Begrijp wat er gebeurt en weet je het niet de duik erin, inderdaad, hebben we nog een mooie vraag ontvangen, anoniem. Niels: De naam staat er niet bij, maar wel een hele mooie vraag. Niels: Gerard voor jou, wat doe je met autonomie wanneer je pakketsoftware of diensten koopt of abonneert waarin AI dan gebruikt wordt. Gerard: Ja, dat is wel echt een relevant topic. Gerard: Want wat je nu ziet is dat veel vendoren AI-features zomaar aanzetten. Gerard: En je merkt ook dat medewerkers van de organisatie daar ook in geïnteresseerd zijn, los van de vraag van hebben we het überhaupt nodig, wordt dan snel gezegd, ja, het is gratis, dus ja, waarom zouden het niet gebruiken? Gerard: Daar zit natuurlijk wel een risico. Gerard: Dus je wilt wel weten. Gerard: Wat wordt er precies aangezet? Gerard: Wat voor model gebruikt, bijvoorbeeld die vendor. Gerard: Waar gaat mijn data naartoe en welke afspraak maak ik daarover? Gerard: Wat gebeurt met mijn data als bank zijnde met zo'n vendor die daar dan toch richting zijn model iets mee gaan doen. Gerard: Op dit moment zijn we daar heel terughoudend in. Gerard: En wat wij sowieso doen, is dat bij alle AI use cases ook features die worden toegevoegd aan bestaande software, die willen we door voor ons de AI-way of working heen halen, eigenlijk een soort van ontwikkelstraat waarin we allerlei requirements aftikken om te kijken, oké, willen we dit en uiteindelijk daar goed geïnformeerd. Gerard: En ook daarmee voor iedereen een acceptabele use case te hebben. Gerard: Dus dat is hoe wij het aanpakken en hoe ik dit dan ook zie. Niels: Dus tegen je eigen guardrails en regels aanhouden. Gerard: Zeker. Niels: Ik geloof wel dat jullie je handen vol hebben dan. Niels: Want iedere tool zit nu al een feature in, inderdaad, om het anders. Gerard: Enorme uitdaging, eens. Gerard: En ook nog eens een keer echt goed monitoren daarvan. Gerard: Want sommige vendors zetten het ook gewoon zelf aan. Gerard: En dan heb je wel toch wel een beetje een soort van grijs gebied, of hoe zeg ik dat, een blinde vlek, misschien meer. Gerard: Dat je dat je dat niet altijd kunt waarnemen. Gerard: De leverancier heeft contact met de businessowner van zijn applicatie. Gerard: Je moet dat dan ook wel melden, of een release note waar je het in zou kunnen lezen, maar dan moet je wel tot actie over gaan. Gerard: En het detecteren, maar ook vervolgens het oppakken door de verantwoordelijke binnen de organisatie. Gerard: Daar zit natuurlijk wel wat afhankelijkheden. Gerard: En die wil je zoveel mogelijk toch ook weer technisch zien af te vangen. Gerard: En daar zijn we nog een beetje aan het zoeken van hoe kunnen we dat nou doen. Niels: Ja, en naast technisch inderdaad ook een stukje van hoe weten we wat het systeem doet. Niels: Ook daar inderdaad, de awareness zal er ook helpen. Niels: Want je hebt als hele organisatie, heb je te maken met deze features die ineens kunnen ontpoppen, inderdaad. Joop: Daniël, voor jou, we zitten een beetje te pingpong. Joop: Iemand was heel erg geïntrigeerd over jouw governance agent. Joop: En die vraag op welke provider draait die governance agent dan. Joop: Je geeft inzicht in zoveel vertrouwelijke data. Daniël: Ja, ook die vraag raakt natuurlijk onmiddellijk de spijker op de kop. Daniël: Ik denk dat we af moeten stappen van denken in providers puur zang. Daniël: Je hebt namelijk ook nog gewoon de mogelijkheid om zelf een server neer te zetten in je eigen omgeving, fysiek. Daniël: En het daarop te draaien, internetkabel eruit. Daniël: Dat kan tegenwoordig kan heel goed. Daniël: Met hele goede modellen ook. Daniël: Met heel goede modellen. Daniël: Ik ben Civics drijven nu toch echt wel state of the art open source modellen. Daniël: Waarbij je denkt aan honderden miljarden parameter modellen, dat is verbluffend. Daniël: Maar je ziet ook dat open source modellen steeds competenter worden, maar toch kleiner. Daniël: Dus we hebben allemaal nieuwe technieken, technologieën, quantization, andere technieken, mixture of experts zoals het leuk heet. Daniël: Waardoor je eigenlijk die modellen, zelfs, nou ja, het zal dit jaar gebeuren, op je telefoon kunnen draaien zonder internet. Daniël: En daar gaat het wel heen. Daniël: Maar goed, ik begrijp ook, want ik werk heel veel voor overheden, dus ik kom heel veel. Daniël: En zelfs grote overheden zeggen, ja, maar ja, moeten we dit nou allemaal zelf gaan zitten organiseren. Daniël: Je loopt ook tegen allerlei praktische problemen aan, vaak past het niet eens in de serverkast, zo'n ding. Daniël: Maar je hebt ook gewoon Europese aanbieders. Daniël: Wij werken zelf bij Civiq AI partner van Skillway, grote Franse provider. Daniël: Absoluut aanrader, maar zo heb je in Nederland en in Europa heb je nog meerdere aanbieders. Daniël: Waarbij echt de hardware en de infra is gewoon van ons, zeg maar. Joop: En de Nederlandse overheid direct in de AI-factory. Daniël: Ja, om maar wat te noemen precies. Daniël: Dus dat kan. Daniël: Dus je moet niet meer denken van ja, welke provider dan, want al die data is vertrouwelijk, ja, 100%. Daniël: Maar als jij zegt, we gaan met zulke gevoelige data werken, dan zeg ik, zet het in huis, zet het fysiek neer, internetkabel eruit. Daniël: Dus het is een beetje een tranches. Daniël: En als je zegt, nou ja, het is gevoelig, maar een goede DPA met een leverancier, kunnen we aan, ga dan met een Europese provider en ze. Niels: Voelde een beetje als een tenniswedstrijd. Niels: Ook wel lekker, inderdaad. Niels: Als je geen legacy zou hebben, hoe zou je AI governance dan vanaf de bodem inrichten? Gerard: Het grappig is eigenlijk dat de governance. Gerard: Dat kan niet uit het niets, maar gevoelsmatig was dat wel zo. Gerard: Het is 2023 hadden we ineens te maken met ChatGPT. Gerard: En als organisatie zijn we daar ook wel op ingesprongen door een governance neer te zetten. Gerard: Maar op een gegeven moment zag je op verschillende plekken diverse vormen van governance ontstaan. Gerard: Dus allerlei boards, allerlei comités, groepjes die ergens iets van moesten vinden. Gerard: En dat is zo opgeblazen zo groot geworden, dat we op zich, als ik dan zo zou moeten vertellen, een aantal maanden geleden hebben gekeken. Gerard: Wat hebben we nu en moeten we niet terug naar de basis. Gerard: die direct vanuit de managingboard, mandaat heeft om de strategie te bepalen, use cases goed te keuren op basis van die strategieën en die waarde die toevoegt aan de strategie. Gerard: Dus op die manier hebben we dus ook, als je het hebt over het nieuw opbouwen, toch als het ware opnieuw opgebouwd, wel kijken naar wat voor soort comités zijn er al. Gerard: En daar zoveel mogelijk op aansluiten, maar dat in ieder geval wel weer wat eenvoudige en simplistischer te maken dan toch wel het grote wat we hadden gecreëerd in de loop der tijd. Niels: De Board of Boards. Gerard: Dat denk ik de antwoord op deze vraag. Niels: Keep het simpel. Daniël: Misschien mag ik er heel even kort nog op ingaan, want legacy is natuurlijk een groot issue. Daniël: En dat gaat niet alleen maar over governance, het gaat ook bijvoorbeeld over je data. Daniël: Dus wat je ziet, we zitten zeker bij de overheid, zit op zeker 8, 9, 10 jaar aan oude data, PDF's ingescand. Daniël: Ik adviseer wel iedereen om nu al gewoon te gaan investeren. Daniël: Kijk, ja, waar je nu op zit, kun je niks meer aan doen, maar je kunt wel vanaf vandaag beginnen met het inrichten van een goede structuur, metadatering, machine readable. Daniël: Dat is per organisatie use case natuurlijk wel weer wat anders. Daniël: Maar daar kun je vandaag al mee beginnen in zekere zin. Niels: En machine readable governance en richtlijnen, dat zijn zeker mogelijkheden waar je naar moet gaan kijken. Niels: En dat gaan borgen in de techniek en processen. Niels: Niet alleen techniek, alsjeblieft, ook de processen, maar nemen de menskant van essentieel belang. Joop: Het gaat over data. Niels: Je hoeft ze gelijk over data gaan. Niels: Ja, dat is mijn vakgebied. Joop: Daniël, kijk deze vraag is van Remy Lang. Joop: En hij zegt van je noemde de flow straks over handcode, GenAI handcode, deterministisch, mens. Joop: Kun je elke stap nog eens toelichten? Daniël: Dat kan, maar dan zitten we hier nog minstens een paar uur. Daniël: Ook daar en er is geen blueprint. Daniël: Maar als ik bijvoorbeeld kijkt naar wat wij nu aan het doen, zijn bij Civiqs AI zijn we rijksassistent aan het bouwen. Daniël: Rijksassistent. Daniël: Hebben wij voor ogen, is een veilige assistent die letterlijk alles weet van de Nederlandse wetten van rechtspraak, maar ook Europees, etc. Daniël: Nou, hoe doen we dat? Daniël: Dat doen we door te allereerst te zeggen data bij de bron. Daniël: Dus wij gebruiken alle, we halen live alle data gewoon bij de bron weg. Daniël: Dus dat we daar altijd goed zit. Daniël: Dus niet ouderwetse vector databases die op het moment dat ze gemaakt voor de ouderwets zijn. Daniël: Maar wat we dan doen is per stap, dat is één. Daniël: Dus je zorgt eerst dat je bij de data goed zit, dat is gewoon data is alles. Daniël: Maar dan ga je vervolgens bijvoorbeeld kijken in een planners stap. Daniël: Dus je laat die LLM bepalen, er komt een vraag binnen. Daniël: En de vraag kan heel simpel zijn: wat is artikel 7 van de grondwet, maar het kan ook een heel dossier zijn. Daniël: Van een medewerkersociaal domein, over de participatie, hele aantekeningen van een gezin. Daniël: Ja, dat wil je eigenlijk ook wel graag dat dat goed gaat. Daniël: Dus daar begint het mee, een soort intent recognition, een planner. Daniël: Het systeem gaat de route bepalen. Daniël: Waar ga ik welke data op welke manier vandaan halen om dit onder antwoord te komen? Joop: Ik denk dat ik deze vraagsteller, als ik het mag interpreteren, die vind ik denk ik vooral lastig van hoe mix je nou dat deterministische. Joop: En er zijn als je de agent zelf maakt, kan je bijvoorbeeld regels instellen, policies, die zeggen van hij mag niet duurder worden dan zoveel. Joop: Of je mag maar zoveel iteratie. Joop: Dat is het deterministische. Joop: Je kan kijken, van zitten er bepaalde stukken van tekst erin die die echt nooit mag geven, ja, daar begeef je op glad ijs. Daniël: Maar nee, maar het kan wel. Daniël: Je kunt zeggen semantisch gezien, maar wat jij zegt, is een heel belangrijk. Daniël: Dus dat je het allereerst leg je op voorhand al vast. Daniël: Welke bronnen mag je gebruiken? Daniël: Punt. Daniël: Dus niet dat het systeem lekker op het internet gaat zoeken en op nu.nl uitkomt. Joop: En dat kan je gewoon vastleggen. Daniël: Dat is gewoon altijd. Daniël: Dan kan de LLM, dan kan de agent zeggen, ik wil van alles doen. Daniël: Maar als de agent geen toegang heeft, dan heb je dat al gedaan. Daniël: Nou, die regels kun je hardcoden. Daniël: Je kunt ook weer een check daarachteraf op zetten, verificatie. Daniël: Nou ja, dat kun je een stukje lexicaal doen, is niet schaalbaar. Daniël: Maar wel voor belangrijke dingen en een stukje semantisch achteraf weer, dat er wordt gecontroleerd. Daniël: Oké, er is nu een antwoord geformuleerd, is dit antwoord echt helemaal wat uit de opgehouden bronnen klopt dat. Daniël: Maar ik blijf zeggen, 100% deterministisch ga je niet krijgen, zolang je Gen AI. Daniël: Die mens aan het einde is enorm belangrijk. Niels: Maar de regels tussendoor ook hoor, want dat zien we vanuit de praktijk ook met de agents die we zelf inrichten bij sport zien we ook echt goede kaders neerzetten. Niels: Keuzes die je niet mag maken omdat er geen grond iets is. Niels: Dat zijn zaken waar je echt de sturing mee kan beïnvloeden om die controle te doen. Joop: En voor degene die echt qua zelfbouw, zou ik willen geven, Microsoft is twee april zijn uitgekomen met het Microsoft Governance Toolkit. Joop: En daar kun je dit soort dingen gewoon echt in programmeren. Daniël: Zeg je dat nu tegen mij Joop? Joop: Tegen de luisteraar. Niels: De volgende vraag, sorry, als je na een verkeerd uitspreek, Cicile. Niels: Het is een opbouwende vraag, dus geef me even, is het niet het grootste gevaar dat het heel laagdrempelig is om een agent te bouwen, vergt niet altijd heel veel kennis om een agent te laten bouwen of zelf te bouwen. Niels: En aan de andere kant juist heel moeilijk is om te snappen hoe je risico's kunt herkennen en mitigeren. Niels: Dat vraagt namelijk weer heel veel technische kennis. Niels: Hoe ga je daar binnen een organisatie mee om? Gerard: Onwijs goede vraag. Gerard: Enzijds is natuurlijk wel gevaar dat iedereen zomaar even een agent kan bouwen en kan inzetten. Gerard: Ik hoop dat toch dat wij dat als bank detecteren als dat zou gebeuren. Gerard: Niks honderd procent, verwacht ik daarin. Gerard: Dus een enorme kans dat je daar efficiënter of kwalitatief beter werk mee kunt leveren. Gerard: Gelijkertijd. Gerard: Voor zie ik ook dat diegene die in boud niet het complete beeld heeft, dat het niet goed in kan schatten. Gerard: En wat betekent dit nou voor de complete organisatie, voegt het ook echt daadwerkelijk qua value iets toe voor de hele organisatie. Gerard: Maar wat zijn ook volgens de risico's. Gerard: Overziet hij dat vanuit de verschillende perspectieven. Gerard: Hij kan wellicht het all goed bedoelen. Gerard: Qua intentie altijd goed. Gerard: Tenminste, daar ga ik vanuit. Gerard: Maar het grotere plaatje wordt dan vaak gemist. Gerard: en dan zeker stept over wat gebeurt met de data, waar komt het model vandaan. Gerard: Dat soort vragen, daar wordt niet altijd bij stilgestaan en gedacht. Gerard: Oké, als Microsoft zegt van joh, data blijft gewoon in Europa, dan zal het wel zo zijn, of een andere provider geeft een provider. Gerard: Dat wordt vaak onderschat. Gerard: Daar maak ik me dan wel zorgen om. Gerard: Het goed kunnen inschatten van wat ben ik aan doen en wat voor effect kan dit hebben. Gerard: Daar heb je denk ik wel meer voor nodig dan iemand die even zelf een agent bouwt. Niels: Je wil innoveren, maar je wil verantwoord innoveren. Niels: Innoveren is leren. Niels: En daarna weer inderdaad wel die check en balances erop los kunnen laten. Gerard: En ook door verschillende ogen laten beoordelen. Daniël: En ik denk ook zo die technisch. Daniël: Dat is natuurlijk wel ook weer een soort wrijving. Daniël: Enerzijds is het heel makkelijk. Daniël: Mijn zoontje van 12 kan een agent bouwen in vijf minuten. Daniël: Maar anderzijds, de vraagsteller zegt ook, ja, maar moet je tegelijkertijd ook niet heel veel technische kennis hebben, om het ook dan nog eens een keer echt veilig in te zetten. Daniël: En dat is natuurlijk ook zo. Daniël: En ik denk dat wat Gerard net zegt, dat raakt ook spijt op zijn kop. Daniël: De vraag is als organisatie, kun je wel zeggen van, ik heb laatst letterlijk gehoord van overheden, krijg je geen naam noemen. Daniël: Maar die zeiden dan van joh, maar waarom zullen we die gewoon ChatGPT inzetten. Daniël: Of waarom gaan we niet zelf even een LLM'tje hosten? Daniël: Als je die vraag al stelt, dan zeg je geef je eigenlijk altijd op waar je staat als organisatie. Daniël: Dit is gewoon groot, daarom zeg ik ook wakker worden met z'n allen. Daniël: Je moet veel meer urgentie hebben. Joop: Er is nog één vraag. Joop: Daarna heb ik nog een afsluitende vraag. Niels: Dan is dat vanuit de gasten afsluitende vraag. Niels: Inderdaad daarna volgt een beetje van Joop. Niels: Ik vond hem heel leuk. Niels: Lucienne, sorry als ik het nou een keer uitspreken. Niels: Als Agentic AI en agent staat even tussen uit. Niels: Dus als AI en Agentic een sector als eerste solo zo mogen gaan doen. Niels: Zou je dan gaan laten vliegen of bankieren. Niels: Welke zou je dan de beste keuze vinden? Gerard: Ik zou toch zeggen vliegen. Daniël: Ik heb nieuws voor jullie. Daniël: Dit gebeurt al 20, 30 jaar, we hebben zoiets als CAT A/C Autoland. Daniël: Ik heb landingen gemaakt in de Boeing 747 waar ik niks mee mocht aanraken. Daniël: Dat ik officieel zelf niet mocht landen, maar het algoritme mocht laten landen. Daniël: Dus dit bestaat al. Daniël: Alleen de vraag is natuurlijk wel, in zekere zin zou je die piloten weg kunnen halen. Daniël: Kan helemaal autonoom. Daniël: Maar stap jij in een vliegtuig waar die piloot die zit? Niels: Nee, ik verlopig nog niet. Daniël: Nee, ik dus ook niet. Daniël: Ik ook niet. Daniël: Maar goed, zelf met bankeren. Daniël: De vraag is, het heeft al bij heel veel impact. Daniël: Dus ik denk bij allebei is het natuurlijk iets wat kan al, denk ik, ook bij bankeren zou het heel veel kunnen. Daniël: Maar de vraag is: moet je het al willen, voordat we echt wel heel goed van de hoek de rand weten eerst. Daniël: Dat is denk ik de vraag die je dan moet stellen, moet je het op dit moment wel willen. Daniël: En wat wil je wel en wat wil je niet? Niels: Dan gaan we recht in de afsluitende vraag van Joop voor jullie allebei, maar dat wil ik bij jou beginnen, Gerard, is dat we hadden natuurlijk maar een half uur op het podium. Joop: Jullie hebben de gesprekken voorbereid. Joop: Wat is nou een element of een vraag waar je op gehoopt had. Joop: Die niet gesteld is. Gerard: Misschien een beetje een open deur, maar van heb je nog een advies voor de mensen in de zaal. Gerard: Daar had ik me niet heel speciaal voorbereid, ik hoorde het ook wel een beetje zeggen of een beetje uitleg door Rob van Microsoft. Gerard: Dat is denk ik een hele basale, maar die gaat al heel erg op, denk ik, als je kijkt naar agents. Gerard: Behandel die nou gewoon als een collega, het is echt nogmaals een beetje een basaal voorbeeld. Gerard: Maar onboard zo'n agent nou heel bewust, geef hem gewoon beperkte rechten en monitor die agent. Gerard: Dat is volgens mij om het een beetje in de gedachte te houden van de mensen in publiek, denk ik wel een hele goede vergelijking. Gerard: Die vraag heb ik niet gehad. Joop: Nou, heel mooi, deze nog als aanvulling. Daniël: Ja, ik vul die dan ook gelijk even aan. Daniël: Grappig is: ik heb gisteren op een congres een keynote gehouden, waarbij ik het volgende zei: hoe bizar is het dat als wij een nieuwe collega's zoeken, vacature. Daniël: Dan krijgen we sollicitanten, die gaan we helemaal doorlichten. Daniël: Kijken wat voor ervaring heb je, wat voor opleiding, wat kun je allemaal, VOG vragen we aan. Daniël: Maar op het moment dat zo'n AI-agent binnenkomt, is het vaak een vinkje zetten bij. Daniël: De organisatie deden die eens. Daniël: En dat ding, dat wordt aan het werk gezet. Daniël: Dus ik pleit ervoor om, ik heb gisteren ook AI-VOG. Daniël: NL gekregen, ik weet nog niet wat ik ermee ga doen. Joop: Jammer, willen hebben. Joop: In de workshop hebben wij een AI agent vacature. Joop: Canvas. Joop: Ga je functioneel ga je inderdaad dit soort dingen, maar ook dus vertellen. Joop: Wat mag die niet? Joop: Want dat is natuurlijk ook altijd een grote vraag. Joop: En ik heb de Agent VOG canvas. Joop: Want er zijn natuurlijk heel veel ethische vragen, want daar gaat het eigenlijk over. 752 Joop: Wat is nou goed gedrag? 753 Joop: Ja, wat leuk. 754 Joop: Dankjewel voor dit. 755 Joop: Er was geen opzetje dit. 756 Joop: Zo zie je maar de cirkels rond je.