Van verbod naar vertrouwen: Hoe de NS een eigen AI-platform bouwde

In deze aflevering hoor je Edwin Wenink, data-expert bij de Nederlandse Spoorwegen, over het bouwen van een intern AI-platform dat medewerkers ondersteunt. Hij deelt hoe de NS al vroeg de potentie van large language models zag en vanuit cybersecurity-overwegingen juist een eigen oplossing ontwikkelde. [Muziek] [Muziek] [Muziek] Hoi Leuk dat je luistert naar een nieuwe aflevering van AIToday Live Rechtstreeks vanaf het podium. We zijn daadwerkelijk live. Misschien dat jullie even kunnen laten horen dat we ook daadwerkelijk live zijn. Kijk, kijk, kijk. Dankjewel, dankjewel. En vandaag behandelen we namelijk een bijzonder verhaal over het bouwen van een eigen AI platform moet ik zeggen bij de Nederlandse spoorwegen. Een verhaal dat laat zien hoe een Nederlandse organisatie al vroeg potentieel zag van large language models. Ja, onze gast is Edwin Wnink, data expert bij de NS met een fascinerende combinatie van expertise's. Hij studeerde zowel artificial intelligence als filosofie. Een combinatie die hem in staat stelt om technologie niet alleen te begrijpen, maar ook kritisch te beschouwen. Wat een mooie combinatie. De NS bouwt, samen met de NS bouwt hij zijn team aan een platform dat ontwikkelaars in staat stelt om met AI toepassingen te maken. Een platform dat meegroeit met snelle ontwikkelingen in het AI-landschap van het afgelopen jaar. We hebben 45 minuten, dus we gaan meteen beginnen. Dus Niels. Laten we beginnen. Nou ja, voor veel mensen, laten we daar beginnen. Voor veel mensen is AI nog steeds een beetje een mysterisch begrip. Hoe leg je aan familie, vrienden, thuis uit wat je doet bij de NS? Ja, hele goede vraag. Het eerste is, als je bij de NS werkt, dan moet je inderdaad op verjaardagen jezelf regelmatig verantwoorden. En dus een van de vragen die ik sindsdien niet meer krijg is, wat is AI nou eigenlijk? Want mensen vinden dat al prachtig en die menen vaak ook best wel goed te weten wat het is. Dus misschien ben je eerder dan aannames aan het bijstellen. Maar hoe ik het zelf vaak uitleg is, het zijn eigenlijk computers of systemen die doen, waarvan we bij mensen zeggen dat dat intelligent is. En dat is een hele pragmatische definitie. En wat ik daar het mooie van vind, is dat wij vinden nu schaakcomputers. Eigenlijk niemand denkt meer aan schaakcomputers als we het over AI hebben. Dus er zit een hele culturele component in van wat wij intelligent zijn gaan vinden in computers. En dat begrip groeit ook een beetje mee. Dus wat ik mooi vind aan die definitie, is dat die component, die veranderende component, ook een beetje vangt. Ja, en wat is dan het deel wat jij uitvoert bij de Nederlandse spoorwegen? Hoe leg je dat uit, zeg maar, aan je familie? Ja, dat verhaal begint eigenlijk, je kan natuurlijk het historisch aanpakken, helemaal, maar daar haken ze ook wel vaak af. Ja, het begint er wel ze niet. Dus het makkelijkste aanknopingspunt is natuurlijk wel gewoon ChatGPT. Bijna iedereen kent dat sinds, wat is het, twee jaar onderhand. Mijn vriendin noemt het Chatty G. Is de shout-out naar mijn vriendin. En dat is toch ook wel leuk om te noemen, omdat ik merk ook dat het een moeilijk uit te spreken naam is. ChatGPT. De meeste mensen maken er toch een soort van Chattie Pity van. Precies. Maar het is wel iets wat iedereen kent. Dus dat is een heel mooi aanknopingspunt om uit te leggen. Wat doen wij nu eigenlijk? Ja. En dat begint een beetje bij data, veiligheid, cybersecurity en privacy. Dus iedereen gebruikte dat. Ja. Nou, dan zag je in begintijden dat grote bedrijven, en wij zijn een groot bedrijf. Absoluut. Eigenlijk is er van paniekreacties grote. Van, oh god, wat gebeurt er met onze data? En vooral in sectoren waarin je bijvoorbeeld in de bankensector met gevoelige data werkt. Klantgegevens. Nou, die hebben wij ook. Of met intellectual property of zo. Ja. Dat is eigenlijk de instinctieve reactie vanuit het gevoel van, we gaan het verbieden. Ja. En het mooie en coole aan dit project is dat we zijn in die fase al begonnen met zeggen, nou, eigenlijk geloven we daar helemaal niet in, in dat verbieden. Als je het verbiedt, dan is dat naïef. Mensen gaan het toch wel gebruiken. Alleen, je hebt geen zicht op het gebruik. Dat is het verschil. Ja. Dus wij wilden eigenlijk pragmatisch daarin staan. En bij ons was cybersecurity dus eigenlijk een aandrijver om te zeggen, hey, we moeten dat niet zelf gaan aanbieden. Wat goed. Ja. Mooi. Waar kwam, zeg maar, dat inzicht vandaan? Want dat verbieden was echt, dat was echt net wat je zegt, dat was de reflex. Ja. Waarom was dat bij jullie precies andersom? Hele goede vraag. Dat is eigenlijk te danken aan de visie van onze product owner. Die zat toen op een ander project. Die heeft gewoon een goede gevoelsnaar van, hey, wat speelt er in de samenleving? Ja. En die loopt altijd net wat verder vooruit. Dus hij is, wij zijn met het team als geheel wel een early adopter, denk ik. Ja. Ik qua karakter ben dat soms wat minder. Ik ben vrij nuchter daarin. Ja. Ik zie het allemaal wel. Hij loopt altijd op de troepen vooruit. En hij is echt met de visie de organisatie ingegaan om het verhaal te vertellen van, wij moeten hier op springen. Want ja, anders worden we ingehaald door de realiteit. En dan met de argument van veiligheid. Dat was het aanvankelijke argument. Ja, en dat is natuurlijk een heel conservatief argument. Dus in eerste instantie was de inzet. We moeten een eigen chatplatform hebben met dezelfde capabilities of eigenlijk dezelfde dingen die je kan doen als die je gewend bent van ChatGPT. Maar dan op een manier dat je data, je enterprise data, helemaal veilig blijft. En je geeft aan aanvankelijk. Dat insinueert dat er nog andere zaken bij zijn gekomen. Wat zijn die zaken die erbij zijn gekomen? Nou ja, dat hoef ik jullie niet te vertellen, maar dit veld beweegt natuurlijk heel erg snel. Dus om snel op gang te gaan hebben we aanvankelijk wat compromissen gemaakt. Bijvoorbeeld, we loggen helemaal niks. Afspraken gemaakt met onze aanbieders. Om ook dingen als abuse monitoring uit te zetten. Dat klinkt dan gevaarlijk. Maar er is normaal gesproken bij veel diensten die je afneemt altijd een soort van escape clausule. Dat als verdacht gedrag wordt gedetecteerd. Dat dan toch nog een mensen naar kan kijken. Dus zelfs over dat soort dingen hebben wij aan het begin afspraken gemaakt om het allemaal uit te zetten. Om te garanderen dat dus alles wat op onze eigen platform wordt ingevoerd, dat het ook echt volgens onze eigen normen veilig genoeg is. Maar dat is natuurlijk het uitgangspunt. En toen we dat op een gegeven moment op orde hadden, dan begint het avontuur pas. Want dan heb je wel een platform, maar ook een hele grote organisatie die daar nog wat mee moet gaan doen. En dan is een van de eerste grote uitdagingen. Oké, we hebben dit nu intern draaien. Maar dan wil je ook dat de bedrijfsdata die we hebben gebruikt kan worden. Dus iedereen die in het veld een beetje het over taalmodellen heeft, die denkt dan ook meteen aan hallucinatie. Nou, dus onderhand, als je zegt RAG heet dat dan, of RAG, Retrieval Augmented Generation. Heel duur woord voor, we zoeken de informatie als context automatisch bij een vraag die je aan het taalmodel staat. Daar zijn wij vroeg mee begonnen. Dus dat was eigenlijk de volgende stap naar dat privacy verhaal. En liep je daar niet tegen vraagstukken aan dat zeiden, ja, bedrijfsdata, maar die gaan we niet even zomaar openstellen? Ja, zeker. Maar ja, definiëer openstellen. Nou ja, via jullie platform. Dus je kan nu chatten, je zegt van, hey, we gebruiken zo'n RAG-systeem. Dus je gebruikt je interne data, bedrijfsdata. Ook daar schieten mensen vaak van in de vlekken. Ja, dat klopt. En dat is ook een gesprek dat ook gaande blijft. Dus intern maken we daar natuurlijk afspraken over en doen we risico-inschattingen van bepaalde dingen. Maar inderdaad, dat is zeker een belangrijk punt. En die reflectie was er ook zeker wel. Wij zijn als bedrijf vrij conservatief. Omdat we zo erg in de schijnwerpers staan, elke fout. Natuurlijk meteen in de kranten staat. Maar daarom is je verhaal ook zo interessant. Omdat je vanuit het conservatisme, als ik het dan ook zo mag noemen, eigenlijk juist de innovatie. En de weg voorwaarts hebt gekozen. Dus dat maakt het ook zo interessant. Zeker, maar het gaat natuurlijk niet zonder wrijving. Nee, daar ben ik wel benieuwd naar. Ja, dus dat klopt. Dat is een gevecht. Maar we zijn nog steeds aan het bijkomen van onze eerste compromis dat we niks loggen. Want wat is er nou vervelender als programmeur? Ja, wij zien helemaal niet wat mensen met ons platform per se doen. Omdat we die privacy echt garanderen. Maar dat maakt het natuurlijk ook moeilijk om onze dienstverlening te verbeteren. Dus ja, heel vervelend als programmeur. Ik moet dus echt mijn ivoren toren uit. En dus gewoon gaan praten met gebruikers. Hoe vervelend is dat? Ja, gekker moet het niet worden, wou je zeggen. En wat levert dat dan op? Ja, dat is een hele grote vraag. Daar heb ik ook geen klein antwoord op. Want, kijk, NS heeft ook, er zit ook een kostenplaatje aan. Dat je moet rechtvaardigen. En we zien daar twee bewegingen. Enerzijds toch wel de poging om te kwantificeren van wat levert het op. Nou, daar kun je een hele kostenplaatje... Oh, ja, maar ik bedoelde eigenlijk het praten met die gebruikers. Ah, oké, sorry. Ja, nee, dan precies. Dat levert heel veel op. Het is alleen heel veel werk. Ja. Maar kan je een inzicht delen? Van, ja, maar die heb ik echt te zien. Ja, dus een van de dingen die... Kijk, we hadden op een gegeven moment zo'n RAG-oplossing. Dus dat wil zeggen, mensen die kunnen hun eigen data, bedrijfsdata... Die blijven er eigen van. Die zien wij als ontwikkelaars ook niet. Dus als een afgeschermde omgeving. Die kunnen dat uploaden om er dan mee vragen over te stellen. En wat bijvoorbeeld heel erg lastig is, is dat... Kijk, wij weten als ontwikkelaars prima hoe die technologie werkt. Dus je stelt een vraag. Op basis van die vraag gaan wij slim zoeken in onze database. Dat wil zeggen, het stukje data dat die persoon zelf heeft aangeleverd. Die mag niet bij andermans data komen. En dan komt daar een antwoord uit. En dat is heel geschikt voor feitelijke vragen. Dus we hebben bijvoorbeeld een van onze meest enthousiaste gebruikers. Die zit dan bij het leercentrum. En hij zal, als hij nu luistert, ik ga natuurlijk de podcast doorsturen. Hij weet wie hij is. Maar die hebben heel veel monteurs bijvoorbeeld. We hebben een bedrijf met heel veel operationeel personeel. Dus bijvoorbeeld monteurs, die hebben gigantische leerboeken om bijgeschoold te worden over hoe repareer je die trein en zo. Er zijn gigantische tekorten aan monteurs. Dus hoe mooi zou het kunnen zijn als je die monteurs in staat stelt om met niet per se een 300 pagina boek door te spitten. Toch sneller op gang te helpen. Vooral sommige monteurs hebben bijvoorbeeld een certificering voor één bepaald type trein. Maar de treindeur van een andere trein is wel net wat anders, maar zo verschilt het ook weer niet. Dus in plaats van dat ze dan drie maanden op cursus moeten, zou je ze ook een RAG-oplossing kunnen aanbieden. Dus een iemand is daarmee bezig. Dus die op basis van ons platform maakt die als het ware leerervaringen met chatbots. Op basis van het daadwerkelijke lesmateriaal. Dus dat zijn bijvoorbeeld monteurshandleidingen. Dus dat wordt eigenlijk gebouwd op jullie platform. Ja, dus wij bieden dat intern aan en daar kun je dan weer, wij faciliteren een aantal dingen zelf met een webapp. En ook met een API waar andere producten intern is en dus dan weer op voort kunnen bouwen. Maar dus wat met die gebruiker, ik ben natuurlijk weer drie laagjes diep in mijn verhaal. Ik zal mezelf er weer even proberen uit te worm. Met die gebruikers zie ik bijvoorbeeld dat het RAG-systeem is heel goed voor het stellen van feitelijke vragen waar dan het antwoord ergens in die documenten staat. Dus een schoolvoorbeeld dat ik dan vaak gebruik om even te kijken of ik niet per geluk onze eigen platform kapot heb gemaakt. Is de vraag wat is een P-rem? Nou, ik wist niet wat dat was, maar dat weet ik onderhand wel. Wat is het? Dat is een pneumatische rem. Dat is een rem die werkt op basis van luchtdruk. Dat is heel belangrijk, want als de trein stroomstoring heeft, dan moet die nog steeds kunnen remmen. Oeh, dat is wel handig ja. Dus dat is eigenlijk een soort van back-up rem. Ik ben dus zelf geen machinist en monteur, dus ik hoop dat misschien word ik teruggefloten door collega's met meer expertise. Maar voor dat soort feitelijke vragen is RAG heel geschikt. Omdat je eigenlijk vijf fragmenten vindt, bijvoorbeeld, die als relevante context aan het taalmodel meegeven kunnen worden. En dan met bronvermelding en alles erbij je een grondantwoord krijgt. En jullie hebben dus een platform waar gebruikers dit zelf op kunnen bouwen? Of zorgen jullie ervoor dat jullie die RAG ook zelf bouwen voor de gebruikers binnen de organisatie? Parkeer de vraag nog heel even. Dus als je met gebruikers praat, waar je dan dus achterkomt, is dat ze dan hele andere vragen stellen. Niet wel eens een p-rem. Maar oké, geef twintig ideeën voor toetsvragen op basis van dit document. En wij weten aan de achterkant van het systeem van, ja maar wacht eens even, hij vindt maximaal maar vijf relevante fragmenten. En het taalmodel geeft wel degelijk twintig vragen. Maar die blijft gewoon doorpraten tussen aanhalingstekens, hè? Ja, we hebben wel ons best gedaan dat hij dan zegt van, hé ik weet het niet. Maar als de vraag dan net wel over de stof gaat, ja dan heeft hij wel relevante fragmenten. Alleen het zijn er geen twintig. Dus dat soort dingen, daar zit eigenlijk de complexiteit van zo'n product. Niet per se in het programmeerwerk, maar meer in hoe flexibel eigenlijk zo'n taalmodel is en al die interacties die je dan krijgt. En dat is voor ons wel een hele belangrijke drive, dus om met die gebruikers te praten. Om er dus achter te komen van, ah oké, hier hadden we zelf niet aan gedacht. Betekent dat ook dat je beperkingen oplegt wat er gevraagd mag worden? Ik bedoel, je zegt aan de ene kant we loggen niet, maar dat is wat anders. Zijn er beperkingen wat iemand wel of niet mag vragen? Of bouwen? Beperkingen wat mensen mogen vragen? Nou ja, we hebben onderhand jouw vraag, je moet hem zaken opnemen. Ik stel hem zo nog een keer. Ik moet hem zaken opnemen. Wij leggen aan gebruikers, maar dat is belangrijk om te zeggen. Wij werken eigenlijk van binnen naar buiten. Ook dat is een stukje risicobeheersing, dus wij bieden het niet aan de klant buiten aan. Dus het is de ondersteuning van professionals. Ja, dat maakt heel veel uit. En dat maakt wel uit, want daar verwachten we ook een zekere professionaliteit van de gebruikers en collega's. Dus als het gaat om gewoon chatten in ons product, dat heet ChatNS. Surprise, surprise. Dan leggen wij niet beperkingen op van dit mag je niet vragen. Er zijn natuurlijk wel de dingen, we geven geen antwoord op. Hoe maak ik een bom? Dat soort content filtering. Ja, dat doen we. Maar ook daar, iemand die een beetje goed is in prompt engineering, die komt er echt wel omheen. Dus ook daar is het gewoon professionaliteit van onze collega's. En in die zin leggen we daar dus geen beperkingen op. Nee, maar door heel helder te hebben van wat je intern doet versus extern, niet op dit moment. Ja, duidelijk. Maar in het geval dat iemand zijn eigen data wilt aanleveren, dus dat is wel iets wat we in ons product zelf faciliteren. Oké. Dus daar zit het meeste werk in. Totaal niet in het aanbieden van die chat functionaliteit, want ja goed, dat... Dat doet ie. Ja, iedereen doet dat wel. Ja. Maar vooral al het beheer wat er omheen komt kijken. Dus wij hebben dan een soort van workspace en daar kun je je eigen systeem prompt in zetten om een bepaald chatbot op ons platform te bouwen. Maar je kan ook je eigen data eraan toevoegen. En we hopen binnenkort de functionaliteit om bijvoorbeeld andere NS API's aan te spreken. Dat bieden we aan. Dus dat faciliteren we wel. Oké. We zijn in die zin een heel raar datateam, want we hebben ook een webapp. Dus we willen helemaal geen webapp. Ja. Alleen eigenlijk is dat een soort van uithangbord van wat ons platform kan. En dat helpt heel erg om gebruikers ook te laten zien wat het kan. En dat is ook een heel groot onderdeel van die gig. Ja. Niet alleen de technologie neerzetten, maar ook echt gaan praten met je gebruikers. En ook met een beetje visie. Dus echt uit de ivoren toren en de organisatie ingaan om te laten zien wat allemaal kan. Ja. Ja, want hoe stimuleer je mensen om zeg maar op een andere manier te denken, zodat ze ook jullie platform gaan gebruiken. Ja, dus dat is een beetje maatwerk wel. Je merkt... Het is een beetje tweeledig. Aan de ene kant is er een technologie die... Nou, onderhand niet meer nieuw is. Maar toen we begonnen, waren mensen echt nog iets van, ja, wat moeten we ermee? En daar zit een stukje visieontwikkeling dat je dus mensen weet te overtuigen. Dat kon toen nog niet met nummertjes, dat is nog steeds moeilijk. Dus je moet echt een verhaal vertellen. Ja. Van, hé, dit is It's Here to Stay en we moeten er wat mee. Ja. Dat rijmt ook nog. Ja. Dat. En aan de andere kant zien we nu ook juist een andere beweging, dat we mensen bijna moeten afremmen. Omdat links en rechts nu iedereen van ons af weet, worden we de hele dag bestookt met fantastische ideeën. Ja. Alleen het is ook, dat herkennen jullie misschien ook vanuit jullie praktijk. Mensen stellen AI tegenwoordig gelijk aan taalmodellen, LLMs. Nou, dan denk je al van nou, nou, nou. En ze verwachten ook dat het alle problemen oplost die het labeltje AI hebben gekregen. Ja. Dus we zijn ook best wel veel tijd kwijt met mensen nee verkopen. En dan heel goed uitleggen van, hé, dit kan het dan net weer niet. Ja. En dat is misschien even belangrijk als mensen overtuigen wat het wel kan. En hoe leg je dat uit? Wat het niet kan? Nou, één voorbeeld dat we in de praktijk, we zijn een heel divers bedrijf. Het is eigenlijk een soort van verzameling van andere bedrijven. We hebben natuurlijk operationeel personeel en zo. Maar ook bijvoorbeeld accountants. En die rekenen. Ja. Dus die hebben heel veel Excel sheets. Ja. En die werken met nummertjes. En één van de dingen, we geven zelf ook trainingen. En één van de dingen waar we er altijd op hameren is van, ja, wacht even. Het kan eigenlijk niet rekenen. En dat is best moeilijk om uit te leggen. Ja. Omdat het heel vaak wel goed gaat. Ja. Ja, dat maakt het heel vervelend. Ja. En je ziet natuurlijk op social media ook allerlei rekenvoorbeelden van hoe schijnbaar het goed gaat. Ja. Maar het is net wat je zegt. Ja, het is geen rekenmachine. Het is een taalmachine. Het is een taalmachine. Dus het ziet een cijfertje. Ook als een token of als een woord. Om het minder technisch te zeggen. Dus je moet je soms echt... Mensen zijn best hardnekkig daarin. Ja. We hebben echt wel een keer gehad dat iemand zei, maar het kan wel rekenen. Kijk maar. En dan moet je dus voorbeelden geven. Ja. Dus als je vraagt, wat is 20 keer 20? Ja, daar komt die nog wel uit. Maar als je twee hele grote getallen met elkaar vermenigvuldigt, dan zul je ook zien, daar komt een getal uit. Dat heeft precies... Het is een wondertje. Maar hij heeft precies het goede aantal cijfers. Oh ja. Maar het zit er dan wel net 200 vanaf, weet je wel. Dus als je dat een keer laat zien, dan denken ze, oh ja, oh ja, oh ja. Ja, en dat is in de verhaalvorm niet zo erg. Maar voor de accountancy is dat toch wel cruciaal. Ja, dus daar is het heel belangrijk. Het is eigenlijk meer een risico dat mensen die modellen gaan inzetten op een manier die eigenlijk contraproductief is. Want ze gaan er op vertrouwen terwijl dat het helemaal niet kan. Heb je nog een mooi voorbeeld van wat gebouwd is, waarvan je van tevoren eigenlijk daar niet over nagedacht hebt. Zeg van ja, dat is gaaf en dat mag ik hier ook delen. Ja, we hebben eigenlijk niks geheims of zo. Dat was in ieder geval fijn. Dus omdat we de data niet kunnen zien, moeten we wel echt met mensen praten als ze dus een eigen bucket met data willen, zeg maar. Dus we hebben in die zin van wat leuke use cases wel een overzicht. Maar helemaal aan het begin iets waar wij zelf als programmeur helemaal niet bij stil stonden en wat dus wel kikken is, is bijvoorbeeld dat mensen bij sociale veiligheid en serviceveiligheid dat zijn, ja je hebt ook mensen bij ons rondlopen die moeten de order handhaven op het bron. Ja. Nou die hadden wij helemaal niet in beeld als potentiële gebruiker van een chatplatform. Dan denk je toch aan kantoorpersoneel, aan klantenservice, dat soort dingen. Ja. En die waren heel enthousiast over RAG. Oké. En dan denk je van, huh? In welke vorm dan? Ja, in welke vorm dan? En daar was ik ook wel een beetje, ja. Ik had een zekere gezonde scepsis. Ja. Dat is denk ik altijd wel goed om te hebben. Maar als je dat dan vertaalt naar de waarde voor het bedrijf, dan zie je dus dat bijvoorbeeld als iemand een sigaret rookt op een perron. Nou dat mag niet. Ja. Dat weet Wouter Koolmees is onderhand ook. En wat dan zo iemand moet doen, is er moet een bon uitschrijven. Dat heet een combibon. Ja. En die moet dan die bon helemaal goed schrijven. Ja. Maar soms is dat best wel een gespannen situatie. Misschien zelfs is er een vorm van agressie in het spel. Ja. Daar horen we natuurlijk veel van. Ja. Dat is echt een groot issue, een groot topic bij ons in het bedrijf. En die moet dan dus wel heel precies en juridisch correct opschrijven. Ja. Nou, ik zag iemand rook inhaleren. Oké. Ik zag hem de adem vasthouden. En waar op dat niveau? Ja, ik ben ook geen jurist. Maar juristen zijn wel heel precies met dat soort dingen. Anders is zo'n bon niet geldig. Ja. En je moet dus niet vergeten te zeggen. Oh, maar ik zag ook die persoon een rook uitademen. Oké. En nou, dat is gewoon één voorbeeld. En als je dan dat bijvoorbeeld met RAG, in plaats van dat ze dan misschien een foutje maken of dan een juridisch handboek van honderden pagina's door moeten spitten. Als je dan snel het antwoord kan vinden en ook kan verwijzen naar een brondocument, dan is het potentieel een medewerker sneller uit een onveilige situatie. Nou, dat is misschien een beetje een stretch nog. Ja. We zijn nu vooral op de desktop. Je slijt niet de computer mee. Het is nog niet allemaal optimaal op de mobiel. Maar wel om aan te geven van dat is echt iets waar ik zelf nooit aan had gedacht. Doe we met dat project begonnen. Mooi. Ja. Zeker. En ja, dat komt dan al even terug. Ik ben gewoon nieuwsgierig. Dan zitten mensen misschien in de trein te luisteren. Hoe merken die dat de NS vooruitgang heeft geboekt, om even in de trein termen te blijven, dat AI wordt ingezet om die versnelling, die efficiëntie te bereiken. Hoe merken mensen dat? Ja, dus met ons platform niet direct. Nee. En dat is ook wel juist by design. Wij geloven niet in deze fase dat die technologie goed genoeg is om ook maar iets in de operatie te doen. Dus dat is denk ik juist een van de risico's. De beschikbaarheid van zo'n chatplatform is niet hoog genoeg. Ja. Dus het voldoet echt niet aan de eisen om operationeel wat te doen. Ja. Waar het wel een verschil kan maken, maar dat is natuurlijk heel indirect nog. En dat is een minder goede marketingpraatje. Het is ondersteuning van intern personeel om hun werk makkelijker, maar ook leuker te maken. Ik vind het altijd jammer dat er zo veel wordt gepraat over het moet efficiënter. Ja. Maar het is ook gewoon leuker. En hoe wordt het leuker? Nou ja, goed. Ik kan vooral vanuit mijn eigen ervaring spreken. Maar je went er ten eerste aan. Ik vind het onderhand. Ik gebruik onze eigen platform elke dag. Het is zelfs een beetje een risico voor mijn beroep, want ik kijk wat te weinig buiten de deur soms. Er zijn nog steeds andere oplossingen even proberen, want ik ben gewoon zo tevreden met wat we zelf hebben bestaan. Wat was je vraag ook weer? Waar het voor jou leuker wordt. Wat wordt er leuker? Ja, je hebt eigenlijk een gratis sparringspartner. Dus het is gewoon echt een tool, een ondersteunende tool. Ik verwacht niet dat het de wereld vrede gaat brengen. Maar het kan natuurlijk wel helpen met een aantal klusjes. Of als je een probleem hebt, snel even brainstormen. Zit daar ook niet een deel gevaar in dat je brainstormt nu niet met de collega naast je of tegenover je? Misschien is dat wel het onderdeel van het eerste stapje in wereldvrede. Dus dat je geen ruzie met je collega maakt. Maar dat je... Sorry, door hem niet te benaderen maak ik ruzie. Maar dat je nu dus brainstormt eigenlijk met een machine in plaats van met je collega tegenover je? Ervaar jij het zelf als in plaats van? Soms wel, ja. Ja. Omdat het beschikbaar is. Dus de AI-assistent in dit geval is 24x7 beschikbaar. Ja. Dus op het moment dat ik denk van, oh ja, maar nu wil ik brainstormen, kan ik brainstormen? Ik moet even denken of het me tegenhoudt om met collega's te praten. Maar daarom stel ik eigenlijk jou die vraag. Om jezelf te denken. Ik heb het zelf in ieder geval niet gemerkt. Ja. Ik denk dat je nog steeds het goede gesprek hebt met je collega. Maar misschien als er routinematige vragen zijn waar je collega niet hoeft lastig te vallen. Ja. Dan maakt dat misschien ruimtevrij voor een gesprek over de juiste dingen. Een politiek correct antwoord. Dat is een mooie. Vooral met je achtergrond in de filosofie is dat natuurlijk wel een mooie vraag. Ja, ik zie hem niet als of-of. Nee. Oh, in die zin. Ja, dat hebben we natuurlijk nog helemaal niet aangeraakt. Jij komt oorspronkelijk uit de filosofie. Ja, ik ben hier undercover filosoof. Hoe kom je als filosoof op een evenement als dit te praten over large language models? Ja, eigenlijk is de gekke vraag waarom ben ik filosofie gaan studeren? Dat is eigenlijk de uitstap geweest. Want ik ben daar heel pragmatisch in geweest. Ik vond puzzelen met concepten heel erg leuk. Dan kun je wiskunde, natuurkunde of programmeur worden. Maar als je dat op een talige manier doet, dan kom je toch een beetje bij de filosofie uit. Dus ik zag daar helemaal geen tegenstelling. Alleen is het wel, ik ben gaan studeren toen ik 17 was. Op een gegeven moment, ja, 21, de master was af. Ik dacht van ja, het kriebelde toch nog wel. Ik wilde wel wat mee doen. En dat was eigenlijk toen, ik heb in Nijmegen gestudeerd. En dat was toen het tweede jaar dat er überhaupt een AI opleiding was. En dat klikte eigenlijk omdat het de juiste combinatie was van enerzijds programmeren, natuurkunde niet, maar wel wiskunde, statistiek, oftewel skills waarmee je een baan kunt krijgen. En tegelijkertijd toen ook al echt een opkomend technologie was die de maatschappij aan het veranderen was. En dat is als filosoof dan weer heel erg interessant. En helpt je dat nu ook met, zeg maar, gewoon echt je dagelijkse werk rond dat large language model platform? Ja. Alleen, het is zo'n ding, je gebruikt het elke dag. Ja. Onbewust. Ja, precies. Maar ik ben echt ontwikkelaar aan het product ook. Alleen, je ziet wel dat om de waarde van de producten verzilveren, komen we nou in een fase waarin het steeds belangrijker wordt om ook mensen te proberen. begeleiden in het integreren van hun use case. Dus bijna een doorontwikkeling naar een expertisecentrum. Ja. En ja, dan zijn de skills die ik uit filosofie heb wel degelijk handig. Mensen vragen zonder, wat kun je ermee? En dan zeg ik soms heel plat, je leert heel goed lezen en schrijven. En dat klinkt dan niet zo sexy. Alleen, ja, kijk maar hoeveel e-mailtjes je hebt op een dag. En als je in een groot bedrijf werkt, dan zijn communicatieskills heel belangrijk om je product aan de man te brengen. Dat soort dingen neem je wel mee. En het communiceren nu met een taalmodel gaat alleen maar over lezen en schrijven, toch? In die zin is dat inderdaad heel interessant. Want wat is nou het grote succes van die taalmodellen? Ja, we kunnen tegenwoordig programmeren via een natuurlijke interface, natuurlijke taal. Dat is natuurlijk ook waarom het globaal zo is geëxplodeerd. Je hoeft niet meer een hele moeilijke taal te leren, je kan gewoon je eigen taal praten. Dat is toch iets heel menselijks. Ja, fijn is dat hè? Ja. Maar moeten we wel leren de juiste vragen te stellen en goed te schrijven daarin. En daarmee ook misschien even een stapje naar tips en misschien wel iets waar andere organisaties wat van kunnen leren met de ervaring die jullie hebben opgedaan. Wat zou je mee willen geven of aan kunnen raden vanuit jullie ervaring als bedrijven met AI aan de slag willen gaan? Ja, wees pragmatisch. Kijk, vaak heb je al een cloud infrastructuur staan. Sluit daar gewoon op aan en begin gewoon. Dus ja, er is elke paar weken wel weer een nieuw model. Ja, dan moet je ook een beetje bestand... Ja, een beetje olifantenhuid creëren. Je moet een beetje olifantenhuid creëren. Ik ben dus... Ik ligt er zelf überhaupt niet zo wakker van. Ik denk van, ik zie wel over een paar maanden welke nieuwe tool het heeft overleefd. Want ze komen links en rechts de grond uit. Dus begin gewoon en wees pragmatisch. Sluit aan bij infrastructuur die je al hebt staan. Dat helpt in ieder geval om snel... Ja, denk inderdaad na over... Kijk, je moet ook weer niet headfirst helemaal naïef er ingaan. Dus denk wel na over, oké, is het gepast in mijn enterprise omgeving? Dan zijn er ook architecten en security experts. Die vinden er ook allemaal wat van. Betrek die vanaf seconde één in het gesprek. Want als je dat niet doet, dan word je teruggefloten. Dan heb je al investeringen gemaakt. En dat is heel vervelend voor iedereen. Dan ben je meteen defensief aan het programmeren. Ja. Dus dat is denk ik echt wel een tip uit onze ervaring dat die goed heeft uitgepakt. Terwijl cybersecurity ook natuurlijk echt een belemmering kan zijn voor snelle innovatie. Ja, daarom was het zo interessant dat jullie toch wel vanuit die eerste dat zo benaderd hebben. Ik heb dat nog niet eerder zo gehoord. Dus dat is wel heel erg interessant. Ja, dat is denk ik ook wat unieke aan ons verhaal. Ja. Ja. Nou, we hebben vragen uit het publiek. Jazeker. En we hebben er meerdere. Dus ik begin gewoon heel random bovenaan. De vraag is van Arjan de Hoop. Gen AI adviseur bij ZETA Alpha. Dankjewel voor je vraag, Arjan. De vraag luidt, bij het gebruik van RAG ben je erg afhankelijk van de kwaliteit van AI zoekmachines. Deze zijn minder accuraat op de Nederlandse data. Wat doe je hier aan? Bij AI zoekmachines denk ik meteen van dan heb je het misschien over bestaande oplossingen die je dan of die zelf gebruikt. Een van de grappige dingen aan ons product, omdat we zo vroeg zijn begonnen, is dat we keuzes maakten. We begonnen in de tijd dat er nog geen standaard tooling was voor RAG. En die is er natuurlijk nu overal. Dus wij hebben wel daardoor heel veel controle gehad over ons systeem. Heeft jullie eigenlijk een voordeel opgeleverd? Ja, een nadeel aan een voordeel. Want een nadeel is enerzijds dat je meer onderhoud hebt. Het voordeel is dat je heel veel ervaring opdoet met alle stappen die erbij komen kijken. Waardoor je ook sneller het kaf en het koren kan scheiden in het hele toolinglandschap. Als iemand een praatje geeft, dan weet ik meteen van ah oké, dat doen die en die gebruiken die chunker en dat embedding model. En dat kun je vaak een beetje reverse engineeren. Ja. Wat ik wel herken, dat zit een beetje achter de vraag, is dat als je standaard oplossingen koopt, en dan denk ik ook aan co-pilot-achtige dingen, dat toch vaak wel heel erg is ingesteld op Engels. En wij zijn ook een Nederlandstalig bedrijf. Dus dat herken ik zeker. Wij gebruiken embeddings die in principe voor meerdere talen werken. Maar daar moet ik meteen toegeven, wij zijn niet helemaal van oh dat moet 100% geoptimaliseerd zijn. Er zijn ook in ons platform, er zijn 100 losse eindjes van dingen die we helemaal experimenteel hadden kunnen uitvogelen. Nou, we hadden 100 embedding modellen kunnen benchmarken, kijken welke... Kun je wel even kort uitleggen wat een embedding model is? Ja, hele goede check. Sorry. Ik merk meteen dat ik tegen de expert uit het diep praat. Ja. Een embedding model, dat is een beetje abstract. Maar dat is eigenlijk een manier om teksten doorzoekbaar te maken. Niet op een ctrl-f manier, zoals in een Word document. Je denkt van, hé, ik zoek iets over pipo de clown, dan is mijn zoekterm pipo. Waarom dit vooral naar boven kan, daar mag een of andere psychoanalyste over buigen. Een embedding model, dat is een model dat teksten in een abstracte ruimte weten representeren. En het enige wat je er eigenlijk van moet snappen, is dat woorden die op elkaar lijken qua betekenis, op hetzelfde plekje in die ruimte komen. Dus een hond en een kat zijn twee hele andere dingen. Maar het zijn wel allebei dieren, dus ze zullen wel een beetje in die ruimte zitten. En het voordeel daarvan is, die zijn doorzoekbaar. Dus op basis daarvan kun je slimme zoekoplossingen maken die met het duurwoord op semantiek zoeken. Dus de betekenis van woorden. Meer dan dat je, net zoals in die ctrl-f oplossing, het identiek juiste woord moet hebben. En dat staat natuurlijk ook opgesloten in de vraag van, hé maar die embedding modellen zijn vaak getraind op het Engels, de Engelse vocabulair. Hoe zijn jullie dan omgegaan dat je eigenlijk wil zoeken in de Nederlandse vocabulair? Ze werken ook op het Nederlands. Dus voordat de zoekbaarheid, hebben we dat niet extreem geoptimaliseerd. Dit is echt zo'n ding waar je ook pragmatisch in kan zijn. We hebben op een per capaciteit. We hebben nu momenteel drie ontwikkelaars waar we alles mee bouwen. Dus dat is best wel aanpoten. En dan is een van de keuzes die je vrij snel maakt, is we gaan niet 100 embedding modellen benchmarken. En in dit geval, als je gewoon een OpenAI model gebruikt, op geen enkele benchmark is die het beste. Maar goed, die benchmarks zijn ook een beetje vertekend, want je finetunet iets daar helemaal op. Maar off the shelf werkt het prima voor de meeste toepassingen. En dat is voor ons ook wel de juiste keuze, omdat wij een heel breed bedrijf zijn. En we moeten onze oplossingen ook niet op één gebruiker afstemmen, want dan hebben we een andere gebruiker weer mee. Ja, duidelijk. Maar om dat antwoord af te ronden van, dat werkt best oké in de Nederlands. Dus het is niet alleen om het Engels getraind. En Nederlands is in mijn ervaring in dit domein vaak een van de best ondersteunde talen. Wat ik wel soms vreemd vind. Misschien zitten er gewoon heel veel NLP-enthousiasten in Nederland. Of is het een hele makkelijke taal om dingen mee te doen. Maar in de benchmarks van OpenAI zelf komt Nederlands er altijd verrassend goed uit. Misschien wel sommigen zelfs op nummer één. Anders wel direct na Engels vaak. En wat in de RAG-oplossing dan ook wel vaak helpt, is dat het taalmodel zelf heel goed bullshit kan filteren. Dus onze information, zeg maar het zoeken, is niet perfect. Maar dat hoeft het ook niet altijd te zijn. Als je maar een paar van de juiste dingen vindt, dan kan het taalmodel in het formuleren van het uiteindelijke antwoord vaak nog best wel onzin er uitfilteren. En in de context die jullie gebruiken, jullie geven aan het interne medewerkers, de professionals die weten in welke context opereren. Gaat het ze al helpen en kunnen ze zelf ook nog wel beoordelen of dat goed is. Dus binnen die context is goed is goed genoeg. En hoeft de perfectie niet opgezocht te worden. En daarmee is het nog niet de noodzaak geweest om die specialisatie daarop te bouwen. Dus omdat we een breed publiek willen bedienen. En precies wat je zegt, we willen eigenlijk de expert aan het roer laten. Ja, helemaal eens. En dat geven jullie dan ook mee in waarschijnlijk de talks die jullie hebben en de presentaties van, goh, het is misschien niet altijd goed. En dat is wel een bewustwording die natuurlijk aan de professional meegegeven moet worden. Maar dat is daar de uitdaging. Dat is misschien dan nog de derde tip. Waarvoor heb ik twee tips gegeven op de hand. De derde tip. Onderschat niet, je moet echt aan de slag met mensen opleiden. Ook vanuit de AI Act wordt AI Literacy steeds meer een ding. We zijn al vrij vroeg bezig gegaan met opleidingen zelf maken. We hebben ook het lef, daar hoef je niet altijd een dure externe partijen voor in te vliegen. Ik weet niet of ik in niemands vaarwater zit nu. Maar je kan ook zelf kleinschalig beginnen en vanaf daar kijken waar je landt. Dat is echt heel belangrijk. Want de waarde van die technologie, je kan wel een platform aanbieden. Maar de mensen moeten het wel zelf gaan doen. We zitten hier, zowel de luisteraars als in het publiek. Je zit in een bubbel waarin je ook denkt dat mensen het onderhand wel weten. Maar dat is natuurlijk helemaal niet waar. Dat is zeker niet waar. En wat we in onze trainingen doen, dat is ook wel leuk dat je gewoon inderdaad je handen vel maakt. Naar die gebruikers toe gaat om ze op te leiden. Dat doen we ook gewoon met ons kleine team. Om de hand gaan hele afdelingen komen aan kloppen van we moeten denk ik alle medewerkers die training halen. Maar een van de dingen die je ziet is dat mensen zeggen wel te snappen. Maar bijvoorbeeld als ik vraag wat is een lekker tomatenrecept om vanavond te koken. Dan krijg ik een mooi antwoord. Als ik daarna een programmeertest wil schrijven, dan kiest die opeens toevallig tomatensap als een teststring. Dan denk ik van, hoe kan dat nou? Dus alleen al zo iets, dat is echt laaghangend fruit. Dus zelfs zal mensen bewust maken van, hey begin af en toe een nieuwe chat. Ja. Dat klinkt super triviaal. Snap je? En iedereen zegt, oh nee maar dat snappen we wel. En in zo'n training kijk je over iemand schouders mee. Ja. En dan zie je toch dat ze dat niet doen. Precies. En daar zit de waarde in. Ja, mooi. Dus echte adoptie. We hebben nog meerdere vragen. Ja, daarom. We gaan snel door naar de volgende vraag. Die is van Peter Brouwers, founder van NextGen AI. Dankjewel Peter voor je vraag. Hoe zetten jullie de door AI besparende tijd in voor het verhoog van welzijn en werkgeluk van de medewerker? Oh, dat is meer een vraag voor HR zou ik bijna zeggen. Of de filosoof in je. Herhaal hem nog eens. Ik heb het gevoel dat er een addertje onder het gas zit bij die vraag. Hoe zetten jullie de door AI besparende tijd in voor het verhogen van welzijn en werkgeluk van de medewerkers? Ja, de aanname lijkt te zijn, je wordt gelukkiger door tijd te besparen. Ik kan dat niet voor Peter invullen, maar wat wordt... Nou, laten we hem eens uit elkaar trekken van waar... zet je de gewonde tijd voor in. Ja. Nou, dat kan ik niet voor al onze gebruikers beantwoorden. Nee. Dat ga ik ook zeker niet pretenderen. Ik denk in ieder geval zelf. Ik programmeer ook gewoon aan het product. Ja, als je inderdaad... Ik vond vorige praatje heel erg leuk, hè. Test-driven development. Ja. Als je routine taakjes kan wegautomatiseren, zodat je meer tijd overhoudt voor de leuke dingen en de dingen die ook meer hersencapaciteit vragen. Ja. En je kan daar ook die capaciteit voor gebruiken, omdat je niet helemaal lam geslagen bent door al die routine taakjes. Dan is dat volgens mij pure winst en ook leuk voor je werk. En is dat dan misschien welzijn verhogend? Nou ja, dat zal je moeten onderzoeken, hè. Wij doen... Welzijn van de medewerkers is heel belangrijk, evident. Absoluut. Er wordt constant uitgevraagd bij ons en er wordt ook actie ontnomen en dan weer aanvraag gedaan. Heeft het verbeterd? Ja. Wat wel een leuke challenge is, daar zit nog geen vraag in. Nee. Hoe werkt ChatNS voor jou? Ja. Wordt jouw werk leuker? Ja. Dus bedankt voor de vraag. Het is eigenlijk wel... Ik ben wel geïnspireerd. Om die mee te gaan nemen. Om die mee te gaan nemen. In ieder geval te gaan lobbyen bij de mensen die dat doen. Van, hé, vraag het eens. Ja. Wat goed. Ja. Maar het idee van alles efficiënter, dat an sich. Ja, dat is toch een beetje te nauw gekeken naar die technologie. Ja. Als ik me even voor mezelf beantwoord. Ik ben gewoon blij dat ik gesupport word. En een stukje vertrouwen door bepaalde zaken gewoon die routinematig zijn waar ik telkens weer mijn geheugen in moet. Ja. Daar helpt het mij. Dus dat geeft me ook een vertrouwen. En dat zorgt voor mij. Ja. Meer werk geluk daarin. Ja. Ja. Gaan we gelijk door naar de volgende vraag. Die is van Kim. Je wordt bestookt met ideeën. Hoe bepaal je waar je wel en niet wat mee gaat doen? Oh, dat is een hele goede vraag. Ja. En daar worstelen we echt mee. Ja. We zijn nu heel erg zoekende in dat proces een beetje stroomlijnen. Op een gegeven moment, kijk, als je honderd vragen krijgt, dan herken je op een gegeven moment patronen in die vragen. Dus het wordt in die zin wel steeds makkelijker om snel in te schatten. Oké, zo'n use case hebben we al drie keer voorbij zien komen. En dan heb je je antwoord wel klaar. Ja. Een van mijn collega's, die zit hier nu ook in de koffer in de zaal, heeft onderhand ook een workspace gemaakt met de vragen die we vaak krijgen. Dus onderhand kun je aan ons eigen platform vragen. Dat is een beetje een flauw antwoord. Maar we begeleiden zeker dus wel in het ontwikkelen van use cases. Daar ligt denk ik ook heel veel van de waarde van het product. Ja. Dus dat is een constante, we willen veel meer dan wat we kunnen. Het is elke keer dat we nee zeggen, soms zeggen we ook, ja het is een goed idee, we hebben even geen capaciteit. Dat doet pijn. Maar dat is een constante worsteling, een afweging van capaciteit, de waarde die het oplevert. En dan gaat het helaas wel vaak ook over euro's. En niet alleen over werkplezier. Want ja, ik vind die ook belangrijk. Maar goed, meet is weten en dat verkoopt wel makkelijker. En daar wordt dan ook op gestuurd. Ja, daar wordt op gestuurd. Dus we zitten ook in tijden van bezuiniging. Dus dat is gewoon, dat verhaal moet je ook vertellen. En dat helpt mee om, ja. Ja, maar persoonlijk, ik denk dat het ook niet altijd kwaad kan door af en toe nee te verkopen. Dat er wat kritisch gekeken wordt naar de vraag en waarvoor stel ik de vraag. En ja, is de use case, de business case echt zo groot? Of is het nu gewoon een vraag die ik graag wil stellen, omdat ik er even nu op dit moment last van heb. Ja, bijvoorbeeld, we zien ook echt wel vragen komen waarvan je eigenlijk een proces hebt, waarmee data wordt gegenereerd. Dat kan bijvoorbeeld zijn, en op zich is dat een goede toepassing van het taalmodel, dat iemand beschrijvingen heeft van defecten. Ja. Maar daar mist dan een veld in de Excel sheet. Oh ja. Oh ja, laten we dat classificeren met het taalmodel. Ja. En dat is zo'n case waarvan ik dan zou zeggen, nou, dat kan zeker met een taalmodel. En met een beetje prompt engineering hoef je ook helemaal niks customs te doen. Je kan gewoon ons platform gebruiken zonder extra werk. Dus daar zit weer dat stukje gebruikersopleiding in. Ja. Alleen wat je eigenlijk moet doen, is gewoon je primaire proces verbeteren en dat veldje gewoon laten invullen. Ja. Dus bijvoorbeeld als je wil weten, is dit een storing in de software of is het een hardware probleem? Zeg, ja, als je die informatie nodig hebt in je proces, dan moet je bij de bron. Dus ja. En dat maakt het wel lastig, zeker als je enthousiast bent over technologie. En misschien als, weet je, je zit bij jullie in een bedrijf en je denkt van, ja, maar nou heb ik een technologische oplossing. Om dan, zeg maar, nou meer dan één stap erachter te doen. Ik denk van, hé, maar misschien kunnen we het proces aanpassen. Misschien hoeven we dit proces helemaal niet uit te voeren. Dat wordt vaak ook vergeten. Ja. En dat misschien AI ook wel het laatste stukje is om in te vullen. Ja. Want er zijn goedkopere, makkelijkere manieren om problemen uiteindelijk op te lossen. Ja, zeker. Want wel met traditionele machine learning of traditionele AI projecten, er zit natuurlijk veel meer maatwerk in. Ja. Dus wat ik dan wel vaak zeg, is van, eigenlijk wat je nu net zei. Dus let wel op, misschien moet je het proces fixen. Dat is het eigenlijke probleem. En AI gaat dat ook niet oplossen. Ja. Maar wat dus wel mooi is aan de taalmodellen, is dat het is zo flexibel dat je wel een hele snelle prototype tool hebt. Ja. Dus het kan wel weer een middel zijn om mensen te overtuigen van, hé, we moeten dat veldje hebben. Ja. Wat heb je, kijk maar. Ik heb het laten invullen door ChatNS. Ja. En iedereen is er blij mee. Dat is zo mooi, ja. Dus je kan hem op die manier ook challengen. Ja. Hebben we nog een vraag? Ja, we hebben nog een vraag. Dat ligt een beetje in het verlengde. Dus ik wil eigenlijk voorstellen om toch even de droomvraag te stellen van de vaste categorie die we hebben. Want deze ligt, ja, ik laat hem toch even stellen dan. Dankjewel Arjan. De hoop, nog een vraag inderdaad. Buiten chatten met interne documenten, hebben die al specifieke RAG agents of solutions gebouwd? Ja, met RAG agents. Althans, RAG en agents zijn niet helemaal hetzelfde. Dus wat RAG agents zijn, weet ik niet. Maar wat ik vermoed dat wordt gevraagd is überhaupt agents. Dus dingen die acties kunnen uitzetten. Hebben we nog niet. Ik denk wel dat het op de horizon ligt. Maar dat is wel typisch een van die dingen. Als je zo'n platform meer agents geeft, krijg je ook bijbehorende risico's. En dit is dan weer precies zo'n ding waar we dan terug moeten gaan naar alle stakeholders die wat over security te zeggen hebben. Die hebben hier wel meningen over. We maken ons niet zo zorgen over prompt injection en dat soort dingen. Omdat er ten eerste, het is allemaal intern. En er worden naar buiten geen acties uitgezet. Dus het risico is gewoon vrij beperkt. En onze systeempromptes zijn gewoon niet gevoelig. Ik denk dat we zo een heel mooi rond verhaal hebben. Want we zijn begonnen met als uitgangspunt die veiligheid, cybersecurity. Daar hebben jullie een heel mooi platform gebouwd. Waarbij de NS-medewerkers eigenlijk versterkt worden in hoe zij hun werk doen. En je bent nu terug bij een volgende stap waarbij het weer een vraagstuk is. En ik wil nogmaals de complimenten geven van hoe je als conservatieve organisatie een innovatiekracht hebt gevonden. Binnen de context die jullie hebben. En fijn dat je dit met ons hebt willen delen. En dank jullie wel voor het luisteren ook. Ja, dankjewel. Leuk dat je luisterde naar deze aflevering van AIToday Live. Edwin, hartstikke bedankt voor al je inzichten. Vergeet je niet te abonneren via je favoriete podcast app. En dan mis je geen aflevering. Dankjewel. Tot de volgende keer.