Alle afleveringen
S05E73 - AI assistenten en de toekomst van werk: mogelijkheden en uitdagingen
S05E73

AI assistenten en de toekomst van werk: mogelijkheden en uitdagingen

Seizoen 5 29 min Hosts: Joop Snijder & Niels Naglé
0:00

Wat leer je in deze aflevering?

In deze aflevering van AIToday Live spreken Joop Snijder en Niels Naglé met Willem Meints over AI assistenten. Willem, Chief AI Architect bij Aigency, heeft een AI assistent gebouwd voor Info Support genaamd Ricardo. Deze assistent maakt gebruik van het generatieve AI-model ChatGPT en het Guidance Framework van Info Support. Willem deelt zijn inzichten over de uitdagingen, veiligheid en privacy aspecten, en mogelijke toepassingen van AI assistenten. Luister naar de volledige aflevering voor meer inzichten en interessante discussies!

01
Veilige interne ChatGPT-omgeving Ricardo draait volledig intern via Azure OpenAI Service, waardoor medewerkers vertrouwelijke informatie zoals projectvoorstellen met klantgegevens veilig kunnen verwerken zonder dat data wordt opgeslagen of gebruikt voor training.
02
Kennisbank koppelen via vectordatabases Door het Guidance Framework van Info Support te koppelen met embedding vectors, geeft Ricardo specifieke antwoorden gebaseerd op bedrijfsstandaarden in plaats van generieke ChatGPT-antwoorden. Dit vereiste drie maanden aan data pre-processing en integratie.
03
Uitbreidingen met afbeeldingen en functies Experimenten lopen om PowerPoint-presentaties doorzoekbaar te maken door afbeeldingen semantische betekenis te geven. Daarnaast kunnen OpenAI-modellen functies aanroepen om feitelijke data uit CRM-systemen of databases op te halen.
04
70% werk zit niet in het model Het generatieve model is slechts 30% van de code; de rest gaat naar data pre-processing, user interface, tekstrendering en het bouwen van de omringende infrastructuur.

Kernbegrippen

Vectordatabase
Opslagsysteem dat tekstfragmenten als numerieke vectoren opslaat voor semantische zoekopdrachten en relevante resultaten.
Embedding vectors
Numerieke representaties van tekst die semantische betekenis vastleggen voor machine learning-modellen.
Guidance Framework
Gestructureerde set bedrijfsstandaarden en richtlijnen die als kennisbank aan AI-modellen worden gekoppeld.
System prompts
Instructies die het gedrag van een taalmodel sturen, inclusief inhoudsbeperkingen en veiligheidsmaatregelen.
Azure OpenAI Service
Microsoft-cloudservice die OpenAI-modellen aanbiedt met interne verwerking en gegevensbescherming.

Interview: Willem Meints

Willem Meints
Willem Meints Chief AI Architect bij Aigency Bekijk gastprofiel →

Willem, je hebt een AI-assistent gebouwd voor Info Support. Kun je ons vertellen wat je precies hebt gemaakt?

Ik heb een ChatGPT-instantie gebouwd voor Info Support en voor Aigency. Die is helemaal intern en volledig afgesloten van het internet. Onze data wordt ook niet gebruikt om te trainen. Daarom zijn mijn collega's tegenwoordig in staat om allerlei dingen daarin te stoppen die ze anders niet zouden willen delen met het internet. Bijvoorbeeld projectvoorstellen schrijven met geheime informatie van klanten erin. Dat kan met onze assistent wel, terwijl dat op chat.openai.com niet verstandig is. Ik zeg altijd dat het niet kan, anders krijg ik de legal-afdeling achter mij aan. En dat moet je niet willen.

Wat heb je allemaal nodig gehad om deze veilige omgeving voor elkaar te krijgen?

Inmiddels drie maanden tijd. Ik maak gebruik van Azure OpenAI Service. Dat is een versie van ChatGPT bij Microsoft, waarbij het ding op een eigen netwerk uitgerold kan worden binnen Azure. Het kan helaas niet op je eigen hardware. Daarnaast heb ik zelf code daaromheen moeten schrijven in de vorm van .NET-code, dus C#, om daar een echt werkende applicatie van te maken. Het is namelijk echt het kale model wat je krijgt vanuit Microsoft.

Heb je ook extra informatie toegevoegd om de assistent meer geschikt te maken voor jullie organisatie?

Zeker. Het begon eigenlijk als een soort stunt in het weekend. De CTO van Info Support zei tegen mij: "Wedder dat jij niet in drie dagen dat ding aan de praat kan krijgen." Ik zei: "Nou, hou even mijn Cola Light vast, ik fix die handel even." Dat is gelukt in een weekend. Daarna dacht ik: maar nu heb ik hetzelfde als bij ChatGPT op het grote boze internet, dat kan vast slimmer. Ik heb het Guidance Framework van Info Support gepakt. Dat is onze knowledge base met allerlei soorten kennis over hoe bouw je software op een goede manier, hoe zet je je architectuur goed op, security, dat soort dingen. Die heb ik eraan vastgekoppeld. Wat je nu dus kan doen is aan ChatGPT, of Ricardo zoals wij hem genoemd hebben, vragen: "Hey Ricardo, hoe schrijf ik een goede automatische test voor mijn Python code?" Dan zal hij niet een algemeen antwoord geven, maar dan zegt hij: ik weet dat Info Support één bepaald framework daarvoor gebruikt, een bibliotheek. Dan geeft hij antwoord in die bibliotheek, omdat hij weet dat wij dat gebruiken. Als je hetzelfde zou doen op chat.openai.com, dan geeft hij een algemeen antwoord. Dan kan hij de ene keer zeggen gebruik Python unittest, de volgende keer Python test of een willekeurig andere. Omdat daar een mate van willekeur in zit, komen er ook andere type antwoorden uit. Nu is hij heel gericht. Dit is het feitelijke antwoord en komt hij daarmee terug.

Kunnen medewerkers ook terugzien waar een antwoord vandaan komt?

Nog niet. Toen ik dit eenmaal had gebouwd, kreeg ik binnen 24 uur zoveel vragen binnen. Daar schrok ik zelf ook een beetje van. De vraag was toen: hoe komt hij nou aan dit antwoord? Daar zijn we nu nog even mee bezig, met de laatste dingetjes ervan te repareren. Hij kan straks aangeven: je zou Python test moeten gebruiken, dat is wat wij adviseren, dat staat hier. Dat is natuurlijk helemaal krachtig, want ChatGPT is niet zo goed in feitelijkheden. Hij genereert een stuk tekst. Toevallig komt hij, omdat wij hem bijsturen met die kennis uit het Guidance Framework, met nuttige tekst. Maar dat is niet het volledige antwoord natuurlijk. Soms vraag je je af: het is prima dat hij dit wil, maar ik heb nog wat meer informatie nodig. Dan is het wel leuk als je een link erbij krijgt van hier staat het.

Is het toevoegen van het Guidance Framework zoiets als met één druk op de knop?

Nee, helaas niet. De eerste drie dagen was assistent bouwen en de rest van de drie maanden was dit om het voor elkaar te krijgen. Dat zit hem eigenlijk in twee dingen. Aan de ene kant moet je een stuk integratie bouwen tussen twee systemen, namelijk de kennisbron waar het uitkomt en de applicatie waar het naartoe gaat, in dit geval de Ricardo applicatie. De manier waarop ik dit doe is met een speciale database, een vector database. Een vector database is een type database die informatie opslaat als mathematische vectoren in plaats van als gewone tekst. Deze vectoren representeren de betekenis van de tekst. Dus ik moet die teksten op een specifieke manier gaan opslaan. Ik moet daar vectoren van maken. Dat zijn hetzelfde soort vectoren als waar OpenAI mee rekent. Dat noemen ze embedding vectors. Ik geef een soort semantische betekenis aan die tekst die uit het Guidance Framework komt. Ik pak jouw vraag en daar maak ik ook een semantische betekenis van. Die leg ik naast elkaar en dan zeg ik: dit lijkt er het meeste op. En dan gebruik ik die vectoren weer om mee verder te rekenen. Dus je moet aan die tekst gaan sleutelen voordat hij überhaupt bruikbaar is voor de chatbot.

Waar zit de fine-tuning dan precies in?

Als je een heel groot document erin geeft, krijg je een soort algemeen antwoord. Maar dat willen wij natuurlijk niet. Dus we hebben wat trucjes uitgehaald om die informatie specifiek genoeg te maken voor ons. Het gaat erom dat je de juiste stukjes tekst selecteert die relevant zijn voor de vraag.

Kun je ook andere types informatie toevoegen aan Ricardo?

Ja, dat kan. De experimenten die ik nu aan het doen ben gaan vooral over PowerPoint presentaties. We hebben echt mega veel trainingen en presentaties van collega's die super nuttig zijn. Maar wat daar de uitdaging is: het is in PowerPoint en het zijn heel veel foto's. Dus daar ga ik een ander trucje uithalen. Dan ga ik ook images semantische betekenis geven. En dan hoop ik dat over een maand of twee we plaatjes kunnen teruggeven. Dat we ook kunnen zeggen tegen degene die de vraag stelt: ik heb een heel mooi slide gevonden.

Welke andere use cases zie je nog meer voor dit soort AI-assistenten?

Het is vooral heel erg knowledge driven. Dus als je je eigen bedrijfsdata kan koppelen, dan moet je denken aan kennisbanken vooral. Maar iemand kwam ook al bij me die zei: wat als ik nou bijvoorbeeld experts zou kunnen vinden via dat apparaat? Dat is een ander soort kennisbank. Dat gaat meer over gebruikersprofielen en wat mensen doen en interessant vinden. Dus daar zijn we ook over aan het nadenken, hoe je dat dan kan doen: expert informatie eruit halen. Andere voorbeelden die je zou kunnen bedenken: Word documenten, contracten, processen in combinatie met data, de stromen van informatie die door de organisatie heen gaan. Alles wat eigenlijk een tekstformaat is, zou je eraan toe kunnen voegen.

Ik hoorde dat je sinds kort ook functies kunt laten aanroepen door het model. Hoe werkt dat?

Wat technisch gezegd kunnen OpenAI modellen functies aanroepen. Wat je dus zou kunnen doen is detecteren of iemand een adres zoekt van een persoon of een e-mailadres. Dan kan die een functie aanroepen en dan kun je gewoon in een normale database, een relationele database of een CRM systeem, een adres opzoeken. Die kan je weer teruggeven, gewoon als een feitelijkheid in het response. Die gaat hij niet transformeren, maar dan wordt het letterlijk teruggegeven. Dus als je echt van het generatieve even af wil stappen om de feiten op te halen en alleen die feiten terug te geven voor dat soort functies waarvan je weet dit is gewoon de regel die je terug moet geven, dan kan die naar buiten stappen uit die context en dan weer terugkomen daarmee. Het is een combinatie van een stukje gegenereerd, een stukje vanuit de functie en dan weer gegenereerd om het weer makkelijk leesbaar te kunnen gebruiken.

Hoeveel werk zit er eigenlijk in zo'n oplossing? Wat is de verdeling tussen het model zelf en de rest?

Het generatieve model is maar 30% van mijn code. 70% zit hem daadwerkelijk in data pre-processen, zorgen dat de user interface er een beetje voldoende uitziet, dat hij de tekst ook goed rendert. Wij mensen zijn gewend aan kopjes, opsommingen, dat soort dingen. Dat doet ChatGPT allemaal niet. Dat is iets wat ik erachteraan heb geprogrammeerd om het mooi te maken. Voor iedereen die nu ChatGPT gebruikt: die ziet dat allemaal wel, maar dat heeft OpenAI in hun user interface zelf gebouwd. En als je het zelf wil, moet je dat ook weer zelf bouwen. Ik krijg een kaal model en dat model accepteert tekst en dat geeft mij tekst terug. Dat is alles wat het doet. Je moet er zelf heel veel machinery omheen bouwen om het cool te maken.

Mogen alle medewerkers alle vragen stellen aan Ricardo?

Nee, dat is wel interessant natuurlijk. Als je het model pakt en je stelt een vraag aan hem, dan geeft hij je altijd antwoord, ook over onveilige onderwerpen. Wat wij bij Info Support de afspraak hebben is dat Ricardo bijvoorbeeld niet over gezondheid praat. We hebben voorbeelden gezien van met name psychische gezondheid, dat mensen dat ding gaan gebruiken als een soort therapeut. Maar dat is het niet, het is een talking parrot. Dus we hebben dat gewoon dichtgezet, gezegd van nee, dat willen we niet.

Hoe zorg je ervoor dat Ricardo zich aan die regels houdt?

Dat doen we in de system prompt. Dat is een soort verborgen instructie die al gegeven wordt aan het model voordat jouw tekst erachteraan wordt gependeld. Daar hebben wij in staan dat hij Ricardo heet, vandaar dat ik hem ook Ricardo noem. Maar we hebben daar ook veiligheidsrails in staan, een soort vangrails. Daar staat in dat hij snapt dat hij voor Aigency en voor Info Support werkt en niet voor een ander bedrijf. Dat bepaalt ook in grote mate hoe hij met dat Guidance Framework omgaat. ChatGPT wordt ook gebruikt voor klantenservice toepassingen. Daar zie je juist dat ze bijvoorbeeld heel erg willen dat hij vriendelijk is en dat hij alleen maar klantenservice taken uitvoert. Dat is ook een soort vangrails die je kan toevoegen. Dat hebben wij dus niet, want bij ons gebruikt iedereen hem voor van alles. Codegeneratie ook. Dus ik heb hem maar minimale instructies gegeven zodat hij zoveel mogelijk alle kanten uit kan. Maar je kan dat zelf kaderen, hoe nauw of hoe breed dat is.

Jullie gebruiken de Microsoft versie. Heeft die nog extra veiligheidsmaatregelen?

Ja, wat wel speciaal is aan het model van Microsoft dat wij gebruiken is dat er eigenlijk een soort tweetrapsraket in die veiligheidsinstructies zitten. Namelijk de system prompt die kan ik zelf doen. Maar ze hebben ook nog een content filter ervoor staan. En dat is ook een AI model uiteindelijk. Die kan namelijk detecteren of een woord wel of niet is toegestaan volgens dat filter. Maar die kan ik instellen. Daar kan ik zelf zeggen: ik vind gewelddadigheden, dat moet je heel hoog opvatten. En andere dingen... Als het al mild richting gewelddadigheden gaat, dus als het woord al een klein beetje op geweld lijkt, dan vlagt hij hem al af als hij hoog staat. Maar wat dan precies hoog en laag is, dat varieert echt per woord wat hij er dan van maakt.

Is er ook monitoring op wat er gevraagd wordt aan Ricardo?

Nee, dat doe ik niet. Dat is misschien wel het meest verrassende aan deze toepassing: ik sla helemaal niks op. En dat doe ik heel bewust. Want iedereen weet wel, in het kader van de AVG zijn er gewoon een aantal dingen die je moet organiseren voordat je gegevens mag gaan opslaan en koppelen aan personen. En ik dacht: ik blijf daar gewoon helemaal vandaan. Ik maak het onszelf heel erg makkelijk. En voor iedereen creëert het ook een bepaald gevoel van veiligheid. Ik kan zeggen wat ik wil tegen het ding en het wordt niet gedeeld met mijn collega's. Echt niet. Ik heb die data gewoon niet. Het enige wat ik kan zien is hoeveel users er gebruik van maken, hoeveel requests ik krijg en foutmeldingen. Maar in die foutmeldingen staat niet de prompt of het respons. Die zie ik allemaal niet. Dat is soms lastig, dat geef ik ook wel toe. Maar meestal is het ook echt voldoende voor mij om dingen te kunnen debuggen van wat gaat hier nou eigenlijk mis.

Zijn er situaties waarin je toch zou loggen?

Ik ben nu nieuwe dingen aan het uitproberen met het Guidance Framework onder andere. Dan vraag ik aan mensen heel specifiek: wil je even naar deze instantie toe gaan, naar deze deployment in mijn omgeving? Dat is dus een andere versie van de assistent. Daar staat logging aan. Die kan ik dan aanzetten en dan krijg ik wel alles te zien. Maar dat zijn hele gerichte oefeningen die we doen met elkaar, want dan ben ik ook echt op zoek naar bepaalde informatie. Het is een scenario bijvoorbeeld: geeft die de juiste zoekresultaten terug? Is die snel genoeg met antwoord geven? Dat soort zaken probeer ik dan uit. Dan zit je dus echt in de development testfase en dan weten mensen waar ze ook toestemming voor geven, dat ze daaraan meewerken en wat daarmee gebeurt.

Wat heeft je het meest verrast in deze periode bij het maken van Ricardo?

Vooral dat het soms hele verrassende antwoorden geeft. Daar krijg ik soms commentaar van mensen en dan denk ik: huh, hoe kan dat dan? Dat de ene keer zegt hij: oh ja prima, ik geef je een antwoord, en de andere keer zegt hij: nee, daar mag ik geen antwoord op geven. Er zitten mensen blijkbaar op een soort grensgebied te werken waarbij de bot zoiets heeft van: ah, daar weet ik niet helemaal meer wat ik hier nou van moet vinden. Dus dat is wel heel erg raar, dat heb ik al een aantal keren gezien. In positieve zin, wat mij ook is opgevallen, is hoe goed eigenlijk die ontwikkelomgeving al in elkaar zit van Microsoft. Het was echt drie dagen werk om die eerste versie te maken. Daar had ik echt helemaal nooit gedacht. Dat was natuurlijk super brutaal naar onze CTO toen ik zei dat lukt me wel in drie dagen. Het viel me toch 100% mee dat het gelukt is.

Microsoft komt met Copilot uit. Hoe verhoudt zich dat tot wat jij hebt gebouwd?

Het grote vraagteken hier is: hoe doen ze dat dan? Waar ik zelf achter ben gekomen is dat de meeste mensen die zo'n oplossing als dit aan het bouwen zijn, die pakken eigenlijk hun documenten en die gaan alles op dezelfde manier opknippen in stukjes en beschikbaar maken voor die bot. En dat opknippen in stukjes is echt noodzakelijk. Als je een heel grote hoeveelheid tekst erin stopt, dan geeft die een soort vage betekenis eraan. Als je een klein stukje tekst stopt, dan wordt het heel specifiek. En je wilt hem specifiek, daar wordt hij gewoon een stuk beter van. Er zijn onderzoeken geweest die gekeken hebben naar hoe verschillende taalmodellen het doen. Hoe groter uiteindelijk het geheugen van een taalmodel, dat lijkt heel positief, maar hoe meer hij in het midden vergeet. Dan generaliseert hij eigenlijk. Alleen nog maar de betekenis aan het begin en het eind van je tekst zit er nog in. Daartussenin is het een beetje net alsof jij snel leest: je leest even het begin en het eind, dan geloof ik het wel. Ik denk dat Microsoft diezelfde manier gebruikt. Dus gewoon niet kijkend naar wat jouw domein is en niet kijkend naar wat jouw bedrijf eigenlijk doet, maar gewoon in hele algemene termen die documenten opknippen, verwerken en dan beschikbaar maken.

Betekent dat dan dat Copilot een generieke oplossing is die voor 60-70% werkt, maar dat voor meer detail je een specifieke oplossing zoals Ricardo nodig hebt?

Ja, dat is op dit moment in ieder geval mijn verwachting. Ik moet ook zeggen: we zijn in een soort gebied terechtgekomen waarbij we niet precies weten wat de uitslag gaat worden. Dus het zou best mee kunnen vallen bij Microsoft. Het zou ook heel erg tegen kunnen vallen, dat is even de gok. Maar wat ik tot nog toe weet en ik weet dat Ricardo, onze pipeline om die content in te lezen, het programma wat het laadt, die heb ik zo gemaakt dat hij echt wel weet van: oh, dit is een guideline en dit is gewoon algemene informatie. Dus daar zit meer betekenis aan vast. Ik heb in de praktijk ook bij meerdere klanten al gezien hoe de search werkt met Bing en dat die work gescand heeft. Dat werkt op zich al heel fijn. Het maakt het zoeken al veel makkelijker. Het komt ook best wel goed met de juiste documenten terug. Niet zozeer op de specifieke antwoorden die je verwacht, maar wel al met de juiste linkjes en dus de search daarachter met meer context erbij. Dat is wat mij betreft wel enorm verbeterd.

Wat is het verschil tussen search en het gebruiken van kennis uit documenten?

Er is een verschil natuurlijk tussen search en het juiste document vinden, of de kennis die daarin zit gebruiken als jij teksten genereert of dat soort zaken. Ik heb een gecontroleerde datastroom. Dus je bepaalt zelf wat erin komt en niet. Microsoft heeft daar een stuk minder grip op, daar kun je wel van uitgaan. Dus het wordt gewoon heel spannend. Het is een soort wapenwedloop van de AI's. Wij zijn hier ook gewoon ingestapt als experiment. Ik ben gewoon echt benieuwd hoe mensen het gaan ervaren. Tot nog toe gebruikt ongeveer de helft van ons bedrijf hem gelijktijdig door de week. Dat is echt behoorlijk. We vinden het echt boven verwachting goed. Dus voorlopig zitten we denk ik nog aan de goede kant.

Wat is het meest belachelijke AI-concept dat je ooit hebt gehoord dat echt haalbaar bleek te zijn?

Dat is een hele pittige vraag. Ik dacht altijd van kassen plannen bij kwekers. We hebben voor een klant van ons een algoritme ontwikkeld om planten automatisch te plannen in kassen. Die kwekers komen binnen met zaden. Dat moet geplant worden bij een bepaalde temperatuur en luchtvochtigheid. Je kan het zo gek niet bedenken of daar zijn wel weer regels voor. Je mag bepaalde planten niet bij elkaar hebben staan, meer van dat soort spannende taferelen. Ze lieten het zien en begonnen een lijstje te maken. Ja, je moet het dan voldoen aan dit en dat. Ik dacht echt: never, nooit, niet. Dat gaat helemaal niet vliegen dit verhaal. Maar het is wel gelukt. Het is toch grappig dat je begint eraan en je denkt van oh help, wat hebben we nou weer aan onze fiets hangen. Maar het werkt. En nu, en dat is misschien nog wel de grootste verrassing: we lieten het zien en ze zeiden tegen ons dat is te veel magic. Toen dacht ik: oké dan. Dit kan dus ook nog gebeuren met AI, dat het te veel magic is. En nu zeggen ze van ja, maar kan ik ook een klein beetje AI krijgen? Ja, dat kan ook. Daar worden ons leven wel veel makkelijker van.

Wat was het stukje magic waar ze van schrokken?

Hij was 30 seconden aan het rekenen aan een taak waar een planner meerdere dagen mee bezig was. En daar schrokken ze wel een klein beetje van. Want hij kwam ook best wel aardig in de buurt van wat je zou kunnen verwachten. En dat vonden ze toch echt te veel magic. Ze voelden alsof ze vervangen werden. Dat was ook nooit onze bedoeling, maar dat bleek dus toch wel echt dat gevoel naar boven te komen.

Wat voor ontwikkelingen in generatieve AI vind je zelf het meest indrukwekkend?

Wat ik laatst gezien heb is, wat mij eigenlijk een jaar, misschien twee jaar geleden echt als iets belachelijks zou bestempelen: van een prompt naar video. Van de week heb ik daar een demonstratie van gezien van stability.ai, die maken ook Stable Diffusion en zo. Als je nu al ziet hoe realistisch die videobeelden zijn op gewoon één regeltje tekst. Daar had ik echt een jaar, anderhalf jaar geleden gezegd: dat is krankzinnig, dat gaat nooit gebeuren. Dat is er nu. Absurd. De ontwikkelingen gaan zo snel. Voor mij, dat is wel grappig aan dat voorbeeld: ik zit al een hele tijd tot aan mijn nek in de generatieve AI en allerlei vormen om diepte in te schatten, om sonarbeelden te analyseren, en meer van dat soort taferelen. Dus voor mij was die video ja, het is eigenlijk gewoon een logische volgende stap. Maar het voelt echt als magie wat we er nou uit krijgen. Dat is echt cool.

Waarom gaat de ontwikkeling in generatieve AI zo snel?

Die snelheid van generatieve AI is wel duidelijk uitlegbaar. De techniek die hieronder ligt noemen ze de transformers, daarom heet het ook GPT: Generative Pre-trained Transformers. Voor die techniek had je eigenlijk allemaal silo's aan onderzoek. Mensen waren bezig met of met tekst, of met spraak, of met beeld, of met video. Dat waren gescheiden werelden. Die hielden zich ook niet met elkaar bezig. Omdat nu alles een soort van taal is geworden, is dat op één hoop gekomen en is al dat onderzoek wat op tekst nu van toepassing is, dat dus ook op video en ook op spraak. Waardoor dat ook een dusdanige exponentiële groei heeft gemaakt. Het is ook echt in de stroomversnelling geraakt.

Wie gaat er verder werken aan Ricardo binnen jullie organisatie?

Het leuke is nog: we gaan hier dus open source mee verder binnen ons bedrijf. Ik heb gewoon Microsoft developers, mensen die C-sharp programmeren, die echt niet weten wat AI is. Die gaan hieraan verder bouwen. Die vroegen aan mij: ja, maar dan moet ik toch weten hoe die wiskunde werkt? Nee hoor, het is gewoon een API en het is gewoon een frontend. Dus don't worry, niet anders dan een andere API-call. Echt niet. AIToday Live is een podcast die zich richt op de nieuwste ontwikkelingen in AI en de impact ervan op verschillende sectoren. In elke aflevering spreken hosts Niels Naglé en Joop Snijder met experts uit het veld om inzicht te krijgen in de mogelijkheden en uitdagingen van AI-technologie. Luister via je favoriete podcast app: Spotify, Apple podcasts, YouTube Music, en meer.

Over de gast

Willem Meints
Willem Meints
Chief AI Architect bij Aigency

Willem Meints is Chief AI Architect bij Aigency en een van de eerste AI MVP's in Nederland, erkend door Microsoft voor zijn bijdragen aan het vakgebied. Hij is auteur van een deep learning boek en heeft uitgebreide ervaring in de Microsoft-omgeving, waar hij ook internationaal spreekt. Met zijn expertise heeft hij een interne AI-assistent ontwikkeld die organisaties helpt om efficiënter met kennis en data om te gaan.

Bekijk gastprofiel

Transcript

Hi, welkom bij een nieuwe aflevering van AIToday Live. Mijn naam is Joop Snijder, CTO bij Aigency. Mijn naam Niels Naglé, chapter lead Data & AI bij Info Support. En vandaag hebben we te gast Willem Meints. Willem is Chief AI Architect bij Aigency. En ik wil hem namelijk graag zelf introduceren, want anders is hij daar misschien wat te bescheiden over. Willem is namelijk een van de eerste AI MVP's in Nederland. Dat is een erkenning vanuit Microsoft voor alle werkzaamheden die hij doet. Hij is auteur van een deep learning boek, spreker. Erg ingevoerd in de Microsoft wereld, wat er allemaal gebeurt. Mis ik nog wat Willem? Oh, ik moet echt heel hard nadenken. Ik spreek heel veel natuurlijk, internationaal. Ik heb een blog, die we misschien nog even in het deel laten zien. Zetten we in de show notes. Oh, echt te veel om op te noemen eerlijk gezegd. En samen met Willem ben ik zo'n 10 jaar bezig rondom alles met kunstmatige intelligentie. Nou, dat lijkt me een mooie introductie, toch? Ja, zeker. Dankjewel. En om helemaal af te sluiten. Willem, jij hebt een AI assistent gebouwd voor Info Support. En daar gaan we het vandaag over hebben. Kan je daar misschien iets over introduceren? Wat heb je gedaan? Ja, ik heb een ChatGPT-instantie gebouwd voor Info Support en voor Aigency. Maar die is helemaal intern, die is helemaal afgesloten van het internet. Onze data wordt ook niet meer gebruikt om te trainen, dat lukt niet. En daarom zijn mijn collega's tegenwoordig in staat om allerlei dingen daarin te stoppen... die ze anders niet zouden willen delen met het internet. En wat bedoel je daar specifiek mee? Nou ja, ik moet altijd even vragen aan mijn collega's wat ze ermee doen. Want ze doen er van alles mee. Bijvoorbeeld projectvoorstellen schrijven met geheime informatie van klanten daarin. Dat kan met onze assistent wel. En dat kan op het chatpunt openen en je AI-punt komt niet, want daar wordt je data opgeslagen. Ja, het kan wel, maar het is niet verstandig. Ja, ik zeg altijd het kan niet, anders krijg ik de legal-afdeling achter mij aan. Moet je niet willen. Moet je niet willen, nee. Ja, dat is denk ik een hele mooie toevoeging, want daarmee heb je inderdaad een veilige omgeving. Wat heb je daarvoor nodig gehad om dat voor elkaar te krijgen? Inmiddels drie maanden tijd. Waar ik gebruik van maak is van Azure Open AI Service. Dat is een versie van ChatGPT bij Microsoft. Microsoft gaat erom dat het ding op een eigen netwerk uitgerold kan worden binnen Azure. Het kan niet op je eigen hardware, helaas. En daarnaast heb ik zelf code daaromheen moeten schrijven in de vorm van .NET-code, dus C#. In dit geval om daar een echt werkende applicatie van te maken. Het is echt het kale model wat je krijgt. En heb je nog extra informatie eraan toegevoegd om het meer voor de organisatie te maken? Zeker. Het begon eigenlijk als een soort van stunt in de weekend. De CTO van Info Support zei tegen mij, wedder dat jij niet in drie dagen dat ding aan de praat kan krijgen. Ik zei, nou hou even mijn Cola Light vast. Ik fix die handel even. Dat is gelukt in een weekend. Daarna dacht ik, maar nu heb ik hetzelfde als bij ChatGPT op het grote boze internet. Dat kan vast slimmer. Ik heb het Guidance Framework van Info Support gepakt. Dat is onze knowledge base met aller soorten kennis over hoe bouw je software op een goede manier. Hoe zet je je architectuur goed op, security, dat soort dingen. Die heb ik eraan vastgekoppeld. Wat je nu dus kan doen, je kan aan ChatGPT of Ricardo, zoals wij hem genoemd hebben. Kun je vragen, hey Ricardo, hoe schrijf ik een goede automatische test voor mijn Python code? Dan zal hij niet een algemeen antwoord geven, maar dan zal hij zeggen... ik weet dat Info Support één bepaald framework daarvoor gebruikt, een bibliotheek. Dan geeft hij antwoord in die bibliotheek, omdat hij dat weet dat wij dat gebruiken. Als je dat hetzelfde zou doen op chat.openai.com, dan geeft hij een algemeen antwoord. Dat hij zegt, doe maar wat. Dan kan hij ook zeggen, als je deze vraag stelt, dan zegt hij gebruik Python unit test. De volgende keer zegt hij, gebruik Python test of een willekeurig andere. Omdat daar een mate van willekeur in zit, komen er dus ook andere type antwoorden uit. Nu is hij heel gericht, dit is het feitelijke antwoord en komt hij daarmee terug. Is het daarmee ook mogelijk om de medewerkers terug te geven, waar komt dit vandaan? Nog niet. Toen ik dit eenmaal had gebouwd, toen kreeg ik binnen 24 uur zoveel vragen binnen. Daar schrok ik zelf ook een beetje van. Toen was de vraag, hoe komt hij nou aan dit antwoord? Daar zijn we nu nog even mee bezig, met de laatste dingetjes ervan te repareren. Hij kan zometeen aangeven, je zou Python test moeten gebruiken, dat is wat wij adviseren. Dat staat hier. Dat is natuurlijk helemaal krachtig, want chat-gpt is niet zo goed in feitelijkheden. Hij genereert een stuk tekst. Toevallig omdat wij hem bijsturen met die kennis uit het Guidance Framework, geeft hij een nuttige tekst. Maar dat is niet het volledige antwoord natuurlijk. Soms vraag je je af, het is prima dat hij dit wil, maar ik heb nog wat meer informatie nodig. Dan is het wel leuk als je een link erbij krijgt van hier staat het. Je zei van, ik heb het Guidance Framework toegevoegd. Is dat zoiets als met een één druk op de knop en dan zit het erin? Nee, helaas niet. De eerste drie dagen was assistent bouwen en de rest van de drie maanden was dit. Om het voor elkaar te krijgen. Dat zit hem eigenlijk in twee dingen. Aan de ene kant moet je een stuk integratie bouwen tussen twee systemen, namelijk de kennisbron waar het uitkomt en de applicatie waar het naartoe gaat. In dit geval de Ricardo applicatie. De manier waarop ik dit doe is met een speciale database, een vector database. Dus ik moet ook nog die teksten op een specifieke manier gaan opslaan. Ik moet daar vectoren van maken. Dat zijn hetzelfde soort vectoren als waar OpenAI mee rekent. Dat noemen ze embedding vectors. Ik geef een soort semantische betekenis aan die tekst die uit die Guidance Framework komt. Ik pak jouw vraag en daar maak ik ook een semantische betekenis van. Die leg ik naast elkaar en dan zeg ik dit lijkt er het meeste op. En dan gebruik ik die vectoren weer om mee verder te rekenen. Dus je moet aan die tekst gaan sleutelen voordat hij überhaupt bruikbaar is voor de chatbot. Ja, absoluut. En daar zit heel veel fine tuning in. Want als je een heel grote document erin geeft, krijg je een soort algemeen antwoord. Maar dat willen wij natuurlijk niet. Dus we hebben wel wat trucjes uitgehaald om die informatie specifiek genoeg te maken voor ons. En kun je ook andere type informatie toevoegen? Ja, dat kan. De experimenten die ik nu aan het doen ben, dat gaat vooral over PowerPoint presentaties. We hebben echt mega veel trainingen, presentaties van collega's die super nuttig zijn. Maar wat daar de uitdaging is, het is in PowerPoint en het zijn heel veel foto's. Dus daar ga ik een ander trucje uit halen. Dan ga ik ook images semantische betekenis geven. En dan hoop ik dat ik met een aantal maanden, hebben we het over, ik denk een maand of twee of zo, dat we plaatjes kunnen teruggeven. Dat we ook kunnen zeggen tegen degene die de vraag stelt van ik heb een heel mooi slide gevonden. Daar zit ik al echt jaren op te wachten. Nu heb ik mijn eigen repository met al mijn PowerPoints, met al mijn sessies die ik geef. Waar ik iedere keer weer in grasduin. Ik heb ook een keer een initiatief gehad met collega's. En daar maken we een generieke repository voor. Maar dit, als het drie maanden is, dan vind ik het ook nog goed. Dat gaat me echt heel veel efficiency brengen. En dat is denk ik ook waardoor deze oplossingen in de praktijk ook vaak gevraagd zien worden. Omdat iedereen die, je zei het zelf, er komen heel veel vragen in één keer direct op Ricardo af. Omdat het gewoon ons helpt om efficiënter te worden in de zaken die we toch moeten doen. En dat maakt het ons makkelijker. En want je hebt nu dus een kennisbank, je bent bezig met presentaties. Wat voor type, want kennisbanken leven denk ik bij heel veel organisaties. Wat voor andere type use cases zie jij nog meer voor dit? Het is vooral heel erg knowledge driven. Dus als je je eigen bedrijfsdata kan koppelen, dan moet je denken aan inderdaad kennisbanken vooral. Maar iemand kwam ook al bij me, die zei tegen mij, wat als ik nou bijvoorbeeld experts zou kunnen vinden via dat apparaat? Dat is een ander soort kennisbank. Dat gaat meer over gebruikersprofielen en wat mensen doen en interessant vinden. Dus daar zijn we ook over aan het nadenken. Hoe kun je dat dan doen? Expert informatie eruit halen. Ja, en eentje die bij mij dan nogal popt is, bij bedrijven heel veel data die door de organisatie heen gaat. De stromen van informatie, dus de processen in combinatie met data. Als dat voor organisaties zou kunnen. Word documenten, contracten. Ja, je kan zo iets bedenken. Ja, toch? Alles wat eigenlijk een tekstformaat is, zou je eraan toe kunnen voegen. Wat ook nog wel leuk is om daar nog aan toe te voegen, want dat kan sinds kort. Daar hebben we zelf nu heel beperkt mee geëxperimenteerd. Dat je open AI modellen kun je functies laten aanroepen. Dat is een wat technisch verhaal, maar wat je dus zou kunnen doen, is detecteren of iemand een adres zoekt van een persoon of een e-mailadres. En dan kan die je functie aanroepen en dan kun je gewoon in een normale database, een relationele database of een CRM systeem, een adres opzoeken. Die die weer kan gebruiken. Die kan je weer teruggeven, gewoon als een feitelijkheid in het response. Dus die gaat je niet transformeren, maar dan wordt het letterlijk teruggegeven. Ja, oké. Dus als je echt inderdaad van het generatieve even af wil stappen, om de feiten op te halen en alleen die feiten terug te geven voor dat soort functies, waarvan je weet, dit is gewoon de regel die je terug moet geven. Dan kan die naar buiten stappen uit die context en dan weer terugkomen daarmee. Ja. En dat gebruiken in het antwoord wat die genereert. Dus het is een combinatie van inderdaad. Een stukje gegenereerd, een stukje vanuit de functie en dan weer gegeneerd om het weer inderdaad makkelijk leesbaar te kunnen gebruiken. Ja, dus dat is ook nog een experiment die op het programma staat om uit te gaan proberen. Hoeveel werk is het eigenlijk? Want dat is steeds de puzzel. We hebben het hier over een generatief model, maar dat model is maar 30% van mijn code. 70% zit hem daadwerkelijk in data pre-processen. Zorgen dat de user interface er een beetje voldoende uit ziet, dat hij de tekst ook goed rendert. Wij mensen zijn gewend aan kopjes, opsommingen, dat soort dingen. Dat doet ChatGPT allemaal niet. Dat is iets wat ik erachteraan heb geprogrammeerd om het mooi te maken. Dus voor iedereen die nu ChatGPT gebruikt, die ziet dat allemaal wel, maar dat heeft OpenAI in hun user interface zelf gebouwd. En als je het zelf wil, moet je dat ook weer zelf bouwen. Ja, ik zei het al, ik krijg een kaal model en dat model accepteert tekst en dat geeft mij tekst terug. Dat is alles wat het doet. Je moet er zelf heel veel machinery omheen bouwen om het cool te maken. En mogen alle medewerkers, mogen die alle vragen stellen? Nee, dat is wel interessant natuurlijk. Wat doe je dan eigenlijk met zo'n chatbot? Als je het model pakt en je stelt een vraag aan hem, dan geeft hij je altijd antwoord. Ook over onveilige onderwerpen. Dan kun je wel voorstellen en bedenken wat je dan kan doen. Wat wij bij Info Support de afspraak hebben, is dat Ricardo bijvoorbeeld niet over gezondheid praat. We hebben voorbeelden gezien van met name psychische gezondheid, dat mensen dat ding gaan gebruiken als een soort therapeut. Maar dat is het niet, het is een talking parrot. Dus we hebben dat gewoon dichtgezet, gezegd van nee, dat willen we niet. Dat doen we in de system prompt. Dat zie je niet in OpenAI. Op chat.openai.com zie je die ook niet. Dat is een soort verborgen instructie, die wordt al gegeven aan dat model, voordat jouw tekst erachteraan wordt gependeld. En daar hebben wij in staan dat hij Ricardo heet, vandaar dat ik hem ook Ricardo noem. Maar we hebben daar ook veiligheidsrails in staan, een soort vangrails. Dus eigenlijk, als ik het even product thinking doe, dat stukje van de system prompt maakt dat het product zo acteert, zoals jij wil dat het product acteert. Ja, in dit geval dat hij dus ook snapt dat hij voor Aigency en voor Info Support werkt, en niet voor een ander bedrijf. Dat bepaalt ook in grote mate hoe hij met dat guidance framework omgaat. Dat hij snapt, dat guidance framework is van Info Support. Die relatie heb ik aangebracht in die system prompt. ChatGPT wordt ook gebruikt voor klantenservice toepassingen. En daar zie je juist dat ze bijvoorbeeld heel erg willen dat hij vriendelijk is, en dat hij alleen maar klantenservice taken uitvoert. Dat is ook een soort vangrails die je kan toevoegen. Dat hebben wij dus niet, want bij ons gebruikt iedereen hem voor van alles. Codegeneratie ook. Dus ik heb hem maar minimale instructies gegeven, zodat hij zoveel mogelijk alle kanten uit kan. Ja, maar je kan dat zelf kaderen, hoe nauw of hoe breed dat is. Ja, absoluut. Cool. Nou, en dat is denk ik heel erg interessant, vooral als je ook HR informatie erin geeft, waar het wel over van alles en nog wat gaat. Dat je inderdaad geen medische adviezen bijvoorbeeld wil hebben uit je bot, omdat hij dat wel kan geven, maar dat je dat absoluut niet wil dat hij dat doet. Ja, en wat wel speciaal is aan het model van Microsoft dat wij gebruiken, is dat er eigenlijk een soort tweetrapsraket in die veiligheidsinstructies zitten. Namelijk de system prompt, dat kan ik zelf doen. Maar ze hebben ook nog een content filter ervoor staan. En dat is ook een AI model uiteindelijk. Die kan namelijk detecteren of een woord wel of niet is toegestaan, volgens dat filter. Maar die kan ik instellen. Daar kan ik zelf zeggen, nou, ik vind gewelddadigheden, dat moet je heel hoog opvatten. En andere dingen... En wat is hoog? Ja, dat is een beetje moeilijk inschatten. Daar heb ik zelf heel lang op lopen puzzelen van, wat is dat dan? Als het al mild richting gewelddadigheden gaat, dus als het woord al een klein beetje op geweld lijkt, dan vlagt hij hem al af als hij hoog staat. Maar wat dan precies hoog en laag is, dat varieert echt per woord wat hij er dan van maakt. Als ik dat zo hoor, dan neem ik aan dat er ook wat monitoring op de achtergrond is, van wat wordt er gevraagd, wat verantwoorden geven erop, is dat nog hetgeen wat we willen? Nee, dat doe ik niet. Dat is misschien wel het meest verrassende aan deze toepassing, ik sla helemaal niks op. En dat doe ik heel bewust. Want iedereen weet wel, in het kader van de AVG zijn er gewoon een aantal dingen die je moet organiseren, voordat je gegevens mag gaan opslaan en koppelen aan personen. En ik dacht, ik blijf daar gewoon helemaal vandaan. Ik maak het onszelf heel erg makkelijk. En voor iedereen creëert het ook een bepaald gevoel van veiligheid. Ik kan zeggen wat ik wil tegen het ding en het wordt niet gedeeld met mijn collega's. Ja, op geen enkele wijze. Nee, echt niet. Ik heb die data gewoon niet. Het enige wat ik kan zien, is hoeveel users er gebruik van maken, hoeveel requests ik krijg en foutmeldingen. Maar in die foutmeldingen staat niet de prompt of het respons. Die zie ik allemaal niet. Dat is soms lastig, dat geef ik ook wel toe. Maar meestal is het ook echt voldoende voor mij om dingen te kunnen debuggen, van wat gaat hier nou eigenlijk mis. Goed om te weten. En zijn er situaties waarin je dat wel zou doen, en wanneer je dan toch zou zeggen, ik ga toch loggen? Heb je daar een beeld bij? Nou, ik ben dus nu nieuwe dingen aan het uitproberen, met het guidance framework onder andere. En dan vraag ik aan mensen heel specifiek, wil je even naar deze instantie toe gaan, naar deze deployment in mijn omgeving? Dat is dus een andere versie van de assistent. Daar staat logging aan. Die kan ik dan aanzetten, en dan krijg ik wel alles te zien. Maar dat zijn hele gerichte oefeningen die we doen met elkaar, want dan ben ik ook echt op zoek naar bepaalde informatie. En het is een scenario bijvoorbeeld, geeft die de juiste zoekresultaten terug? Is die snel genoeg met antwoord geven? Dat soort zaken probeer ik dan uit. Ja, oké, dan zit je dus echt in de development testfase, en dan weten mensen waar ze ook toestemming voor geven, dat ze daaraan meewerken, en wat daarmee gebeurt inderdaad. Oké, mooie aanpak. Wat heeft je eigenlijk het meest verrast in deze periode bij het maken hiervan? Nou, vooral dat het soms hele verrassende antwoorden geeft. Dat is echt, daar krijg ik soms commentaar van mensen, en dan denk ik, huh? Hoe kan dat dan? Dat de ene keer zegt hij, oh ja prima, ik geef je een antwoord, en de andere keer zegt hij, nee, daar mag ik geen antwoord op geven. Er zitten mensen blijkbaar op een soort grensgebied te werken, waarbij de bot zoiets heeft van, ah, daar weet ik niet helemaal meer wat ik hier nou van moet vinden. Dus dat is wel heel erg raar, dat heb ik al een aantal keren gezien. In positieve zin, wat mij ook is opgevallen, is hoe goed eigenlijk die ontwikkelomgeving al in elkaar zit van Microsoft. Het was echt drie dagen werk om die eerste versie te maken, daar had ik echt helemaal nooit gedacht. Dat was natuurlijk super brutaal naar onze CTO, toen ik zei, dat lukt me wel in drie dagen. Het viel me toch 100% mee, dat het gelukt is. En waar ik me ook nog afvroeg, is, even kijken hoe ik dit, kijk, Microsoft komt met Copilot uit, Copilot voor Windows, voor van alles, kunnen we het zo direct nog even over hebben. En die gaat zo direct ook documenten, als jij in een Microsoft Office 365 omgeving werkt, gaat hij alles scannen en dan hebben we het eigenlijk, lijkt het je ook op, alleen hoef je het dan maar niet zelf te bouwen. Nee, het grote vraagteken hier is, hoe doen ze dat dan? Waar ik zelf achter ben gekomen, is dat de meeste mensen, die zo'n oplossing als dit aan het bouwen zijn, die pakken eigenlijk hun documenten en die gaan alles op dezelfde manier opknippen in stukjes en beschikbaar maken voor die bot. En dat opknippen in stukjes is echt noodzakelijk, omdat als je een heel grote hoeveelheid tekst erin stopt, dan geeft die een soort vage betekenis eraan. Als je een klein stukje tekst stopt, dan wordt het heel specifiek. En je wilt hem specifiek, daar wordt hij gewoon een stuk beter van. Er zijn onderzoeken geweest, die gekeken hebben van, hoe doen verschillende taalmodellen het, en hoe grootte uiteindelijk het geheugen van een taalmodel, dat lijkt heel positief, maar hoe meer hij in het midden vergeet. Dus het generaliseert eigenlijk dan. Ja, dan zit eigenlijk alleen nog maar de betekenis aan het begin en het eind van je tekst. En daartussenin is het een beetje net alsof jij snel leest. Ja. Ik lees even het begin en het eind, dan geloof ik het wel. Ja, en ik denk dat Microsoft diezelfde manier gebruikt. Dus gewoon niet kijkend naar wat jouw domein is, en niet kijkend naar wat jouw bedrijf eigenlijk doet, maar gewoon in hele algemene termen, die documenten opknippen, verwerken en dan beschikbaar maken. Ja, als ik hem even voor mezelf probeer doorheen te lopen van wat je net zegt, is het dus eigenlijk een generale oplossing, generieke oplossing, om zoveel mogelijk vindbaar en wat meer generiek terug te kunnen geven. Dus misschien voor, zeg ik, 60, 70 procent al prima om mee aan de slag te gaan. Maar ben je op zoek naar net even wat extra detail of detaillering, dan is de stap die je dan gemaakt hebt met bijvoorbeeld een Ricardo, dan een stap die je moet overwegen? Ja, dat is op dit moment in ieder geval mijn verwachting. Ik moet ook zeggen, we zijn in een soort gebied terechtgekomen, waarbij we niet precies weten wat de uitslag gaat worden. Dus het zou best mee kunnen vallen bij Microsoft. Het zou ook heel erg tegen kunnen vallen, dat is even de gok. Maar wat ik tot nog toe weet, en ik weet dat Ricardo, onze pipeline om die content in te lezen, het programma wat het laat, die heb ik zo gemaakt dat hij echt wel weet van, oh, dit is een guideline en dit is gewoon algemene informatie. Dus daar zit meer betekenis aan vast. Ik heb in de praktijk ook bij meerdere klanten al gezien, hoe de search werkt met Bing en dat die workgescand heeft. En dat werkt op zich al heel fijn. Het maakt het zoeken al veel makkelijker. En het komt ook best wel goed met de juiste documenten terug. Niet zozeer op de specifieke antwoorden die je verwacht, maar wel al met de juiste linkjes en dus de search daarachter met meer context erbij. Dat is wat mij betreft wel enorm verbeterd. Ja, maar er is een verschil natuurlijk tussen search en het juiste document vinden, of het zeg maar de kennis die daarin zit gebruiken, als jij teksten genereert of dat soort zaken. En wat Willem vertelt, is dat hij natuurlijk een gecontroleerde datastroom heeft. Dus je bepaalt zelf wat erin komt en niet. En daar ben ik straks wel benieuwd naar hoe dat, nou ja, in je systemen moet je dan zelf gaan aangeven. Je gebruikt dit wel, gebruikt dit niet? Hoe gaat die met meerdere versies om? Wat doe je met verouderde documenten? Daar ben ik wel heel benieuwd naar. Ja, wij hebben daar gewoon maximaal grip op. Microsoft heeft daar een stuk minder grip op, daar kun je wel van uitgaan. Dus ja, het wordt gewoon heel spannend. Het is een soort wapenwetloop, zou ik kunnen zeggen, van de AI's. Wij zijn hier ook gewoon ingestapt als experiment. Ik ben gewoon echt benieuwd hoe mensen het gaan ervaren. Tot nog toe gebruikt ongeveer de helft van ons bedrijf hem gelijktijdig door de week. Dat is echt behoorlijk. We vinden het echt boven verwachting goed. Dus voorlopig zitten we denk ik nog aan de goede kant. Interessant hè? Hey Willem, we hebben ook nog een co-host. En die gaat jou ook een vraag stellen. Aisha. Een intelligente vrouw. Aisha. Laat me mezelf introduceren. Ik ben Aisha, de AI die deze gesprekken ondersteunt. Mag ik je een vraag stellen? Zeker. Wat is het meest belachelijke AI concept dat je ooit hebt gehoord dat echt haalbaar bleek te zijn? Oh man. Dat is een hele pittige. Ik weet niet hoe belachelijk het eigenlijk is. Maar ik probeer ook even na te denken van recente gevallen waar we aan gewerkt hebben. Ik dacht altijd van kassen plannen bij kwekers. Ik hoorde wat ze dan allemaal voor beperkingen hadden. Om het even uit te leggen wat we daar gedaan hebben. We hebben voor een klant van ons een algoritme ontwikkeld om planten automatisch te plannen in kassen. Die kwekers die komen binnen met zaden. Dat moet geplant worden. Bij een bepaalde temperatuur en luchtvochtigheid. Je kan het zo gek niet bedenken of daar wel weer regels voor zijn. Je mag bepaalde planten niet bij elkaar hebben staan. Meer van dat soort spannende taferelen. Ze lieten het zien en ze begonnen even een lijstje te maken. Ja, je moet het dan voldoen. Dit moet hij doen en dat moet hij doen. Ik dacht echt never, nooit, niet. Dat gaat helemaal niet vliegen dit verhaal. Maar het is wel gelukt. Het is toch grappig dat je begint eraan en je denkt van oh help. Wat hebben we nou weer aan onze fiets hangen. Maar het werkt. En nu, en dat is misschien nog wel de grootste verrassing. We lieten het zien en ze zeiden tegen ons dat is te veel magic. Toen dacht ik oké dan. Dit kan dus ook nog gebeuren met AI. Dat het te veel magic is. En nu zeggen ze van ja, maar kan ik ook een klein beetje AI krijgen. Ja, dat kan ook. Daar worden ons leven wel veel makkelijker van. En wat ik me dan afvraag is, wat was het stukje van magic? Moest dat explainability? Waar zat het in dat het gevoel van magic er was? Nou ja, hij was 30 seconden aan het rekenen. Aan een taak waar een planner meerdere dagen mee bezig was. En daar schrokken ze wel een klein beetje van. Want hij kwam ook best wel aardig in de buurt van wat je zou kunnen verwachten. En dat vonden ze toch echt te veel magic. Ze voelden alsof ze vervangen werden. Dat was ook nooit onze bedoeling. Maar dat bleek dus toch wel echt dat gevoel weer naar boven te komen. Ja. Wat ik laatst gezien heb is, wat mij eigenlijk, laten we zeggen, een jaar, misschien twee jaar geleden echt als iets belachelijks zou bestempelen. Is van een prompt naar video. Oh ja. En van de week heb ik daar een demonstratie van gezien. Van stability.ai. Die maken ook stable diffusion en zo. Als je nu al ziet hoe realistisch die videobeelden zijn op gewoon één regeltje tekst. Ja. Nou ja, daar had ik echt een jaar, anderhalf jaar geleden gezegd, dat is krankzinnig, dat gaat nooit gebeuren. Dat is er. Absurd. Ja. De ontwikkelingen gaan zo snel. Ja, voor mij, dat is wel grappig aan dat voorbeeld. Ik zit al een hele tijd tot aan mijn nek in de generatieve AI. En allerlei vormen om diepte in te schatten, om sonarbeelden te analyseren, en meer van dat soort taferelen. Dus voor mij was die video, ja, het is eigenlijk gewoon een logische volgende stap. Maar het voelt echt als magie wat we er nou uit krijgen. Dat is echt cool. Je boeiende inzichten zijn zeer gewaardeerd. Dank je wel. Ik heb daar nog een kleine aanvulling op. A, we gaan heel snel. En B, we gaan op heel veel sectoren snel. Waardoor het gevoel van snelheid nog een keer enorm toeneemt daarin. Omdat we in alle verschillende sectoren zie je die implementaties en de toepassingen. Dus zelfs binnen één sector laat je je verrassen. Laat staan als je meerdere sectoren aan het bekijken bent, wat er allemaal wordt toegepast en wat de waarde daarvan oplevert. Ja, en die snelheid van generatieve AI is wel duidelijk uitlegbaar. Wat je daar hebt is dat, voor zeg maar de techniek die hieronder ligt, die noemen ze dan de transformers, daarom heet het ook GPT, Generative Pre-trained Transformers. Voor die techniek had je eigenlijk allemaal silo's aan onderzoek. Dus mensen waren bezig met of met tekst, of met spraak, of met beeld, of met video. Dus dat waren gescheiden werelden. Die hielden zich ook niet met elkaar bezig. Omdat nu alles een soort van taal is geworden, is dat op één hoop gekomen en is al dat onderzoek, dus wat op tekst nu van toepassing is, is dat dus ook op video en is dat ook op spraak. Waardoor dat ook een dusdanige exponentiële groei heeft gemaakt. Het is ook echt in de stroomversnelling geraakt. Ja, absoluut. Ja, mooi. Voor mij gaat er nu een hele rader in m'n hoofd. Maar eigenlijk wat we dus eigenlijk zeggen is, silo's stoppen mee. Ook binnen je organisaties komen we natuurlijk nog vaak genoeg tegen dat afdelingen of processen in silo's zitten. Neem hiervan aan, doorbreek die silo's, ga samenwerken en dan kom je er sneller vooruit. En als je die silo's dan samen weet te brengen, dan hebben we hem helemaal rond. In een AI-assistent, waar Willem het over heeft gehad, dan heb je dus ook de kennisuitwisseling en de kennisborging heb je dan nu in een systeem zitten. Hoe cool is dat? Het leuke is nog, we gaan hier dus open source mee verder binnen ons bedrijf. Ik heb gewoon Microsoft-developers, mensen die C-sharp programmeren, die echt niet weten wat AI is. Die gaan hieraan verder bouwen. Die vroegen aan mij, ja, maar dan moet ik toch weten hoe die wiskunde werkt? Nee hoor, het is gewoon een API en het is gewoon een frontend. Dus, don't worry. Niet anders dan een andere API-call. Echt niet. Nou Willem, dankjewel. Ik denk dat dat mooie inzichten zijn. Vooral ook laten zien wat het betekent als je een AI-assistent specifiek zou maken voor je eigen organisatie. Dat het van heel veel toegevoegde waarden kan zijn. Met de kanttekening, dus niet druk op de knop. Dan heb je het, dus er moet best wel wat voor worden gedaan. Dankjewel. Zo, die klapte erin. Dat heb je soms. Nou, fijn dat je weer luisterde naar een aflevering van de AIToday Live. Vergeet je niet te abonneren via je favoriete podcast-app en mis geen aflevering.