Kunnen AI-assistenten echt de HR wereld veranderen?

Hoi, leuk dat je weer luistert naar een nieuwe aflevering van de AIToday Live. Mijn naam is Joop Snijder, CTO bij Aigency. Mijn naam Niels Naglé, Area Lead, Data & AI bij Info Support. En vandaag een gast van over de grens, Bart Slaets. Bart, welkom in deze aflevering. Voordat we gaan starten, zou je jezelf willen voorstellen aan de luisteraars? Oké, ik ben Bart Slaets. Ik ben 50 jaar geworden, dus dat is dan heel erg. Gefeliciteerd. Dank je wel, nog maar pas. Ik heb 25 jaar bij SD Worxs gewerkt, dus een grote sociaal secretariat zoals we dat in België noemen. Waarvan de laatste acht jaar bij ProTime en sinds twee jaar mijn eigen start-up begonnen, Paybix, samen met twee co-founders. Ja, en wat doet Paybix? Paybix is een bedrijf dat zorgt dat bedrijven die internationaal gaan, dus bedrijven die niet zo groot zijn dat ze SAP kunnen aankopen, maar dat ze eigenlijk hun payroll in al die landen moeten gaan regelen. Daar zorgen wij dat we een platform hebben gemaakt dat boven die lokale payroll engines ligt, zodat ze toch centrale invoer en centrale rapportering kunnen doen over hun hele populatie, ja, wereldwijd eigenlijk. Ja, precies. En jullie zijn gestart met een eigen AI-assistent, hè? Ja, onlangs. Klopt. En daar gaan we het vandaag over hebben. Hoe zijn jullie erop gekomen om hiermee te beginnen? Ja, wel, het is wel een verhaal. Het is op zich zo dat je moet je voorstellen, die bedrijven, onze klanten dus, dat zijn de kleinere bedrijven die dus multi-country payroll moeten runnen, wat op zich niet evident is, want je hebt in elk land een andere sociale wetgeving en andere regels. En wat zo'n bedrijf dan typisch gaat doen, is, een voorbeeld, we hebben een bedrijf en die zitten in zes landen met ongeveer 80 medewerkers en er is één dame in Brussel die die zes payrolls moet doen. Oh ja. En ze deed dat dus tot hiertoe, of voor ons, gewoon, het zei, met het lokale payrollpakket, ze ging dat gewoon invoeren in Spanje, in Polen, in Tsjechië, ook in België en in Nederland. Maar, ja, op zich is het dus heel moeilijk om dan al die lokale regels te kennen. Sommigen deed ze zelfs gewoon via mail en dan moest ze gewoon doorsturen, die verdient zoveel, die heeft vakantie gehad enzo, om eigenlijk de impact op de payroll te gaan regelen. En dan, ja, dus dat was het ene, het fenomeen, dat mensen eigenlijk dan de sociale regels lokaal moeten kennen en er moeten we voor opzoeken. En langs de andere kant, ja, kwam ik dus in contact met Tim Mahy, Tim Mahy van Info Support, dus dat is iemand die ik al heel lang ken en een goeie relatie mee heb. En wij spreken elke drie, vier maanden nog eens af, sinds ik in mijn start-up zit. En dus die triggerde mij eigenlijk wel van, ja, zeg, en AI, en heb je daar al mee bezig geweest? Ik zeg, ja, AI op zich, ja, ik ben IT'er, dus het interesseert me sowieso wel en ik ben er wel mee bezig, maar nu ook niet helemaal in de diepte. Het komt er vooral op neer dat ik de businessmensen op mijn voeten op de grond moet zetten over wat AI kan zijn, want ze denken dat het alles zal overnemen en alles zal kunnen, terwijl het op zich een algoritme is. En dus hij zei, ja, maar ja, kan je dat niet inzetten voor bijvoorbeeld die kennisopbouw te gaan doen bij jullie klanten? En zo zijn we dan beginnen nadenken en hebben we dus twee POCs gedefinieerd, die we dan samen hebben uitgevoerd ook. En de eerste POC ging er eigenlijk over dat de klanten hun documenten, dus bijvoorbeeld lokale policies, dus als je terugdenkt aan die lokale wetgeving, ja, je hebt een car policy, maar ja, die is wel wat verschillend in al die verschillende landen. En je hebt de vakantieregelingen en een hoop van die dingen waar je typisch policy documenten voor hebt. Ja, als je in één land zit, dan heb je misschien al zeven, acht policies voor een medewerker. Je kan je voorstellen dat dat er heel veel worden als je dus in verschillende landen zit. En om als HR dan nog te gaan weten, ja, die medewerker zit in dat land, dus die heeft die policies, wouden we een test doen waarbij dat we dus eigenlijk policy documenten opladen in AI en dat je dan aan AI kon vragen, ik heb een ongeluk met mijn wagen, wat moet ik doen? Of wie moet ik contacteren? Of wie mag er met mijn bedrijfswagen rijden? Of wat is onze bonusplan? Hoe werkt dat? Bijvoorbeeld van die zaken. En dus dat hebben we gedaan. We hebben op zich wel maar voor één land getest. We hebben onze eigen policy documenten opgeladen als test en dan konden we dus vragen stellen aan de AI. En dat hebben we dan effectief ook gedaan en dat hebben we dan in de PoC-fase afgewerkt. Dus dat werkte eigenlijk wel goed. Ja. En dus dat was de eerste PoC en de tweede PoC ging dan, dus dit was dan eigenlijk interne kennis die moest opgebouwd worden. Het andere is dan de externe kennis over de sociale wetgeving lokaal. En daar had ik dan terug met Tim een babbel over. Ik zei van ja maar ja, zo'n search engines en die zoeken maar en je bent niet zeker dat het helemaal juist is. En van waar komt die data dan? Dat is op zich wel belangrijk voor een payrollpersoon waarbij dat het over juridische data gaat. Dus toen zei hij, en dat wist ik dus nog niet, ja maar je kan helemaal scopen. Je kan die search gaan scopen met een Bing search. Kan je dan gaan aangeven over welke sites hij mag gaan zoeken. En op die manier zijn we daar dan dieper op ingegaan. Dat was onze PoC-2, waar we dan gezegd hebben van kijk je kiest eerst een land, een scope dus, en binnen die scope gaan wij websites opgeven waarbinnen de Bing search dan mag gaan zoeken. Waarbij je een vraag kan stellen in je eigen taal. Dus je terug die Brusselse dame die Frans-talig op zich is, die kan dus een vraag stellen in het Frans en wij gaan dan bij wijze van spreken als het dan over een Spaanse wetgeving gaat. Dan duidt ze eerst aan ik wil de Spaanse scope kiezen omdat het over een Spaanse vraag gaat. En dan kan ze bijvoorbeeld zeggen, ik zeg maar iets, ik zit met een ontslag in Spanje. Wat zijn de regels in Spanje om aan een ontslag, wat moet ik dan allemaal doen bijvoorbeeld? En die wetgeving? En die wetgeving staat op de Spaanse sites uiteraard van de overheid en van ja werk en welke sites heb je er allemaal. Dus sociaal-juridische sites en je hebt een hele hoop van die van die government sites die officieel onderhouden wordt. Waar je dus van mag uitgaan dat ze juist zijn en daar ga ik het dan over. En daardoor hebben we die dus opgelijst. Een tiental zeg maar iets per land. En daar en dus als ze nu een vraag stelt in het Frans dan gaan wij dat vertalen in het Spaans. Want die sites zijn in het Spaans dat kan hij ja heel goed. En dan gaat hij dan dat zoeken met die Bing search op die lokale sites, al die sites. En dan gaat hij het antwoord mergen uit verschillende antwoorden die hij dan gevonden heeft. Om dan eigenlijk zo tot een algemeen antwoord te komen. Maar wat we daar dan belangrijk bij vonden was wel dat we daar een bronverwijzing terug bij kregen. Zodat ze eventueel kunnen verder gaan zoeken. Ook al is het dan in het Spaans, je kan met je browser wel wat vertalen en zo. En dan wat hij dus nu doet, dat staat effectief. Dus dit hebben we verder uitgewerkt. Die zit ook effectief in onze in onze applicatie nu. En dus je kan die vraag stellen en dan geeft hij daaronder het antwoord, het gemerged antwoord, van de... Dan geeft hij het gemerged antwoord van al die antwoorden die hij dan binnen gekregen heeft. En dan geeft hij daaronder een vijftal bronvermeldingen. Hij geeft die dan in die tekst tot de bronvermeldingen en dan van waar hij dat gehaald heeft. Ja. Mooi. We kregen al een melding binnen net alsof het bericht binnenkwam vanuit Spanje. Ja geweldig. Want uiteindelijk heb je een soort van... In plaats van dat je de kennisbank gebruikt die je vaak intern in je organisatie hebt. Zeggen jullie van, ja maar de overheden, de diverse overheden, die hebben de laatste informatie, hebben ze online staan. Die gebruik je. Dus je gebruikt eigenlijk externe informatie. Klopt. Om je eigen antwoorden te verrijken. Gebruik je daar dan ook nog die eerste documenten waar je het over had van... De interne policies. Ja. Die pok hebben we niet verder uitgewerkt. Dus we hebben die wel in onze demo-testomgeving hebben we die wel staan. Maar als ik dan met klanten erover begon te praten, omdat we vandaag, zoals ik zei, we hebben een aantal kleinere klanten van 80 medewerkers. En die zeiden dan van, goh witte, die informatie externe in al die landen, dat is vandaag voor mij de grootste prioriteit. Ja precies. Alhoewel, ik vertelde gewoon van, kijk we zijn die twee Proof-of-Concepts aan het doen, wat zou jou interesseren om klantfeedback te krijgen. En dan zeiden zij over die PoC 2, ja maar dat betrouw ik niet. Dat je eigenlijk een vraag externe stelt. Want ja, ik gebruik geen ChatGPT bijvoorbeeld om zo'n vragen te stellen over Sociaal-juridische kennis, omdat ik daar niet zeker van ben. En toen moest ik eigenlijk uitleggen, maar wacht, we doen dat juist anders. We gaan eigenlijk alleen echte bronnen, officiële bronnen raadplegen. En toen switchte dat plots. En was dat eigenlijk de grootste interesse van de twee. Dat is eigenlijk de reden dat we de tweede eerst nu hebben uitgewerkt. En dat die nu in productie staat. De eerste hebben we nog in de kast zitten. Ja precies. Totdat we, ja, waarschijnlijk de grotere bedrijven zullen daar meer interesse voor hebben vermoed ik. Ja en je bent dus twee PoCs ingedoken. Ja. Wat waren de zaken waar je tegen aanliep tijdens de PoC? Waar je zegt van, ah daar heb ik echt wel wat van geleerd en dat wil ik meegeven. Wel, ik moet zeggen dat ik daar toch wel van geschrokken ben van de complexiteit om dat te maken. Dus ook ik als gebruiker van ChatGPT lijkt dat allemaal super simpel. Je stelt een vraag en dan stel je een tweede vraag die gebaseerd is op jouw eerste vraag. Ja dat blijkt dus al geen evidentie te zijn. En blijkt dus echt typisch chatgpt gerelateerde, ja, kennis te zijn. Die ze dan daar hebben ingestoken. Als je dat zelf wil genereren, ja dat is gewoon, ja, dat kan allemaal. Maar dan zou de pok ontploffen qua complexiteit. En vandaar hebben wij bijvoorbeeld gekozen. We hebben een invoerveld, een tekstveld, waar de gebruiker zijn vraag kan instellen. En als hij dan een tweede vraag wil stellen, dan maken wij eigenlijk alles terug leeg. Waardoor hij genoodzaakt is om de volledige context terug mee te geven. Omdat we dat dus gewoon niet wilden implementeren in deze fase. Dat is bijvoorbeeld een… En heeft dat dan te maken met dat het model dingen gaat combineren die dan niet meer juist zijn, waardoor je geen exact antwoord krijgt? Ja, op de duur, ja, je krijgt op de duur de kans dat er eigenlijk dingen insluipen, context van voorgaande vragen, wat je eigenlijk niet meer wil. En we, vanwege het feit dat we het heel juist wilden creëren, of het antwoord moet heel juist zijn, hebben we nu gekozen voor, nee, geef maar terug de context op en we beginnen gewoon elke keer van nul af. Dan moet je de hele vraag maar terugstellen, ofzo, met de nodige context. Dus dat was toch iets waar ik niet wist, dat dat eigenlijk toch niet zo evident is om dat mee te pakken. Context. Wel slim, want op een gegeven moment loopt, want zelfs die context loopt ergens eruit, maar er is een bepaald venster aan wat meegenomen kan worden. Dus je bent ook niet zeker van wat allemaal exact aan wordt meegenomen. Dus dat is wel een slimme manier om dat op die manier zo aan te pakken. Ja, voor nu. We hadden ook een beperkt budget natuurlijk voor die POC, dus daarvoor moest ik dan wel die keuzes maken. Maar je hebt heel goed dan nagedacht over risico's, hoe los je dit op en hoe kan je dit veilig uitvoeren? Ja, maar dat is denk ik ook wat we constant moeten doen in een start-up. Als je twee jaar bezig bent, je hebt een heel klein budget en je moet een product of een platform maken, dan is voor mij key product management. En product management is slim kiezen. En dat moesten we gewoon hier ook doen. Maar ik moet ook zeggen dat daar dan weer wel Tim kwam elke week langs om te kijken hoe het dan met de POC stond en daar kon ik dan ook wel met hem over discussiëren om de complexiteit in te schatten, want dat was dan niet altijd makkelijk. Maar ik denk dat het eigenlijk misschien wel een zege is dat je niet zo'n groot budget hebt, want dan moet je ook deze keuzes maken. Ik denk door het maken van deze keuze dat je een veiliger, beter betrouwbaarheid weet te krijgen. Ja, ik denk het ook. Slim. En heb je ook afwegingen moeten maken? Want ik neem aan dat soms als je iets zoekt, dat je geen antwoord krijgt of dat misschien de betrouwbaarheid, de zoekresultaten te laag zijn ten opzichte van de vraag die je stelt. Moest je daar ook keuzes in maken van wat je daarmee doet? Goh, dat heb ik nog niet helemaal opgelost. Dat doet hij soms. Hij zegt soms ik heb geen antwoord. En dan we zijn ook in het begin begonnen, omdat we coveren nu met dat ding de 30 Europese landen. Op zich kan het platform globaal, maar daar was niet aan te beginnen. Dus we hebben gewoon de 30 landjes toegevoegd en dan moesten we per in Bing search kan je dan per land de sites aanduiden waarop je mag zoeken. Maar dat is niet zo evident om die sites te vinden. Want ja, in Tsjechië of in ik weet niet waar, begin maar hoe dat die sites allemaal heten. Dus op zich hebben we daar twee manieren voor. Dus op zich vragen we aan onze lokale partners. We hebben in elk land een lokale partner. Van welke sites gebruiken jullie eigenlijk? Maar die antwoorden komen toch niet zo vlot. Die mensen zijn ook heel druk bezig en dus dat is niet zo evident. Dus gebruik ik daar dan weer wel ChatGPT voor. Dus ik zeg dan ik ben een payroll tax consultant en ik zoek een betrouwbare site met accurate informatie. Geef mij voor Tsjechië de vijf belangrijkste sites. En dan geeft hij eigenlijk wel ja typisch de government sites en en sociaal-juridische en misschien wel van een zeg maar een vakbond of zo. Een hele grote vakbond die kan er dan ook tussen zitten. En dan dat ik zo aan acht of tien sites kom die ik dan per land kan toekennen. En natuurlijk als het als de lokale partij nog bijkomende sites geeft dan voegen we die ook nog toe. Waardoor dat we nu toch wel al wat meer context hebben en wat meer kans hebben dat het goed komt. Maar ja dat die soms het niet weet ja dat is wel zo. Als je kijkt naar tien sites of alle sites in heel de wereld. Ja de kans dat je dan is een antwoord die is er natuurlijk wel. Wat ook bijvoorbeeld is is als je zoekt hoeveel vakantiedagen heeft een werknemer in Spanje of hoeveel vakantiedagen heeft een medewerker in Spanje. Ja kan gewoon het een kan gewoon zijn dat die het niet vindt omdat die het woord medewerker om een of andere reden niet goed vertaald krijgt of zo. En dat dat dan juist zo niet benoemd wordt op die lokale sites. Dus er zit zo nog wel een kantje aan dat we nog niet helemaal opgelost hebben. Nee want daar raak je inderdaad wel wat. Dat is wel een hele interessante denk ik ook. Want dat is een heel genuanceerd verschil. Dus die taalmodellen die kunnen heel goed als je een medewerker, werknemer. Want dan weet die zeg maar die woorden liggen zo dicht bij elkaar. Daar kan ik wat mee. Maar in de zoektechnologie heb je dat een heel stuk minder. Daar proberen ze dat ook wel een beetje. Ja maar is echt wel minder. Om daar onderscheid in te maken van je gebruikt search om iets te zoeken. Ja je hebt het taalmodel om het uiteindelijk als antwoord weer terug te vertalen. Ja ja ja ja ja en dan loop je tegen dat soort synoniemen. Dat zullen nog oplossingen misschien zijn. Als we hebben stellen een vraag in de lokale taal. Die wordt vertaald of de taal van de medewerker die wordt dan vertaald naar de lokale taal van de sites. Ja en daar zouden we kunnen bij wijze van spreken een aantal pogingen nog doen. We doen nu één poging. Je zou kunnen kiezen om om dan te zeggen ja herformuleer je vraag en probeer het nog eens. En zo zou je maar dat is dan al wat advanced. Daar zijn we nog niet. Hoe was het voor de gebruiker om met het systeem in aanraak te komen? Want daarvoor moest hij waarschijnlijk alles zelf op zoeken. En hoe bevalt dat? Ja wel dit heb ik nu. Het is echt nieuw. Dus ik heb nog niet heel veel feedback. Op zich hebben we, zijn we maar in eind van het jaar begonnen. Dus december en november hebben we de nog beginnen beslissen wat we gaan doen. We hebben dan in december de twee PoCs gemaakt. December en januari. Om dan eigenlijk te beslissen dat we met PoC 2 gingen doorgaan. Dus op zich ik denk dat het nog maar een maand anderhalf maand of zo effectief in de toepassing zit. En dan is het ook nog zo dat niet elke gebruiker dat heel intensief aan het gebruiken is. Dus ik heb nog niet zo heel veel feedback van dus daar moeten we nog echt wel stapjes zetten om met klanten te beginnen praten. Wat is nu? Dus nee daar zijn we nog niet. Ja ik denk wel alle hele mooie en ook een hele mooie voorloper. Er zijn heel veel bedrijven die hierover spreken dit zouden willen. Jullie hebben dit daadwerkelijk in productie. Dus dat is al sowieso waanzinnig. Ja dat wilde we ja. Het was op zich zoals ik zei een klein ding. Als je hoort op vier maanden tijd met met één developer van Info Support en eentje van mij. Ja viel het dan eigenlijk wel mee. Het was dan ook niet eens vol tijd. Er kwam maar een dagje per week langs. Dan valt dat eigenlijk wel mee qua budget om dat te doen. En dan wouden we wel ook weer als start-up kunnen zeggen kijk we hebben zoiets. Het is dan wel leuk om je dan wat te differentiëren van de grotere bedrijven. Heb je al een beetje inzicht in de operationele kosten hiervan? Want je weet nu niet hoeveel vragen er gesteld gaan worden en iedere vraag kost geld. Klopt. Dus je zei daarnet zijn er dingen die je geleerd hebt. Eén complexiteit. Twee dat kost toch wel wat geld. Dus de hele wereld denkt oh chatgpt is gratis. En ze maken iedereen verslaafd. Zal ik maar zeggen. Maar ja de bedrijven die gaan dit betalen. Dus ik denk dat wij, ik ben heel, dus wij zitten nu in de Microsoft founders hub. Dus wij hebben nog Azure credits. Waardoor ik gelukkig nog tot november credits heb om dit allemaal uit te testen. Oh zo die heb je van Microsoft gekregen. Ja dus de Microsoft founders hub is eigenlijk een manier om gedurende vier jaar, maar dat lukt niet. Want het eerste je krijgt duizend euro bij de start van je startup. En dan als je dan zegt ik ga product maken. Dan moet je er iets over vertellen. Dan krijg je vijfduizend dollar is het zeker. En dan als je dan, dat geldt ook maar twaalf maanden. Dus als je met die duizend zou toekomen wat niemand doet. Dan zou je in totaal vier jaar door kunnen. Want je hebt zo vier fases. En in fase drie krijg je 25.000 denk ik. En dan nu hebben we 150.000. Dus dat is eigenlijk wel veel. We hebben van belang zoveel niet nodig. Ik probeer ook heel erg budgetbewust onze Azure opzet te doen. Om dat in november niet te moeten downsizen. Dan doe je het alleen maar pijn. Dus ik probeer enkel te gebruiken wat we nodig hebben. En dus die Azure zit daar nu mee in. Maar ik denk dat we een component moesten activeren die wel 300 euro was denk ik. Als ik het me goed herinner. En dus ja dat. Per maand denk ik. Ja per maand uiteraard. Plus dan die tokens nog eens en zo. Dus ja het kost wel wat geld. En als je de vraag krijgt, kan je er geld voor vragen. En daar zijn we ook nog niet helemaal uit hoor. Hoe dat we daarmee gaan omgaan. Want het is een dure grap. En die POC 1 die zou nog veel meer gekost hebben. Dus dat is ook een beetje de reden waarom we, omdat we, één van de feedback van de klanten. Maar die eerste POC, als je al die documenten moet opladen. Dan heb je nog extra componenten die je helemaal gaat opkappen in al die. Ja en dan zijn het al de technische termen. En dan gaat hij dat eigenlijk helemaal opkappen in die, ja soort tokens bij wijze van spreken. Die dan opgeslagen worden in dat netwerk. Waar hij dan kan in gaan zoeken. En dan moet je eigenlijk per klant ja een pak data beginnen bijhouden. Wat dan ook weer een kost heeft. En dan search erop. En ja dus het is een lopende rekening. Ja. En net wat je zegt. Dat wordt gewoon heel vaak vergeten. Dat er allerlei operationele kosten aan zitten. Die ook best wel heel moeilijk te voorspellen zijn. Want je wil dat dat deze vragen nu veel makkelijker gesteld gaan worden. Dus het idee is denk ik ook dat er meer vragen. Toename van vragen. Maar toename van vragen betekent ook een toename. En vooral variabele kosten. Ja daar zit het in mijn naam inderdaad. Variabele kosten. Hoe ga je daar rekening mee houden? Ja. Dat is waar. Dus ja dat is iets waar we ook nog geen beeld over hebben. Dus dat zullen we nog moeten afwachten. Maar ja dat dus dat is ook het punt. Dus nu ook in startup fase wil ik het nu natuurlijk wat testen en zo. Ja het zou kunnen dat we als het succesvoller wordt. Dat we daar toch een betaalde versie van moeten gaan maken. En dan wij hebben onze onze prijs is altijd per persoon per maand. Dus omdat we in de p-roll zitten. En ik zeg maar je hebt 200 of 400 of 1000 medewerkers in je bedrijf. Dan rekenen wij een kost per medewerker per maand. Omdat je natuurlijk dat management van die mensen doet om hun p-roll te gaan bepalen. En dan kunnen wij er bij wijze van speken gemakkelijk zeggen. We doen dat gemakkelijk. We zouden dan kunnen zeggen we doen er een halve euro bij per medewerker. En dan spreid je die kost waardoor er dan toch wel een stuk van betaald wordt. Omdat je kan verwachten hoe meer medewerkers hoe meer soorten vragen je krijgt. En dus je zou het daar wat kunnen relateren. Precies. Ja dat is nog dat is ook wat sales. Ja en dan hebben jullie ook nog een keuze gemaakt in welk model je eronder hebt. Ik neem aan je zit in Microsoft technologie geef je aan. Dus het betekent dat je de Azure OpenAI services hebt. En dan heb je keuzes in in ieder geval GPT 3.5, 4, Mistral is er nu bij gekomen. Die hebben allemaal een verschillende pricing operationeel. Dus 3.5 is heel veel goedkoper dan 4. Hebben jullie daar nog een keuze in gemaakt? Ja omdat we nu enkel de vertaling nog maar gebruiken. Die hielden eigenlijk wel mee en hebben niet te hoog moeten gaan. Omdat we dan die Bing search gebruiken. Die doet eigenlijk het werk om te gaan zoeken. En dan gaan we dat wel terug mergen. Dus we moeten niet zo heel veel zoeken via chat. Maar ook daar bleek dan, wist ik ook niet, dat je ook wel inderdaad verschillende manieren hebt om die merge enzo. Je hebt open source verhalen en je hebt inderdaad het Microsoft ja de componenten in Azure dan wel eens waren. En daar hebben we nu nog wel gekozen voor een open source. Puur vanwege kost. Maar ik moet zeggen dat ook daar is een maand of twee geleden ik in de term niet meer. En dat hebben dan mijn twee developers geregeld. Maar daar heb je ook keuzes gemaakt om die operationele kosten eigenlijk zo laag mogelijk te maken. Ja. Want heel veel denken van ja maar we moeten GPT 4, het allernieuwste model. Wat ook meteen het allerduurste is. Er zit een factor in die is echt waanzinnig. Ja. Dat is ook zo. Ja. En wat dat bijvoorbeeld ook is. Hij was traag. Op een gegeven moment werd hij traag. Ja. Ja. En dus dan waren we aan het praten van ja maar als je dan ook weer hier als voorbeeld ChatGPT. Je stelt een vraag en dan begint die zo woordjes te zetten. Ja. Waardoor het precies niet zo lang duurt om een antwoord te krijgen. Maar als je dat dus wil dan heb je dus weer een extra complexiteit. Dus bij ons gaat die nu heel hard rekenen en dan komt hij met een antwoord. Maar dat kan dus vijf, zes, zeven seconden duren. En dan gaat die het antwoord in één keer geven. Dat was ook iets waar ik dacht ah ja, dat is iets wat je verwacht dat die dat doet. Maar toch weer niet evident is. Precies. Er zitten veel kantjes aan die als je dieper erop ingaat toch heel complex. Ja. En waar je als developer problemen over na moet denken. Maar ook qua kosten over na moet denken. Klopt. Want het is de beleving van langere doorlooptijd. Want waarschijnlijk het volledige antwoord is misschien wel even snel als dat ChatGPT mee toe. Misschien is dat wel sneller. Ja. Dus dat hebben ze heel slim gedaan qua interface. Ja. Zwaar. Om al woorden terug te geven. Ja. Gaandeweg. We hebben dat opgelost door dan een upgrade te doen van onze app service. Want ja, als we dan eentje hoger namen met meer CPU en meer memory. Dan ging hij wel gedeeld door drie of zo. Want we zaten eerst echt veel langer. En nu zitten we op een seconde of vijf, zes. Wat nog wel doenbaar is. We hebben er dan een spinnetje en zo en een spinnetje bij gestoken. Sava. Ja. En uiteindelijk, als je het gaat vertalen naar waarvoor je het nu toepast. Als je zelf handmatig moet gaan zoeken. Dan zou de tijd nog vele malen hoger liggen dan hiermee. Dus wat dat betreft zit er al een hele efficiënt slag in. Maar dat zijn wel de zaken waar je dan in terecht gaat komen. Om die optimalisatie te gaan doen. En kosten en performance af te gaan wegen. Ja. Dat zijn wel allemaal keuzes waar je in het begin niet over nadenkt. Nee. Wat we nu gewoon gewend zijn. Ik vraag het of ik zet het ergens aan en het is er. Ja. Maar dat is geen magie. Er komt zoveel achterkijken die. Ja. Dat is wat gewoon weggeschoven is. Dus ja. Inderdaad. Ik had onder wel eventjes de pricing opgezocht. Van OpenAI. Dus nu de GPT4 Turbo. Dat is het aller allernieuwste model. Als je daar de output tokens betaal je 30 euro per 1 miljoen tokens. 30 dollar. Sorry. 30 dollar per 1 miljoen tokens. Ja. En dat in vergelijking. En een token voor de luisteraar. Dat kunnen ook delen van woorden zijn. Dat kan ook gewoon de punt zijn. Achter een zin. Dat is ook gewoon één token. Ja. Dus per per miljoen 30 dollar. Kijk je naar 3.5. Dan hebben we het over 1 dollar 50 per 1 miljoen tokens. Ja. Dus daar zit echt een enorme factor in. Van wat de keuze is. Wat je je onderzet aan operationele kosten. Ongelooflijk. Ja. Klopt. Dus als je op je kosten en je operationele kosten gaat letten. Doe hier alsjeblieft onderzoek naar. En ga niet altijd voor het nieuwste. Test het wel natuurlijk. Van wat is de kwaliteit en performance die je haalt. En is dat noodzakelijk ja of nee. Ja. Niet altijd maar het nieuwste van het nieuwste. Omdat. Dat is waar. Klopt. Ja. Wat zou zeg maar als je mag dromen. Over een jaar zeg maar. Waar zou dit staan. Ja. Het punt is dat ik nog wel een hoop andere ideeën heb erover. Die we zouden willen kunnen maken. En dan is het ook weer afwegen. Bijvoorbeeld vandaag terug in die perelwereld. Want elke perel engine heeft een lijst van perelcodes. En dat in België bijvoorbeeld. In ons perelsysteem in België. Of hetgeen dat wij gebruiken. Zijn er pak 500. Voor verschillende perelcodes. Dat gaat dan over een bonus. Dat gaat over een vakantiedag. Feestdag. Klein verlet. Ouderschapsverlof. Moederschapsverlof. Borstvoedingsverlof. Je hebt van alles. Maar evengoed. Werkloosheid en heel veel glooncodes. En dus omdat wij in ons systeem. In ons platform. Willen wij eigenlijk over al die landen heen. Appelen met appelen vergelijken. En de invoer heel eenvoudig gaan doen. Waardoor wij al die codes mappen op een set van onze eigen groepen. Subgroepen. En een soort van codelijst. Waarvoor het voor de gebruiker transparant is. Ik geef ik een loon in voor iemand van in Tsjechië terug. Of in Spanje. Dan kies ik eigenlijk uit de lijst. En die lijst wordt dan super beperkt. We gebruiken achterliggende reële looncode weliswaar. Maar voor de gebruiker is het heel gemakkelijk om die te vinden. Maar dat verrijst natuurlijk dat je bij de opstart die looncodes mapt op onze lijst. En dus dat is op zich wel een werkje. En ofwel doet de lokale HR dienst dat. Maar we merken dat dat toch geen evident werkje is. En dus meestal moeten wij dat zelf doen. Bij onze operations name. En dus zei een van mijn co-founders. Goh Bart. Kan AI dat niet oplossen? En dus daar ben ik nu de voorbije weken maar weliswaar tussendoor mee bezig geweest. Om te kijken in hoeverre kan hij eigenlijk die looncodelijst mappen op onze looncodelijst. Pure basis van de omschrijving. Die soms nogal cryptisch is. Maar daar ben ik redelijk ver in gelukt eigenlijk. Want ik had. Oké. Ik moet wel. We zijn op het punt dat ik eigenlijk elke looncode wel een categorie moet geven. Is het een betaalde code of een onbetaalde code? Of is het een bonus of is het een parameter? Want je hebt ook parameters. En als je die categorie bij wijze van spreken meegeeft. En dan moet die natuurlijk in een kleinere set gaan zoeken. Dat is dan het effect ervan. Maar dat maakt dat ik toch. Voor bijvoorbeeld de Nederlandse. Daar had ik 77 pdl-codes. En daar had hij er 72 van juist. Oh ja. Dus dat was al een goede vooruitgang. Om dat natuurlijk voor onze platform. Omdat we natuurlijk de iets kleinere bedrijven willen targetten. Is de opstartkost belangrijk. En als we die natuurlijk kunnen laten zakken door te zeggen. Kijk geef ons de looncodelijst. En wij gaan die voor preppen. Door er eigenlijk al eens met AI door te gaan. En dan een hele. Dan moet je eigenlijk nog maar wat corrigeren bij de foutjes die je dan gemaakt hebt. Maar je hebt al een hele goede preset. Dat is bijvoorbeeld iets waar we nu mee bezig zijn om te kijken. Kunnen we daar niks mee doen? Mooi. Maar het gaat ook. En dat is dan ook weer dan in de discussies met Tim. Dat zijn echt wel leuke discussies. Bijvoorbeeld een van de dingen die we daar nog hadden. Is mailtjes sturen. Is super evident. Maar we hebben een self-service. En een self-service. Daar heb je het feit van. Ik heb een vakantie aangevraagd gedaan. En mijn chef moet weten dat ik een vakantie aangevraagd gedaan heb. En dan moet die die goedkeuren. En dan krijgt de medewerker terug een mailtje. Ja het is goed gekeurd. Maar het kan ook zijn dat dat ietsje harder van op de hoogte moet gehouden worden. Of dat het een work from home is. Die dus een zelfgoedkeuring krijgt. Maar dat de medewerker. Dat de chef wel op de hoogte moet gebracht worden. En dus je hebt heel veel soorten mailtjes met heel veel variabelen in. En nu hebben we dus. Ja. Sendgrid gebruikt typisch. Met een hoop templates. Maar je zou ook kunnen zeggen. Kijk. Genereer een mailtje met deze parameters. Met die bestemmeling. In deze taal. En in zijn lokale taal nog eens. Van die medewerker. En genereer eigenlijk dan de tekst voor mij. Ja. Dat zou eigenlijk. Ja. Dan heb je eigenlijk alle varianten in één keer meegenomen. Ja. Dat is een superleuk ding. Alleen is daar direct bij mij de kost. Ja. Want dan ga je wel wat tokens genereren. En puur voor een mailtje. Dus. We gaan het nog even houden bij de templates denk ik. Maar dat zijn. Er zijn zeker een hoop ideeën die wel nog spelen. Die het interessant zou kunnen maken. Ja. Nou wat daar misschien nog wel interessant is. Want ik denk dat het een hele mooie case is. Juist omdat die taalmodellen zo goed met taal om kunnen gaan. Ja. En de verschillende talen. Maar er is ook best al wat onderzoek naar. Wat ze dan noemen. Caching. Dat is iets wat qua betekenis op elkaar lijkt. Dus dan kan het zeg maar net iets anders ingegeven zijn. Maar is uiteindelijk het uiteindelijke mailtje. Zou eigenlijk hetzelfde kunnen zijn als wat al eens een keer eerder is gestuurd. En dan hoef je dus niet naar je taalmodel. Heb je dus niet die operational kost. Oké. Dat wist ik niet. Ja. En dan lijken dingen dus semantisch op elkaar. En als ze dan zo erg semantisch op elkaar lijken. Kun je dus eigenlijk wat je al had opgeslagen. Herbruiken. Kan je gewoon herbruiken. Ah ja. Cool. Oké. Dus daar. Dat zou toch misschien eens bekijken. Toch? Ja. Ja. Absoluut. Ja. En die mailtjes worden waarschijnlijk nu ook al gestuurd. Dus wat je ook vaak nu ziet is dat de mailtjes die allemaal verstuurd worden. Dat daar eigenlijk gekeken wordt naar wat voor categorisering kan je op die mailtjes al loslaten. Om eigenlijk te komen tot inzichten op wat er nu al verstuurd wordt. En of daar al patronen in te herkennen zijn. Maar dan ga je wel grasduinen in de data. En daar zit tijd en kosten in. En dan kijken wat je kan organiseren. Ik denk dat die semantische gelijkheid. Heel veel. Dat je daar best wel heel veel in zou kunnen halen. Bart, we hebben ook een virtuele co-host. En zij wil ook eigenlijk altijd een vraag stellen. Oké. Aisha. Aisha. Goed je hier te zien. Ik ben Aisha. De AI-assistent van deze show. Zou je het goed vinden als ik je een vraag stel? Uiteraard. Hoe kunnen we AI trainen met data die representatief is voor de hele bevolking? Hoe kunnen we AI trainen? Hoe kunnen we AI trainen met de data die representatief is voor de hele bevolking? Oké. Oei. Dat is geen gemakkelijke vraag. Ik denk dat we, ja, als ik kijk naar HR, dan is dat op zich wel een gevaarlijk iets. Wat dat, als je dan zegt 'trainen met data', ja, iets waar natuurlijk de HR-mensen en wijzelf grote bang van hebben, is het feit dat het over superpersoonlijke data gaat. En dus de eerste vraag die ik ook wel krijg is, en dan niet met het zoeken van die juridische info, want dat is sowieso extern, maar bijvoorbeeld die eerste vraag is, ja, waar wordt dat dan eigenlijk allemaal opgeslagen? En waar gaat die data naartoe? En hoe werkt dat dan met die search engine? Dus je hebt eigenlijk nog wel wat uitleg, educatie nodig bij de klanten eventueel, als je zoiets zou gaan doen. En dus ik denk dat er zeker interessante trends te trekken zijn, zeker over die HR-data en over al die afwezigheden. En zeker vandaag in het wellbeing-verhaal hebben we superveel data vanuit Perel en alles wat eraan gerelateerd is. En evengoed ook loonkosten en equal pay en ESG en al die zaken, injuries, we houden allemaal bij. Dus er zijn zeker trends in te trekken, maar ik weet niet dat, als ik vandaag zou zeggen, ja, die data gaan we ook gebruiken om trends te trekken voor de ganse bevolking. Dat weet ik niet zo goed. Dus het zou zeker kunnen, maar dan is de databeveiliging key, volgens mij. Als dat een beetje een antwoord is op haar vraag, want het was echt een moeilijke vraag. Zullen we eens even kijken? Hartelijk dank voor je grondige en verhelderende uitleg. Kijk eens aan. Ja, heel interessant. En vooral, weet je, zo'n mooi inzicht over wat je in de praktijk eigenlijk, dat je dit hebt lopen. Als je nou terug zou kijken, zou er iets zijn, wat je, want je hebt nu veel meer kennis, wat je anders zou doen met de kennis die je nu hebt? Stel dat je dit traject over zou moeten doen, bijvoorbeeld die POC 2, dus wat je nu in productie hebt. Zou je anders beginnen? Ik denk het niet. Nee, ik heb niet het gevoel dat we daar ergens heel veel tijd zijn verloren of dat we ergens onbedoelde kosten hebben gemaakt of zo. In mijn ogen is het heel efficiënt verlopen. Ik heb ook wel direct afgesproken dat we dat dus niet al zien van "we gaan nu twee weken vol tijds daaraan programmeren", omdat ik ondertussen ook wel weet dat inzichten groeien door tijd. En soms moet je gewoon even iets doen en dan het een week laten liggen om erover na te denken en dan eigenlijk het volgende stapje te zetten. En het feit dat we dus die track, zoals ik zei, een halve dag tot een dag in de week deden, elke week, dus elke week dezelfde dag was dat, hebben we er twee, drie maanden over gedaan. Dus een dag of acht, twaalf, daartussen zal het ergens liggen. Als je die achter elkaar zou doen, dan zou je niet het resultaat halen, denk ik, dat we nu hebben gedaan. Puur omdat we elke keer die reflectie konden maken. Ja, tijd om na te denken. Dus ik heb niet het gevoel dat we daar enige tijd verloren zijn eigenlijk. Misschien eigenlijk wel gewonnen door het rustig aan te doen. Ik denk het wel. Dat is een mooie. Dat is een mooie inderdaad. Want vaak werken we ook heel snel inderdaad. Ja, ja dat is niet altijd. Ik zie dat nu ook weer, als ik teruggrijp naar het product management. Ik heb toch het meest, ik kom van vroeger had ik een product management team, nu moet ik zelf de schermpjes terug tekenen. Dat is super leuk, maar ik zie toch dat ik zelf een drie tot vier iteraties nodig heb om een scherm te tekenen. Dus ik teken een scherm, ik probeer dat helemaal conceptueel uit te denken. De logica moet er ook in zitten. Hoe past het in het groter geheel? Ik teken dat en dan laat ik dat eigenlijk liggen. Ik moet echt twee maanden voor zijn op de developers om dat goed te krijgen, want ik moet dat dan twee, drie weken laten liggen. Dan heel de logica terug afchecken en dan kom ik gegarandeerd dingen tegen die niet kloppen of die niet dat ik dacht, olle, wat heb ik dan nu getekend? Dat klopt toch niet meer? En dan heb ik toch echt wel een drietal iteraties nodig. En je ziet dat tijd op dat moment belangrijk is. Ik zou niet kunnen zeggen, ik teken dat en begin er morgen maar aan. Dat zou niet goed zijn. Het leuke is, we hebben aflevering hiervoor met Willem Meints, architect op het gebied van AI en gesproken large language models over de OWASP top 10 voor large language models. En dat gaat over beveiliging van dit soort modellen. En het begin, de inleiding van die OWASP top 10 voor large language models, die zegt van we hebben een checklist gemaakt voor degene die overhaast AI in productie wil brengen. En daarom is jouw verhaal juist wel mooi. Die zegt van, ja even een stapje terug, rustig aan. Maar met die rust ben je eigenlijk eerder op je eindbestemming. Eigenlijk de haas en de schildpad. De haas en de schildpad is uiteindelijk eerder aan de finish door goed na te denken over welke stappen je neemt. Ja mooi. Wat ik mooi vind om te horen is dat je eigenlijk bij de problematiek AI gewoon meeneemt in, is de potentiële oplossing. Waar ik nieuwsgierig aan ben is, wat zijn voor jou de criteria van, ga ik het met AI oplossen? Ga ik het traditioneel met software oplossen? Heb je daar een? Wanneer zou ik AI kiezen? Ja soms is het gewoon super moeilijk om het algoritme te bedenken of te schrijven in conventionele programmeertalen, denk ik. En ik denk dat zoals dat mailtje of zoals het zoeken naar de juiste, die perelcode mapping bijvoorbeeld, ja begin maar eens aan een label te matchen met een ander label, met alle opties die daarbij zijn. Daar kan je gewoon niet van winnen, dat moment. En ik denk dat in zo'n gevallen, dat je inderdaad AI moet bekijken, weliswaar de kost ernaast leggen, maar ja dan denk ik dat het interessant is. Ik denk dat het in heel veel gevallen ook nog gewoon beter is om het gewoon te programmeren. Dus maar ja, dus ik denk dat het een beetje in die trend is. Hoe complex is om het te maken zelf en en wat is de tegenhanger en wat is de kost in AI? En als startup moet je kiezen wat denk ik goed is. We hebben het al over gehad, over operationele kosten. Hoe zorg je dat je bij blijft op wat de ontwikkelingen zijn met AI en wat zou je andere mensen aan willen raden die ook bij willen blijven? Want ja, je wil top of the game zijn in je startup, maar je hebt ook genoeg andere aandachtsgebieden. Hoe blijf je bij? Ja, er zijn altijd meer features verwacht dan tijd. Nu ja, hoe blijf je bij? Wel, ik blijf bij door veel externe mensen te kennen, denk ik. En dat komt natuurlijk omdat ik al heel lang in de IT management zit. Zelf ooit lang geleden developer was geweest, dus ik bedoel ik begrijp die concepten wel heel goed, denk ik. Ik zou niet meer zelf kunnen zoiets maken, maar ik begrijp wel waarover het gaat. We kunnen aan een bord gaan staan en beginnen tekenen. En dan natuurlijk, ja, al tien jaar CTO, dus ik heb een gigantisch netwerk dat ik probeer wel goed in ere te houden. En door dus zoals met een aantal mensen elke drie, vier maand is een lunchje te doen of is af te spreken of is ja, de vraag is echt, heb je iets gemaakt? Wat denk je ervan? Ik denk dat dat wel helpt om zo aan nieuwe ideeën en aan nieuwe trends te komen. Want iemand zegt iets wat je gewoon triggert om er beginnen over na te denken. En als je dan open staat voor feedback en kritiek, dan dat is het leraarste eigenlijk. Mooi, mooi. Ik denk dat we heel wat inzichten van je hebben gekregen. Super bedankt. Ik heb in ieder geval, weet je, de haas en de schildpad. Dat is een mooie om mee te eindigen. Maar vooral eigenlijk van de stappen die jullie hebben gezet om dit daadwerkelijk in productie te krijgen. Overig goed over nagedacht. Super bedankt dat je dit met ons wilde delen. Ja, graag gedaan. Leuk dat je er weer luisterde naar een aflevering van AIToday Live. Bart, nogmaals bedankt voor alles wat je ons verteld hebt. Wil je meer weten, meer horen over het onderwerp AI in het algemeen? Vergeet je dan niet te abonneren via je favoriete podcast app. Druk op het knopje volg en dan krijg je vanzelf een seintje bij de volgende aflevering. Dank je wel. Tot de volgende keer. [Muziek] [Muziek]