Bezorgprobleem bij Bol opgelost zonder AI: waarom de simpelste oplossing vaak wint

Mark Schep werkt als data en AI-engineer bij Bol & Windparts, vanuit zijn eigen bedrijf Mark Your Data. Bij Bol losten hij bezorgproblemen op, zonder ingewikkelde modellen. Bij Windparts bouwden hij juist het data-fundament helemaal opnieuw op, met een schrijnende conclusie. Soms heb je helemaal geen dure data-engineer nodig. Waarom kiest Mark bijna altijd voor de simpelste oplossing? Ook als iedereen om hem heen roept om AI. Joop: Leuk dat je luistert naar een nieuwe aflevering van AIToday Live. Joop: Mijn naam is Joop Snijder, Head of AI's woord. Niels: Mijn naam is Niels Naglé, bij Info Support Data & AI, denk. Joop: In de studio hebben we de gast, Mark Schep. Joop: En we zijn ontzettend blij dat je hier bij ons bent. Joop: Maar ik zou je jezelf eerst even kort willen voorstellen. Mark: Ik ben Mark Schep. Mark: Ik werk als data slash AI-engineer voor verschillende bedrijven, waaronder dus Windparts en Bol, waar we het over gaan hebben vandaag. Mark: Vanuit mijn eigen bedrijf, Mark Your Data. Joop: Zullen we eens bij Bol beginnen? Joop: Want dat is denk ik voor de meeste mensen het meest aansprekend. Joop: Wat doe je daar? Joop: Of wat heb je gedaan? Joop: Ik weet niet, zit je nog steeds bij Bol. Mark: Ja, ik zit nog steeds bij Bol. Mark: Wat heb je gedaan, dat is eigenlijk een leukere vraag misschien nog dan wat doe je nu. Mark: Niet omdat wat ik nu doe niet leuk is, maar omdat een hele historie daarvoor eigenlijk nog zit. Mark: Toen ik voor mezelf begon ben ik eigenlijk begonnen ook bij Bol. Mark: Dat was mijn eerste opdrachtgever. Mark: En dan ben ik toen met een programma van Voyager noemen we dat, Team Voyager. Mark: Ik begon als een soort van rondreis in data science team, waar we elke drie maanden naar een andere afdeling gingen. Mark: Het was ontzettend leuk. Mark: Want er was altijd een vraag. Mark: We zien wel de potentie van data en je wisten niet zo goed waar ze moesten beginnen. Mark: Dan gingen we eigenlijk altijd in een maandje gingen we kijken van wat is er allemaal. Mark: Nog een maandje kijken: waar kunnen we nog wat dieper op ingaan. Mark: En uiteindelijk zetten we dan een experiment neer om te meten of het werkt eigenlijk. Joop: Laten we eens beginnen bij. Joop: Laten we beginnen bij van wat is er allemaal? Joop: Wat bedoel je daarmee? Mark: Waar kijk jij dan naar dat hangt dus af van het domein. Mark: Dus één keer is het marketing aan de logistiek, maar meestal is gewoon een heel simpel bedrijfsprobleem. Mark: Denk aan de klantenservice. Mark: Er komen heel veel chats en telefoontjes binnen bij een bedrijf als Bol. Mark: Maar er zijn ook een heleboel vragen die binnenkomen waar ze eigenlijk niks mee kunnen. Mark: En dan is het een vraag van kunnen wij dat voorkomen. Mark: En dan is de vraag, we denken dat data daarmee kan helpen, maar we weten niet zo goed hoe. Mark: Dan ga je dus allerlei analyses doen. Joop: En wat voor type vragen moet ik dan denken? Joop: Mag je daar iets over zeggen, of niet? Mark: Wat voor vraag? Mark: Bijvoorbeeld, een hele concrete is. Mark: Je krijgt een berichtje van Bol: er ligt een pakketje, is bezorgd. Mark: Maar die is er niet bezorgd. Joop: Denk, oh nee, wat is er aan de hand. Mark: En dan ga je dus ga je met de klantenservice bellen, want je gaat bij je buren aanbellen van hebben jullie wat ontvangen. Mark: En dan is het antwoord eigenlijk van de klantenservice, je moet nog even wachten. Mark: Want het kan best zijn dat het brievenbus is. Mark: Dan zit een verwachte levertijd aan en dat verloopt dan. Mark: Dat gebeurt best wel vaak. Mark: De zorg is best wel terecht. Joop: Ik heb deze ook gewoon een keer bij de hand gehad. Mark: Heel veel mensen herkennen dit verhaal ook. Mark: En we hebben dus heel veel analyse gedaan. Mark: Dan kwamen we bijvoorbeeld achter dat er ergens een timestamp is die verloopt en dat je daardoor dan bericht je krijgt. Mark: En dan is de oplossing vrij simpel. Mark: Daar gaat natuurlijk wel veel onderzoekswerk naar voor. Mark: Dus je hoeft ook niet altijd heel ingewikkelde AI te gebruiken om een probleem op te lossen. Mark: Maar dat is heel erg leuk aan dat soort werk. Mark: Dus ik ben ooit begonnen bij Bol met dit soort opdrachten, heb ik al acht gedaan, op allerlei verschillende facetten. Niels: Heed dat alleen, was dat een team? Mark: Nee, met een heel klein team met twee man met Bas van Berkel deed ik dat, interne data scientist. Mark: En ik was dan van extern, zo hebben we dat dus twee jaar lang samen gedaan. Mark: En nadat ik wegging, heeft ook iemand anders dat weer overgenomen, Berend Umas, en die staar nog twee jaar mee doorgegaan. Mark: En wat heel erg leuk is, zij zijn uiteindelijk weer op een project gestuurd, wat zij hebben aangetoond dat iets werkte en daar ben ik dan weer op ingevlogen om dat op te schalen? Mark: Dus dat maakt het verhaal eigenlijk eigenlijk rond. Joop: Je zegt van er was een vraag. Joop: Dan kijk je naar de data. Joop: En stap twee was. Mark: Meestal kijk je heel breed op het begin, want het kan natuurlijk overal vandaan komen, je begint met een brede vraag. Mark: We willen vragen die eigenlijk voorkomen had kunnen worden, zeg maar willen we verminderen. Mark: Dat is de vraag: wat is de definitie daarvan? Niels: En een vraag over die vraag is hadden zij die vraag al liggen bij dat domein waar je dan naartoe ging, of hebben jullie met dat domein die vragen eerst geïnventariseerd en gekeken waar zit de beste kans? Niels: Of lag hij er al en zou jullie daarmee aan de slag? Mark: Er ligt altijd wel een richting. Mark: Maar je maakt dat wel met een groep, maak je dat steeds concreter. Mark: Dus in de praktijk altijd deden. Mark: De tijd is kort. Mark: Drie maanden moet je eigenlijk al iets leveren. Mark: Je weet nog niks van het domein. Mark: Je komt net kijken. Mark: Dus wat wij deden is elke week of elke twee weken een sessie met een groep eromheen, om ook het aantal meetings omheen, zo minimaal mogelijk te houden. Mark: En dan begonnen we gewoon met een hele brede soort van hypotheses en onderzoeksvragen. Mark: En dan gingen we daar snelle analyses op doen. Mark: Delen met iedereen wat de resultaten waren, een beetje bijsturen. Niels: Snelle analyse. Niels: Wat moet ik dan aan denken bij zo'n snelle analyse? Mark: Ja, je weet nog niks. Mark: Dus wat ga je doen? Mark: Je gaat kijken welke data ze aanwezig. Mark: Dus dat is de eerste, wat is er eigenlijk? Mark: En van daaruit ga je dan even in gesprek van oké, dit is er wat voor informatie zit erin. Mark: En ga je bijvoorbeeld zijn simpele statistieken maken. Mark: Hoe vaak komt A, B of C voor om een beetje te duiden van, nou, waar als er ergens een knop zit waar we moeten drukken, dan moeten we waarschijnlijk kun je waarschijnlijk al 80% zeggen, daar hoef ik in ieder geval niet naar te kijken. Mark: En in die 20% ga je dan weer de vervolgvragen op stellen. Mark: Oké, als dit er ongeveer aan de hand is. Mark: Ik zie hier wat voor vragen er binnenkomen, deze zijn wat vaker dan komen we wat vaker voor dan anderen. Mark: Dat is een deepdive bijvoorbeeld. Mark: Nou, welke zijn dan degene die voorkomen hadden kunnen worden. Mark: En waarom dan. Mark: En dat zijn natuurlijk ook de vragen die steeds minder data worden en steeds meer de mensen opzoeken. Mark: Je moet ook echt het domeinkennis hebben op dat moment. Mark: Wij hebben dat niet vanuit de data. Mark: Dus dan ga je in gesprek met de mensen die daar van de klant service bijvoorbeeld om wat meer kleur te geven. Niels: Hoe vonden die dat als je met z'n tafel zat? Niels: Want er is best wel heel erg veel vragen die jij weer gaat stellen, zeg maar. Mark: Over het algemeen was de energie echt wel goed. Mark: Je wordt zelf verrast, maar de andere kant wordt soms ook verrast. Mark: Dat maakt het leuk. Mark: Dat je ook de druk was best wel hoog, dus je moet veel dingen doen en je moet ook nog een soort van op een beheersbare manier presenteren dat iedereen het snapt. Mark: Maar van daaruit was het altijd wel een heel heel leuk samenwerking tussen allerlei verschillende rollen. Joop: En waar in dit traject komt de ene keer wel en de andere keer niet AI naar voren. Mark: Ja, dat hangt natuurlijk heel erg af van het domein en het probleem. Mark: Persoonlijk kies ik altijd het liefst voor de makkelijkste oplossing. Mark: Dus waarom iets moeilijk oplossen als het makkelijk kan. Mark: Ja, lijkt me ook. Mark: Als het niet nodig is, kijk, in het geval van dat je erachter komt dat het ergens een timestamp is die verloopt en daar moet je iets op handelen. Mark: Dan hoef je geen AI te gebruiken, zeker niet. Mark: En sterker nog, het begon daar met, wij willen dat het blokje op de order detail pagina, waar jij kijkt van nou, dit is wat ik heb besteld. Mark: Er stond een blokje onder met frequently asked questions. Mark: En dat wilden ze eigenlijk helemaal personaliseren aan hetgeen wat bij jou past, om dat te doen op zo'n grote schaal is best wel ingewikkeld. Mark: Want je moet heel veel informatie beschikbaar hebben. Mark: Dus dat is een vrij complexe situatie, waarbij je dan zeggen, nou AI of een andere complex algoritme dat je achter moet maken. Joop: Het zou zelfs ook misschien zelfs wel een beetje duur kunnen zijn. Mark: Ja, dat wordt ook duur. Mark: Hoe complexer hoe ingewikkelder, hoe meer teams je nodig hebt, hoe ingewikkeld wordt, het wordt ook, hoe meer databronnen en noem maar op. Mark: En de implementatie is hier gewoon. Mark: We pakken één datacomponentje, namelijk dat het net verlopen is. Mark: En dan zetten we bovenaan die frequently asked questions. Mark: Wat moet ik doen? Mark: Als mijn pakketje, als er staat dat ik dat mijn pakketje bezorgt, maar dat is nog niet bezorgd. Mark: En als je daarop klikt, dan staat daar, wacht nog even twee dagen. Mark: Als het dan nog niet binnen is, dan moet je bellen. Mark: En anders komt het waarschijnlijk nog wel binnen. Niels: Wat was daar het resultaat dan van? Niels: Dat is gigantisch. Mark: Ik kan het natuurlijk niet zeggen, maar enorm veel scheelde echt heel veel. Mark: En het voelt als iets super triviaals, maar je moet het dus wel vinden en een praktische toepassing van vinden. Mark: En wat heel erg hielp, was omdat het korte projecten waren. Mark: Dus in drie maanden moest je eigenlijk al aangetoond hebben of iets werken of niet. Mark: Dat was in ieder geval waar we voor gingen. Mark: Omdat zo straks een timebox was, dan ga je ook niet zo'n ingewikkeld systeem neerzetten. Mark: Dan ga je gewoon kijken, wat is de simpelst mogelijke manier om dit op te lossen? Mark: Om te met en te kijken hoe we het dan kunnen meten dat het werkt. Joop: Dat dat dan ook je tip is voor luisteraars. Joop: Dat timeboxen je kan helpen. Mark: Ja, zeker weten, zeker weten. Mark: Want iedereen wil natuurlijk de next big thing. Mark: Maar ik vind het heel goed ook om groot te denken en te dromen van wat kan het allemaal doen. Mark: Maar ik denk dat het de beste tip die ik iedereen kan geven is om het om heel klein te beginnen. Joop: Heb je ook een concreet voorbeeld waar je uiteindelijk AI wel hebt moeten inzetten. Mark: Bijvoorbeeld nu waar we het project waar ik nu aan werk, daar gaat het over. Mark: Dit zal ook iedereen herkennen, in ieder geval in de e-commerce wereld. Mark: De zoekresultaten van Google bijvoorbeeld, daar staat nu heel vaak zo'n samenvattingsbalkje bij. Mark: Dat heeft best wel grote invloed op het verkeer, wat op een platform landt. Mark: Dus voor een e-commerce bedrijf, nou kwam je vaak daar dan bovenaan te staan. Mark: Nu ben je, nu sta je lager, dus er komt minder verkeer naar jou toe. Joop: Omdat je niet in dat samenvatting ding terecht komt. Joop: Gewoon omdat de resultaten ook naar beneden gedrukt. Niels: Je hebt minder ruimte. Mark: Er is gewoon minder ruimte. Mark: En tegelijkertijd claims Google steeds meer betaalde ruimte. Mark: Dus steeds moeilijker om daar tussen te komen. Mark: Dus wat je ziet dan, is dat er steeds meer betaald verkeer is en steeds minder. Mark: Er wordt steeds minder organisch verkeer vanuit die zoekresultaten, dat staat dan een beetje onder druk. Mark: En dan is de vraag: wat kun je daar tegen doen? Mark: Dan moet je content zo goed mogelijk zijn om toch bovenaan te komen te staan. Niels: Wat betekent dan content goed, waar moet ik dan denk ik een beschrijving? Mark: Dat kunnen de titels zijn, de beschrijvingen, het is vaak een samenspel van een heleboel factoren. Mark: Je kunt het echt niet op één ding toespitsen, zeg maar. Mark: Het zijn allerlei dingen die ervan invloed zijn. Mark: Maar laten we als voorbeeld een producttitel. Mark: In dit geval waar ik mee begon met de naam van het tabje van de pagina. Joop: Zelfs dat heeft ingewikkeld. Joop: Hoe kom je daar dan achter? Joop: Hoe meet je dat dat invloed heeft? Mark: Dat is dus niet makkelijk. Mark: Er zijn natuurlijk overal onderzoeken en mensen die er onderzoek naar doen en allerlei rapporten over geschreven. Mark: Dus daar kan je op baseren natuurlijk. Mark: Maar om aan te tonen of een verandering effect heeft, dat is veel moeilijker. Mark: En daarvoor een verandering in de checkout van een webwinkel, dan kun je dat heel makkelijk AB testen. Mark: Want dan zeg je nou, de helft of een deel krijgt dit te zien en een ander krijgt dat te zien. Mark: Maar dat werkt voor in het geval Search Engine Optimization, werkt dat niet. Mark: Want Google komt langs, die kijkt naar alles wat er op die pagina staat. Mark: En die bepaalt op basis daarvan. Mark: Nou, jij krijgt plek 8 of 7, of één als je hem al zal hebt, mazzel, daar heb je hard voor gewerkt. Mark: Die informatie, zeg maar die zou ik dat zeggen. Mark: Je hebt al die informatie nodig om in ieder geval om bovenaan te komen. Mark: En dan komt Google maar één keer langs om dat te kijken. Joop: Dus je kunt niet twee varianten zeggen van ik heb hier één variant en variant. Mark: En dan kies jij maar welke het beste werkt. Mark: Nee, zo werkt dat dus niet. Mark: Dus wat je dan moet doen, is dan moet je op zoek gaan naar groepen producten die dan op elkaar lijken qua karakteristieken qua het verkeer wat er overheen gaat. Mark: Dat je twee groepen krijgt die eigenlijk hetzelfde verkeer hebben voor en na een bepaald tijdstip. Mark: En dan moet je voor de helft moet je dan eigenlijk iets veranderen. Joop: En de helft is. Mark: En wat moet je dan veranderen? Mark: Ja, een stukje content bij wijze van spreken, de naam van een tabje of iets, iets op die website. Niels: En waar heb je dan AI van ingezet? Niels: Voor het vergelijkingszoeken van de vergelijkingen die je kan gebruiken voor je onderzoek of ook voor de teksten. Mark: Nou ja, in dit geval gaat het over bijvoorbeeld zo'n zo'n kopnaamje of zo. Mark: Als je dat op grote schaal wil doen, voor tien dingen kan je nog met de hand typen. Mark: Maar als je het duizend of miljoenen dingen worden, dan red je dat niet in de tijd. Mark: Dus daar kun je dan bijvoorbeeld AI voor. Joop: Maar AI voor de duidelijkheid. Joop: Want heel veel mensen vinden AI synoniem tegenwoordig met generatieve AI. Joop: Hebben we het hier over generatieve AI, hebben we het over machine learning, deep learning. Joop: Wat is de techniek die je gebruikt? Mark: Ja, alles eigenlijk, een combinatie van al die zaken, maar het genereren zelf, dat is eigenlijk de basis, je hebt bepaalde informatie die je erin moet stoppen om te zorgen dat het goed is. Mark: Dan heb je generatieve AI, zeg maar, om er dan een stukje tekst uit te krijgen wat aan jou aan jouw eisen voldoet. Mark: Maar je hebt ook nog gewoon klassieke machine learning er achteraan zitten. Mark: Want het genereren is makkelijk. Mark: Maar hoe weet jij nou dat het klopt en dat het goed is? Mark: En daar zit dan weer een hele stap achteraan om alles wat gemaakt is eerst op allerlei zaken te checken. Mark: En dat kan zijn, is het niet te lang. Mark: Maar dat kan ook zijn, zitten er geen woorden in die we niet willen gebruiken of ingewikkelde zaken. Joop: Maar dat is nog regelgebaseerd, toch? Joop: Want dan kan je gewoon dat ook. Mark: Bijvoorbeeld de taal. Mark: Je moet wel checken. Mark: Komt er Nederlands of Engels bij wijze van spreken uit. Mark: En niet dat het ineens een Frans antwoord is, of code bijvoorbeeld. Mark: Er zijn dan iets ingewikkelder stappen en daar gebruik je dan iets complexere dingen voor. Mark: Maar dat kan ook een heel klein en simpel model zijn dat je daarvoor gebruikt. Mark: Dat heel erg fit for purpose is. Mark: Want je hoort ook veel dingen over LLM als een judge, zeg maar, dat je alles weer in een AI gooit en noem maar op. Mark: Maar dat is traag, kostbaar en overkill. Mark: Dus jij bent eigenlijk altijd op zoek naar de juiste combinatie van al die dingen om het goedkoop, efficiënt, maar wel goed te doen. Niels: Hoe maak jij die afwegingen wanneer je het een ten opzichte van het andere zou gebruiken? Mark: Eigenlijk op dezelfde manier als dat ik het net beschrijf, ik doe het liever simpel oplossen dan ingewikkeld. Mark: Dus als ik een simpele manier heb om vanuit de klassieke machine learning kant, om het op te lossen, dan weet ik het goedkoper, het is sneller, het is makkelijker om consistent te houden, het is meer deterministisch dan. Niels: Want dat is inderdaad dan even, want het simpelste is misschien gewoon weer in de LLM te gooien en zeggen van is het goed genoeg en dan weer door, maar er zitten dus meerdere aspecten aan inderdaad is het kosten goed te controleren consistentie, dat soort zaken die daarin meespelen, om die afweging te maken en dan nog steeds simpel proberen te houden. Mark: Uiteindelijk het hele systeem is natuurlijk nog steeds wel complex. Mark: Daarom probeer je alle componenten zo simpel mogelijk te houden. Joop: Wat heeft, want je zei, je hebt een heel aantal van dit soort trajecten gedaan. Joop: Waar werd je verrast? Mark: Ja, dan zit altijd in elk project zit wel een verrassing, soms zit het in een experiment dat gewoon compleet anders uitvalt dan wat je had verwacht. Mark: Dus je hebt een hypothese en het antwoord blijkt compleet anders te zijn. Mark: Dus heb ik ook een keer iets live gezet en dat werd binnen twee uur weer uitgezet, omdat de impact zo groot was en niet in positieve zin? Mark: Kijk, daar weet ik, daar werden we zeker verrast, en dat vonden we natuurlijk ook jammer. Joop: De implementatie dan te simpel. Mark: Dus dan moet je ingewikkelder gaan hebben. Joop: En konden jullie dat dan ook zo snel detecteren, dat was een AB-test. Joop: Ja, dat is natuurlijk wel, want dan kun je risico misschien nemen. Joop: Dus dan is het misschien niet fijn. Joop: Maar als je het heel snel kan constateren, kan je het ook heel snel terugdraaien. Joop: Had je het ook zo ontworpen? Mark: Ja, zeker, daar wordt ook echt actief naar gekeken. Mark: Gaat het werken of gaat het niet, dat kon al heel positief uitvallen van een heleboel mensen, maar in dit geval werkte het niet zoals we het wilden hebben. Mark: Maar dan heb je snel geleerd en dan is het leergeld eigenlijk als het ware. Mark: Maar hier komt dat snel in het geval van dat CO-stuk, daar duurt het gewoon weken voordat je je antwoord hebt. Mark: Zelfs met de schaal van Bol. Joop: Hoe ga je daar dan mee om in je ontwerp? Joop: Want het is best wel lastig, van als het dan weken duurt, je hebt maar die drie maanden. Joop: Hoe ga je daar dan mee om? Mark: Nou ja, eigenlijk wat we timboxen de implementatie op drie maanden. Mark: En in dit geval, dit was een van de eerste projecten. Mark: Dus toen moest ze ook nog een beetje de vorm vinden. Mark: Toen hebben ze het een paar weken nadat wij er waren, het was pas de implementatie af. Mark: Toen hebben wij gewoon eigenlijk aangegeven. Mark: Dit zijn alle mogelijkheden. Mark: Dit is de simpelste manier om het te implementeren. Mark: Dus niet een ingewikkeld model, maar gewoon één factor die je toch al hebt op die plek, gebruik die en test dan of het werkt. Mark: En dat heeft toen het IT-team zelf geïmplementeerd, maar dan een paar weken later. Niels: En dan zie je denk ik wel heel veel van zo'n grote organisatie als Bol. Niels: En dan kom je daar met z'n tweeën en dan ga je daarna door naar het volgende. Niels: Wat gebeurt er dan met de teams waar je nu weggaan zijn? Niels: Want die hebben denk ik een spark aan ideeën wat er nog meer mogelijk is, maar jullie hebben maar een klein ding kunnen oppakken. Niels: Wat gebeurt daarmee? Mark: Ook dat verschilt natuurlijk per team en ook per uitkomst van hoe makkelijk is het om erop door te gaan. Mark: Maar het voorbeeld van die pakketje bezorg is, maar toch niet. Mark: Dat team heeft echt gewoon dezelfde methodiek gehanteerd. Mark: En die heeft daar jaren nog. Mark: Ik denk dat ze daar nog steeds verbeteringen uithalen. Mark: Dus daar was het echt wel een soort van gamechanger in de manier van werken. Mark: Maar voor andere projecten is het misschien dan lever je een stukje software op. Mark: Dat wordt dan gebruikt misschien twee jaar en misschien is het dan ook is het ook niet meer nodig. Mark: Of misschien is er ook wel een project waar ze van, hier was het niet wat we op gehad hebben gehoopt. Mark: Daarom doe je het ook zo kort om aan te valideren van kan het of niet. Mark: Dat er gewoon niet verder in geïnvesteerd wordt en dan ga je gewoon weer iets anders proberen. Mark: Dat is ook part of the game. Mark: Het zijn allemaal experimenten eigenlijk. Joop: Wat ik waar ik heel erg benieuwd naar ben, is wat is als het ware je eerste vraag als je bij zo'n project komt? Joop: Mijn eerste vraag. Mark: Meestal toch gewoon waar denk je zelf dat het zit. Mark: Uiteindelijk, je begint helemaal blanco in zo'n project. Mark: Dus je probeert echt duidelijk te maken van wat is nou eigenlijk het probleem. Mark: Waar loop je nou tegenaan? Mark: En daar moet je echt wel goed op doorvragen. Mark: Omdat dat uiteindelijk bepaalt wat je vlaggestok wordt, waar je naartoe gaat werken of wat je gaat optimaliseren. Joop: Loop je dan ook niet het risico dat ze al met de oplossing voor iets komen. Joop: Want daar zijn wij als mensen heel goed in. Joop: Om in oplossingen te praten waarin een probleem zit verborgen. Mark: Ja, dat merk je wel, maar daar hadden we wel een leuke aanpak voor bedachten ook. Mark: Dus eigenlijk tegen het einde van het ene project hadden we dan al, dat deed dan Erik voor ons. Mark: Die regelde dan al dat alle mensen uit dat domein vanuit alle stukjes in ieder geval dat al één moment hadden, een dagdeel. Mark: Dat noemden wij dan de ideation sessions. Mark: Waarbij de momenten waar we informatie deelde waren, de insight sessions, dit waren dan de ideation sessions. Mark: Daar was iedereen er dan bij. Mark: Ik kan iedereen al zijn ideeën ook kwijt. Mark: Dus daardoor kreeg je ook een heleboel oplossingsrichtingen. Mark: Maar daaruit konden we dan ook wel weer destilleren van oké, dus dit zijn een beetje de componenten waar we mee kunnen spelen. Mark: En dit zijn de richtingen waar we het gaan zoeken. Mark: En dan tilden we altijd een niveau hoger. Mark: Dus ze gingen nooit meteen implementeren. Mark: Er kwamen allerlei hypothesen en gedachten uit, waardoor we heel snel heel veel domeinkennis op deden. Mark: En daar kwamen ook die verrassingen uit bijvoorbeeld. Mark: Oké, ze denken dat het zo werkt. Mark: En dan doe je een paar analyses. Mark: Ja, ik zie hier toch echt dingen die compleet iets anders zeggen. Mark: Hoe kun je dat verklaren? Mark: Dat leverde wel een leuke gesprek op. Joop: En waren dat dan ook die insights? Joop: En want hoe gingen die dan? Joop: Dus je komt binnen en aan en wat doe je dan. Mark: In die insight sessions zaten we gewoon met z'n allen aan een grote tafel. Mark: Wij hadden twee weken analysewerk gedaan. Mark: Alle highlights eruit gehaald. Mark: En zeggen van nou, dit zouden we gaan doen, dit waren de invalshoeken. Mark: Dit hebben we nu geleerd. Mark: Dit hebben we gevonden, hier snappen we niet waarom dit zo is, zitten wij verkeerd of is er is de hypothese fout, zeg maar. Mark: En dat was eigenlijk een soort van langlopend gesprek in die drie weken dat steeds meer convergeerde naar een eindpunt. Mark: Dat een experiment kon zijn of iets anders wijd opgeleverd. Niels: Ik ben ook wel benieuwd inderdaad, het kan best wel zijn dat er best wel verschillende bronnen data vandaan moet halen worden. Niels: Wat kwam ik voor uitdagingen waar liep je tegenaan? Niels: Datakwaliteit, dat kwaliteit. Mark: Ja, tegen alles wat jij kan bedenken natuurlijk, je bent aan het zoeken, dat heb ik nodig. Mark: En dan ga je langs bij een paar lokaties. Mark: En dan oké, dit lijkt wel wat ik nodig heb, dan moet je toegang vragen, duurt een paar dagen. Mark: Onder die tijd kan het soms spannend zijn. Mark: Maar het scheelt wel als je dit zo'n paar keer doet, op mijn achter project had ik zeg maar zoveel zoveel data die ik aan elkaar kon knopen dat ik zeg maar in twee weken voor elkaar kreeg wat op het begin wat misschien anderhalve maand duurde. Niels: waarin winnen dat groeit, waarin je de data steeds meer aan elkaar gekoppeld had, wat je wist wat jullie moest koppelen. Mark: Want in zo'n bedrijf is het zo groot, er is zoveel. Mark: En al die domeinen zijn anders, je hebt de logistiek, maar je hebt ook de logistiek weer terug, bijvoorbeeld is eigenlijk gewoon een ander ander verhaal. Joop: Voor alle retouren. Niels: En ik denk veel datapunten waar je terecht kan. Niels: Maar is dat soms een voordeel of een nadeel dat je zoveel data hebt? Mark: Nou ja, het is een voordeel dat je het hebt en dat het al best wel van hoge kwaliteit is en dat het allemaal op een uniforme manier beschikbaar is. Mark: Met natuurlijk zijn altijd wel dingen waar je op kan wat minder werkt, maar in de basis is het niveau eigenlijk al heel goed. Mark: Dat is absoluut een voordeel. Mark: Dus wel goed begint bij wat is het probleem wat ik wil oplossen. Mark: Want je kunt namelijk urenlang kun je natuurlijk grasduinen allerlei datasets. Mark: Maar je moet echt heel scherp blijven met wat wil ik oplossen, welke vraag wil ik beantwoorden en wat heb ik daarvoor nodig en niets meer. Niels: De standaardisatie was dus al gedaan, dus de data was al in een bepaald formaat voor jou beschikbaar. Niels: Dus dat voorwerk was al gedaan. Niels: Dus dat fundament lag er al. Mark: Ja, dat fundament lag er al, ja zeker. Joop: En nadat je die acht projecten gedaan hebt, ben je wat anders gaan doen. Joop: Wat heb je van Bol meegenomen in het begin van het nieuwe traject wat je toen bent gestart? Mark: Dat was een heel andere organisatie waar ik toen mee landen, toen ging ik bij Tiki aan de slag, ook een heel erg bedrijf. Mark: Maar die schaal is zoveel kleiner en het domein is zo veel meer overzichtelijk. Mark: Wat je meeneemt, is natuurlijk van nou, wat is het probleem? Mark: Wat proberen op te lossen. Mark: Vanuit die kant denken, maar ook wel een beetje van ja, hoe hebben ze dingen bij bij Bol bijvoorbeeld georganiseerd. Mark: Hoe zie ik dat het hier georganiseerd? Mark: Wat zou beter kunnen bij wijze van spreken. Mark: Dat soort zaken neem je er wel mee. Mark: Maar dat is specifiek voor die opdracht. Joop: Maar heb je iets van de aanpak meegenomen? Mark: Ja, dat kon in die setting niet. Mark: Maar dat neem ik wel mee voor andere projecten weer. Mark: Voor Winparts. Mark: Eigenlijk een soort van zelfde insteken. Mark: Dat is van oké, jullie willen een soort van datafundament netzetten, wat moet het dan gaan doen. Mark: En hoe kunnen we dan, wat kunnen we dan in een korte termijn bouwen. Mark: En hoe zorgen we ervoor dat het meteen waarde oplevert en dat we dat weten. Mark: Dus dat soort zaken die neem je natuurlijk wel mee. Joop: En wat heb je achtergelaten? Joop: Dat je zegt van een nieuwe organisatie. Joop: Dat was eigenlijk typisch iets voor voor een andere organisatie. Joop: En hier heb ik daar aanpassingen aan moeten doen. Joop: En dan bedoel je, qua proces aangepakt. Joop: Ik kan me voorstellen, omdat je er zo acht achter elkaar hebt gedaan, dan wordt dat proces. Joop: Je wordt een herhaalbaar proces. Joop: Maar dat die ook vooral herhaalbaar is binnen die organisatie en dat je toch een stukje hebt moeten aanpassen bij Winparts. Joop: Dat je zegt van ja, maar zij gewoon anders georganiseerd. Mark: Ja, ik snap, ik snap wat je bedoelt. Mark: In ieder geval bij Bol is het fijn dat Berend in mijn voetsporen trap, het was een beetje dat gewoon nog twee jaar doorgetrokken. Mark: Dus dat proces, dat was bekend en dat ging zo door. Mark: Dus dat is wel heel fijn. Mark: Dus dat werd niet in de prullenbak gegooid. Mark: Maar bij een ander bedrijf, een kleiner bedrijf, heb je echt wel andere aanpakken. Mark: Daar heb je bijvoorbeeld niet de luxe om drie maanden lang in alle richtingen te gaan grasduinen. Mark: Altijd maar omdat die data er nog niet is, bijvoorbeeld. Mark: Daar heb ik het wel echt moeten aanpassen. Mark: En ook als mijn tempo een beetje moeten aanpassen, ook weer. Joop: En waar naartoe? Mark: Lager. Joop: Ik had verwacht hoger. Mark: Omdat zo'n bedrijf als Winparts een scale-up. Mark: Maar ze zijn overgenomen door een grotere organisatie. Mark: En daardoor heb je ook te maken met afstemming met een heel ander deel van het bedrijf, wat toch allemaal soort van onbekend is. Mark: Dus je moet eerst daar ook weer allemaal iedereen leren kennen. Joop: Zij moet je eigenlijk Winparts ook even leren kennen. Joop: Want Bol kent iedereen natuurlijk. Joop: Maar kun je heel kort vertellen wat Winparts doet? Mark: Ja, zeker. Mark: Als je van als je van sleutelen aan auto's houdt, dan ken je dit bedrijf. Mark: Ze zijn eigenlijk de webshop voor autoonderdelen. Joop: Ik sleutel niet. Mark: Als jij als jij de ruitenwisservloeistof wil vervangen, dan kan je dat daar ook vinden. Mark: Ook als je niet wil klimmen, dan kan je ook kort terecht. Mark: Maar je kunt er ook gewoon complete bumpers voor je auto halen. Mark: Dus hun logistieke centrum is ook helemaal staat vol met spullen die bij Bol niet zo snel verkocht zouden worden, omdat ze bijvoorbeeld rollen of kunnen breken, dat soort zaken. Joop: Grappig. Joop: U was aan het vertellen over verschil tussen groot en klein. Joop: En dat je je tempo moest aanpassen, iets lager. Joop: En waarom juist lager dan? Mark: Ja, dus omdat een fundament moet je goed neerzetten. Mark: En een Bol zou ook niet in één dag gekomen. Mark: Dus dat betekent dat je over dingen moet nadenken die niet alleen functioneel zijn. Mark: van ik wil van A naar B komen, ik wil die retouren terugdringen en ik heb daar deze informatie voor nodig. Mark: Maar je moet ook nadenken over wat is in infrastructuur daarachter en hoe hou ik dat veilig? Mark: Wie kan daarbij, hoe is de structuur van alles opgezet, hoe zorg ik ervoor dat iemand die daaraan gaat werken, dat hij gemakkelijk niet één bronnetje kan toevoegen van weet ik het niet, van de logistieke leverancier, maar ook van de andere logistieke leverancier. Mark: En ook van als er iets retour komt, dat dat ook eraan toegevoegd worden. Mark: Dus je moet alles heel goed in één keer goed neerzetten, zodat je niet later in de problemen komt. Niels: Ja, dus dat betekent echt de technische infrastructuur van de data, waar de data opgeslagen wordt, hoe gaan de integraties van de data, hoe komt het binnen, hoe gaat het naar buiten, dat moest nog ingeregeld worden, waardoor niet direct de analyse in kon duiken, maar met name de adviezen moest geven dan om dat juist in te richten. Mark: Het ontwerp, maar daarna ook zeg maar de goedkeuring van het ontwerp. Mark: Dus dat je met mensen van security en compliance zit. Mark: Oké, ja, we willen het zo opzetten. Mark: Dat zij goed begrijpen wat je wil gaan doen. Mark: Ook goed begrijpen waar een bepaalde stappen nodig zijn en welke niet. Mark: Maar ja, ook gewoon of het op een veilige manier is opgezet en dat je daar geen dingen voor bij loopt. Mark: En dat is eigenlijk heel fijn, vertraagt je wel. Mark: Maar je wil ook niet hebben dat jij morgen de volgende kranten op bent met alle data ligt op straat. Mark: En dan kun je allerlei dingen aan doen hoor. Mark: Om dat goed te doen. Joop: Ik kan je de top drie noemen. Mark: Ja, hoor, waar je heel goed over na moet denken, is gewoon wie kan erbij. Niels: Dat is gewoon de basis. Mark: Bij informatie, dus bij de data. Mark: En vervolgens, wat stop je erin? Mark: Je moet er niet in stoppen wat je niet nodig hebt, maar dat wel gevoelig is. Mark: Je hebt geen de naam van iemand heb je helemaal niet nodig om allerlei analyses over retouren te doen. Mark: Dus daar moet je goed over nadenken. Mark: En ook over hoe vaak moet je het bijvoorbeeld updaten. Mark: Het wordt heel ingewikkeld als je alles altijd meteen instant realtime wil hebben. Mark: Maar het wordt al veel overzichtelijker als je dat dagelijks moet verversen bijvoorbeeld. Mark: Dat soort zaak. Niels: Dat betekent dat het ook niet alleen een kleinere organisatie was, maar ook het fundament moesten opgeheven worden. Niels: Dus de maturity op dat vlak was misschien nog wat lager en je hebt ze daar echt laten groeien. Niels: Om uiteindelijk ook in zo'n vliegwiel effect in. Mark: Dat zijn we nog steeds aan het doen. Niels: Want dat doe je denk ik niet overnacht. Mark: Nee, dat kost meer tijd. Mark: En ook, ik werkte ook één dag in de week. Mark: Dus inmiddels hebben ze gewoon ook een goede data-engineer aangenomen en die doet fantastisch werk daar. Mark: En nou, dat is gewoon mooi om te zien hoe die dat dan weer overpakt en het echte run- en vliegwerk doet. Niels: De data terug hiermee. Niels: Volgens mij had je ook een artikel geschreven, begin van dit jaar van dat je geen data-engineer aan moest nemen. Mark: Dat is de challenge. Niels: Die viel op in mijn research voor jou. Niels: Kan je die even kort toelichten. Niels: Waarom had je dat geschreven, die challenge? Mark: Nou ja, omdat ik heel veel in de praktijk zie. Mark: Iedereen wil dan een groot Databricks platform hebben of een Snowflake platform. Mark: Terwijl voor een heleboel kleine organisaties is dat gewoon een grote overkill. Niels: En voor de mensen die niet bekend zijn met die platform, wat zijn dat voor platformen? Niels: Wat kan je ermee? Mark: Nou ja, daar kun je eigenlijk alles mee op datagebied. Mark: Dat zijn hele volwassen platformen om data-analyse te doen, maar ook om applicaties op te hosten soms zelfs. Mark: En die zijn uitermate geschikt voor hele grote hoeveelheden met data. Mark: Maar veel kleine organisaties hebben wel de behoefte om hun data op één plek te brengen. Mark: En daar dan bepaalde inzichten uit te krijgen. Mark: Maar daar heb je niet per se een groot platform voor nodig. Mark: Dat kan ook met open source modellen. Mark: Dus gewoon een hele simpele kosten inschatting. Mark: Wat ik voor ook voor Winparts bekeken is. Mark: Als je het op de standaard manier inzet, zoals het volgens de markt, nou doe het op deze manier, dan gebruik je tools als Fivetran en Airflow om het dan dagelijks te laten draaien. Mark: Fivetran om de databron aan elkaar te knopen en dan Airflow om dat dagelijks te updaten. Mark: Dan ben je zo tien, 15.000 euro per jaar kwijt. Mark: En heb je nog helemaal niks. Mark: Er heeft er nog niemand één analyse op gedaan. Mark: En heb je nog helemaal geen structuur in aangebracht, heb je nog helemaal niets. Mark: En de manier waarop we daar hebben opgezet, is op een veel lichtgewicht manier. Mark: Dan kost het minder dan 100 euro per maand. Mark: Dat is een groot verschil. Mark: Dan heb je ook weer wat geld over om andere dingen naar mee te doen. Mark: En als je het zo simpel aanpakt, dan heb je misschien dus ook geen data-engineer nodig. Mark: In die zin dat je als je die databron gewoon goed neerzet, dan zou je misschien ook een data-analyst er meteen op kunnen laten werken. Mark: Wat het gewoon veel minder complex is, de hele situatie. Joop: Maar als je geen data-engineer hebt, hoe zorg je dan dat de datakwaliteit wel zodanig is dat er geen rapportages uitkomen. Joop: Waar je dan straks verkeerde beslissingen opneemt. Mark: Ja, dan zou je iemand dat part-time kunnen laten doen bijvoorbeeld. Mark: Dus je zou je zou het bij wijze van spreken aan mij kunnen vragen of ik dat zou kunnen onderhouden. Mark: En zorgen dat wat er binnenkomt goed is en dat er gewoon goede checks op zijn. Mark: En dan kan een data-analist stapje verder, zeg maar in het proces dingen doen met die data. Mark: En die ziet dan ook wel hoor, of er iets niet klopt of niet. Niels: Ja, maar die kan misschien weer niet de aanwijzigingen erop doen die nodig zijn om het geautomatiseerd, goed getest, de datakwaliteit verhogen om dat geautomatiseerd. Mark: Als je dat dus goed doet, als je dat goed opzet, dan is dat snel gefixt. Mark: En zou iemand anders, zou ik bijvoorbeeld het vrij vlot erin kunnen krijgen. Niels: Dus daarmee zeg je eigenlijk voor zo'n misschien wat simpelere oplossing, heb je niet fulltime een data-engineer nodig. Niels: Maar je hebt wel de uitkomsten van kwaliteit nodig, dan kan je met minder tijd. Mark: Minder tijd minder geld. Mark: Ja, dat is eigenlijk heel simpel. Mark: Want als organisatie die groeit, wat heb je nodig, inzicht uit data om bepaalde businessproblemen op te lossen. Mark: Die wil je hebben, eigenlijk. Mark: Je wil die oplossing hebben. Mark: En je wil je eigenlijk helemaal niet zorgen over maken over alles wat erachter gebeurt. Mark: Je wil die antwoorden hebben. Mark: En helaas wordt er een bepaald fundament bij, wat je daar daarvoor moet hebben. Mark: Maar uiteindelijk de toegevoegde waarde zit hem in die bijvoorbeeld in die analist die die inzichten levert. Mark: En niet in het fundament daaronder. Mark: Dat is gewoon een soort van benodigdheid. Mark: Dus als je dat goedkoper en simpeler neer kan zetten, of een stukje kan uitbesteden zodat je dan. Mark: Het is gewoon heel simpel, als je 100.000 euro kan besteden. Mark: Je kunt niet een data-engineer en een data-analist aannemen, dat gaat gewoon niet. Mark: En de toegevoegde waarde zit hem niet in dat platform, want dan zit hem in het gebruik. Mark: Dus dan kun je waar moet je dan beginnen, toch denk ik aan de toegepaste kant, zeg maar. Mark: En dan moet je het fundament op een manier goedkoper zien in te vullen of simpeler. Joop: En kun je iets van een concreet resultaat noemen van wat dat dan voor hun betekend heeft, dit traject. Mark: Dus een van de dingen die ik op het begin zei, ik ga niet een dataplatform neer te zetten zonder een use case. Mark: Dus ik wil echt gewoon weten wat moet het doen. Mark: Welk probleem moet dit oplossen? Mark: Want anders weet dan ga je zeggen, ik wil deze 30 datasets in hebben. Mark: Waar ga je beginnen? Mark: We beginnen met retouren. Mark: Want alles wat retour komt, dat is duur. Mark: Je begrijpt het. Mark: Dat is bijvoorbeeld. Mark: Wat is dan een uitkomst? Mark: Bijvoorbeeld een heel simpel lijstje met wat zijn nou de producten die acht van de tien keer worden teruggestuurd. Mark: Dat is toch een enorme red flag. Mark: Die vraag konden ze niet beantwoorden. Joop: En een lijstje kan al. Joop: En dat konden ze niet beantwoorden omdat ze de data niet hadden of dat ze dat ze het niet goed ontsloten. Mark: Nou ja, de data is er uiteindelijk wel, maar het zit op allerlei verschillende plekken. Mark: Het kan zijn dat een bronsysteem dat er zoveel aan gewerkt wordt, dat jouw vraag gewoon helemaal onderaan de lijst komt om die vraag te kunnen beantwoorden. Mark: En jij weet niet hoe groot het probleem is. Mark: Dus je kunt ook niet zeggen, ja, maar jongens, dit kost dan zoveel geld. Mark: Dat kan je niet. Mark: Dus op die manier blijft het dan gewoon liggen. Mark: Dus het zit hem vaak in prioriteiten, maar ook in de versnippering van informatie. Mark: Er waren nog echt data-analisten, zeg maar in een bedrijf. Mark: Dus ja, wie gaat dat dan doen? Mark: Dan komt het toch weer neer op ergens aankloppen, vragen om een Exceletje. Mark: En dan is het eigenlijk de tijd van jouw vraag tot je antwoord, is zo groot en er gaat zoveel tijd in zitten, dat het eigenlijk veel duurder is dan te investeren in zo'n fundament en daar dan een data-analyst op te zetten. Joop: Duidelijk. Joop: Maar heeft AI ook invloed gehaald in de afgelopen jaren op je eigen werkwijze. Mark: Ja, absoluut. Mark: Ja, zeker weten. Mark: De komst van nu, bijvoorbeeld de code assistants, dat heeft grote invloed wel op je programmeerwerk. Mark: Ik ben nu ook meer bezig met bedenken van nou, wat wil ik nou bereiken. Mark: En daar de stapjes in nadenken. Mark: En zelfs dat ik nu aan bijvoorbeeld een cloud vraagt. Mark: Oké, nou, stel mij nou nog even vijf vragen, zeg maar van dingen die je daar nu nog vaag vindt aan dit plan. Mark: Dan helpt die daarmee. Mark: En dan krijg je een completer punt. Mark: En ook dat ik gewoon grote stukken wel uit handen geeft. Mark: Nou ja, maak dan maar een opzetje over hoe je dit zou kunnen doen. Mark: En voor de complexe vraagstukken is het moeilijk, maar voor bijvoorbeeld zo'n dataplatform, werkt het dus perfect. Mark: Want als je dat goed neerzet en je goed documenteert van op deze manier voeg je een nieuwe bron toe. Mark: Dan is het eigenlijk alleen nog maar welke de details van de goed connectie kan leggen met die bron en zeggen, nou, implementeer het maar en dan is het bijna klaar. Mark: Dus als je dan dat goed inricht, dan kun je daar zelfs heel veel tijd ook mee mee winnen. Joop: Want je raakt nu eigenlijk weer het zelf, zeg maar, maken, bouwen, onderhouden van een platform. Joop: Vooral dat onderhoud, dat dat bouwen snel gaat, dat begrijp ik, maar onderhoud wordt wel vaak vergeten. Joop: Dus het is vaak 20% van je kosten zit in het maken, 80% van je kosten zit in onderhoud en beheer. Joop: Weegt dat dan nog steeds volgens jou af ten opzichte, van als je een product zou aanschaffen of licentiëren, hangt een beetje vanaf wat jij dan nu als onderhoud ziet. Mark: Als een bron iets verandert en daardoor gaat een datapijplijn stuk. Mark: Dat onderhoud heb je hoe dan ook, dat is geen tool voor jou op. Mark: Maar als het er gaat om het bijvoorbeeld om het veilig en up-to-date te houden, ook daar is. Mark: Als je de connectivity dat niemand er makkelijk bij kan, als je dat al goed hebt opgelost, dan is dat geen heel groot probleem meer. Mark: Want dan kun je eigenlijk gewoon regelmatig gewoon elke keer checken, zijn er een soort van vulnerabilities bijgekomen, noem op en dan update je die twee Docker images. Mark: Dat is dan voor de gemiddelde. Mark: Je hoeft maar twee dingen in de gaten te houden. Mark: En dan is het weer een soort van veilig, zeg maar. Mark: Ja, onderhoud is een factor, maar niet zo'n grote factor als jij het beschrijft in mijn ogen. Mark: Behalve als je dan meeneemt als een leverancier zijn pijplijn stuk maakt, omdat hij een veldje heeft een andere naam heeft gegeven of zijn IP-adres heeft aangepast bij wijze van spreken, dan gaat de rol kapot en daar ben je tijd mee kwijt om dat uit te zoeken wat ze gebeurt. Niels: Ja, en dat ook te spotten dat het gebeurd is. Niels: Dus dat je signalen goed hebt ingebouwd in de omgeving. Mark: Als je dat goed doet, heb je dat automatisch. Mark: Ik heb gewoon een berichtje van hier klopt iets niet. Mark: Maar dan moet je dat wel goed hebben. Niels: In de praktijk zien we dat natuurlijk nog niet altijd op orde is. Niels: Je wil wel genoeg signalering hebben om het beheerwerk goed te maken, dus dat er iets fout gaat. Niels: Heel vaak is nu het geval dat te laat gespot wordt dat er iets fout gaat. Niels: En er zijn er misschien al beslissingen genomen en dat is ook een stukje beheer dat noemen we het zelf DataOps. Niels: Dus het monitoren van wat is de kwaliteit van de data, komt het nog goed binnen. Niels: Wie heeft er gebruik van gemaakt? Niels: Wanneer is er gebruik van, maar daar zit gewoon beheerwerk in om de monitoring. Niels: Ja, dan kan je heel veel automatiseren. Niels: Maar dan heb je wel mensen voor die dat soort dingen ook monitoren om het ook weer bij te sturen. Niels: Kan je makkelijker maken, maar volgens mij zit er best wel wel wat werk in. Niels: En zeker als het complexer en groter gaat worden. Mark: Maar als het complexer en groter wordt, dan ga ik er ook vanuit dat de business case een stuk groter is. Mark: Dus dat je er ook meer tijd in kan stoppen. Niels: Op die manier. Joop: We hebben bol gehad, Winparts. Joop: Waar zie jij het gebied zeg maar van dataplatforms, data-engineering, AI, waar groeit dat naartoe. Mark: Nou ja, dit is natuurlijk koffiedik kijken. Mark: Maar wat je ziet in ieder geval in de markt is dat die platformer bijvoorbeeld steeds meer dingen steeds een groter deel van de taart proberen te pakken, dus steeds meer dingen met elkaar integreren. Mark: Dus dat je niet alleen dat je je datapipelines op één platform kan bouwen. Mark: En dat je daar ook de alle checks kan doen en dat je ook je datamodellen er kan neerzetten en ook de dashboards en ook de agents en ze willen steeds meer, steeds maar op één plek is ook makkelijk, want dan hoef je veel uit handen genomen. Mark: Dus dat zie je gebeuren. Joop: Dan gaan agents straks niet jouw dataanalyse doen. Mark: Nou, ik ben nu heel veel in de gaten aan het houden en ook dingen aan het uitproberen zelf over een concept dat heet dan conversational analytics praten met je database. Mark: Als je me tien jaar geleden, toen begon ik bij ABN Amro. Mark: En toen weet ik nog dat er een keer ergens in een claim was, ja, we kunt praten met je database. Mark: En dat ik daar, dit is gewoon je reinste onzin. Mark: Dat kan helemaal niet. Mark: En als ik nu zie, kan het wel. Mark: Maar de grootste downfall is nog dat die agents echt super overtuigd van alles. Mark: Dus ze vertellen ook gewoon complete onzin. Mark: Maar wel wel heel overtuigend. Mark: Het gaat er naartoe dat je straks kan praten met je database. Mark: En dat je ook gewoon antwoorden krijgt. Mark: Dus dat daardoor heel veel analysewerk eigenlijk wel gewoon simpele vragen, denk ik met name uit handen wordt genomen van analisten. Mark: En of dat dan een bedreiging of een zegen is, weet ik nog niet. Mark: Want je wordt ook gek van allemaal die kleine vragen, want die houden je af van de grote plek en die kosten relatief veel tijd. Mark: Dus ik zou dat op zich wel fijn vinden. Mark: Maar je gaat wel, dit gaat wel gebeuren, denk ik. Mark: En dan misschien ook niet voor de stel dat je 80% van dat soort vragen kan afvangen, dan speel je weer veel tijd vrij. Joop: En misschien moet daar nog iets van een laag bovenop komen, die we misschien wel uit de software engineering, zeg maar al kennen, dat je geautomatiseerd testen hebt, dat van alles moet draaien. Joop: Voordat die coding agent iets mag. Joop: Dat als je zo'n conversational query heeft. Joop: Dat bijvoorbeeld statistische significantie automatisch wordt berekend, dat de controles. Joop: Ik kan me zo voorstellen dat daar misschien iets tussen komt, zie je dat ook. Mark: Ja, het hangt er vanaf welke welk niveau je er naar kijkt. Mark: Maar in de basis zullen er een soort van checks moeten zijn, ook als een model zich aan veranderd. Mark: Want je gaat een agent gebruiken. Mark: Maar morgen is dat Gemini en vandaag is het Claude, of een andere variant. Mark: Je moet altijd weten dat het nog werkt. Mark: Je zal een soort van vragen tegen die database moet gooien, dan moet altijd zelf de antwoord uitkomen. Mark: Nou, dat is één probleem dat moet opgelost worden, daar zit de tests in. Mark: En waarschijnlijk een stukje een soort van safeguards. Mark: Dat als hij het niet weet, dat hij niet dat hij ook gewoon gaat zeggen ik weet het niet. Mark: Dat je niet te mist in gaat. Mark: Dus dat soort dingen zit er wel aan te komen. Mark: Mikantietest en zo, ja, weet ik niet. Mark: Als je nou een gestandardiseerde manier hebt om experimenten op je website te zetten en die automatisch te laten analyseren. Mark: Dus als de input altijd hetzelfde is, dan kan dat denk ik wel heel goed. Mark: De stap daarna weet ik niet zeker, omdat ik ook nog niet weet hoeveel je nou echt in dat ding wil stoppen. Mark: Want je gaat niet je hele database erin gooien. Mark: Dat is één duur, maar ook voor hetzelfde geld. Mark: Zitten daar weet ik het ongeluk een naam van iemand in, en heb je ineens een datalek te pakken. Mark: Dus je kunt niet alles erin gooien en allerlei alle analysiestappen daar laten doen, denk ik. Niels: Wat ik daar in de praktijk nu zie, is dat er best wel wat werk zit in de context goed vastleggen. Niels: Welke vragen kunnen we wel beantwoorden, welke kunnen we niet beantwoorden. Niels: Wat is de zekerheidscore? Niels: Heel vaak zijn het veel terugkomende vragen die jou 80% van het werk opleveren, waar je eenmaal een antwoord op wil geven. Niels: Misschien is dan een rapport of dashboard wel voldoende. Niels: Of je geeft gewoon letterlijk het antwoord als deze vraag gesteld wordt, LLM, pak dat antwoord. Niels: En dat wordt nu al in de bepaalde platformen gebouwd. Niels: Er is een Databreaks Genie, Copilot. Niels: Kan je dus zeggen, als die vraag komt, hoef je niet gaan zoeken, geef gewoon dit antwoord. Niels: En klaar, zeg maar om te voorkomen, inderdaad, dat dat vaak gaat gebeuren. Niels: Dus er zit nu best wel wat huishoudingswerk in om die agents de goede kant op te sturen. Niels: En ik denk dat dat wel gaat veranderen in de toekomst, dat het makkelijker wordt en ook makkelijker moet worden. Niels: Want anders kost het nog steeds heel veel tijd om het in te richten. Niels: Wat dan misschien met een rapport of een belletje nog sneller opgelopen en goedkoper is. Mark: Dat is wel waar nu alle vraag. Mark: iedereen is allerlei dingen aan het proberen, maar ik ben er nog niet uit wanneer je nou de wanneer het nou de moeite waard is eigenlijk. Mark: Maar ik vind het wel razend interessant. Mark: Wat gebeurt er allemaal? Mark: En met name ook over het stukje, kijk, dat je de boel aan elkaar kan knopen op een bepaalde manier, dan geloof ik wel dat ze dat helemaal dichtgetimmerd krijgen. Mark: Maar ook de domeinkennis van we hebben hier een kolom. Mark: Weet al wat die kolom betekent, maar als in die kolom A staat, dan is het ineens een compleet andere conclusie dan als er B staat. Mark: En die domeinkennis moet er op een of andere manier ook ingebed worden. Niels: Dan zijn nieuwe data die we aan het creëren zijn. Niels: Naast de bronnen en waar wij mensen data in de applicatie aan het zetten zijn. Niels: Dus technisch noemen we dat metadata, active metadata. Niels: Maar dat zijn zaken die we nog moeten gaan ervaren en leren op dat vlak waar gaan we heen. Mark: Het antwoord is er nog niet. Niels: Hier zijn twee data die elkaar vinden. Joop: Ik ga je toch nog heel even challengen over die toekomst. Joop: Want je hebt helemaal gelijk, weet je, is heel moeilijk te kijken. Joop: Maar je gaat spreken in september op de Data Expo. Joop: Wat is de titel van je sessie, weet je die? Joop: Het zijn er twee, en ik weet niet uit mijn hoofd nou hoe we het genoemd hebben, maar eentje gaat dus over zijn dataplatform. Mark: En de andere gaat over eigenlijk content generatie op schaal. Mark: Dat kan gaan over plaatjes, maar ook over tekst. Joop: Ik wil je eigenlijk uitdagen. Joop: Wat wordt de titel van jouw presentatie 2027 Data Expo? Mark: Nou, dan zou ik dus wel iets leuk vinden met conversational analytics. Mark: Dat zou ik wel leuk vinden. Mark: Wat zou dan een mooie titel zijn? Mark: Hoe conversational analytics can work voor je. Mark: Iedereen die of bij een klant, weet je, hoe we dat hebben gefixt of zo, maar dat zou ik wel leuk vinden. Joop: Dus dat voorzie je dat dat aankomende periode wel een item gaat worden. Mark: Nou, in ieder geval, ik vind het persoonlijk heel interessant, omdat AI, data, dataplatformen, analyses, alles komt daarin op een bepaalde manier samen. Mark: En daarom vind ik dat heel interessant. Mark: Er zullen vast ook wel veel grotere topics zijn op dat moment, maar daar hou ik me dan op de onderwijs. Niels: Ik durf wel een kratje bier erop te zetten, inderdaad, dat dit het onderwerp gaat worden waar we de komende jaren hard mee bezig zijn. Joop: Ik roep het al jaren, dus misschien is het misschien niet helemaal dat het volgende gaat komen. Mark: Misschien moeten we dit timebox. Mark: Waarom is het? Niels: Maar ik roep het al een tijdje. Niels: En dat komt steeds dichterbij, heb ik het idee. Niels: Dus het gaat er wel komen. Niels: Je ziet echt de technologie en de bewegingen naartoe. Joop: Als je het al jaren zegt, dan ben je slechte voorspeller. Niels: Geeft niet, als je helemaal een punt heeft waar je heen gaat en het gaat de goede kant op, dan valt u een keertje. Joop: Mark ontzettend bedankt dat je zoveel inzichten met ons wilde delen over je werk en wat je aan het doen bent, heel erg bedankt. Mark: Jullie bedankt voor de uitnodiging. Joop: Leuk dat je weer luisterde naar deze aflevering. Joop: Vergeet je niet te abonneren via je favoriete podcast-app. Joop: Dus die Data Expo komt eraan, is gratis. Joop: Link staat in de show notes. Joop: Ga er naartoe, zou ik zeggen. Niels: Zeker, tot de volgende keer.