AI-agents bij PostNL: proces, techniek en adoptie

Vandaag spreken we met Frits Snijder, Senior Product Manager bij PostNL. Frits houdt zich de afgelopen twee jaar bezig met AI in klantenservice en klachtenverwerking. PostNL bezorgt ruim 1,2 miljoen pakketten per dag. Als er dan iets mis gaat, beland die klacht bij een medewerker die in 10 tot 12 systemen moet zoeken om een antwoord te vinden. Frits probeerde dat op te lossen met AI-agents. Wat hij ontdekte, veranderde zijn aanpak volledig. Want wanneer is een agent eigenlijk de juiste keuze? En wanneer is een gewone workflow gewoon veel slimmer? Joop: Leuk dat je weer luistert naar een nieuwe aflevering van AIToday Live. Joop: Zeer om, maar dat zul je zo direct horen waarom. Joop: Ik ben Joop Snijder, hij van Info Support. Niels: Ik ben Niels en ik werk bij Info Support. Joop: En ja, we hebben vandaag en dat zeggen we wel eens vaker, maar in dit geval echt. Joop: Want het is mijn jongere broer. Joop: Frits Snijder. Joop: Ik heb Frits niet gevraagd omdat hij mijn jongere broer is, maar omdat hij hele gave dingen doet en gedaan heeft bij PostNL met AI agents. Joop: Maar daar gaan we het direct over hebben. Joop: Frits, wil je jezelf eerst even voorstellen aan de luisteraars. Frits: Zeker. Frits: Ik ben Frits dus zoals je zei. Frits: Ik werk bij PostNL al een jaartje of twaalf. Frits: Een jaartje of acht binnen IT allerlei verschillende rollen gedaan. Frits: Ik denk dat eigenlijk elke rol ging wel over grote veranderingen. Frits: Nieuwe softwareproducten. Frits: En de laatste anderhalf jaar, twee jaar heb ik me vooral bezig gehouden rondom klantenservice en rondom klachtenverwerking op depo's. Frits: Die laatste twee is ook het moment aan AI aan bod gekomen. Frits: Hoe maken we producten met AI, maar ook echt AI in de producten zelf. Joop: Volgens mij is dat ook de reden dat ik hier zit. Joop: Zeker. Joop: En je bent product manager daarvan. Joop: Er was een begin van een belofte waarom je met AI agents begonnen bent, zou je zeg maar de context kunnen scheppen van waar je in zat en waarom je hiermee begonnen bent. Frits: Ja, dus pak ik eigenlijk even allebei de voorbeelden. Frits: Want ik denk dat bij beide eigenlijk het begin eigenlijk wel wat anders was. Frits: Dus als ik kijk naar klantenservice. Frits: Toen werd ik ook echt specifiek gevraagd van. Frits: Frits wil jij dit gaan doen. Frits: Wij willen dit met AI gaan oplossen. Frits: Ze was eigenlijk iemand die bedacht had van nou ja, ik denk dat we als we hier AI in gaan zetten dan kunnen we het beter en goedkoper maken. Frits: En echt ook gezegd van dit gaan we met agents oplossen. Frits: En ik denk bij klachten op de depo's, hebben we eigenlijk veel meer gekeken van wat is nou je echt het probleem, wat is er aan de hand. Frits: Veel meer analyse gedaan en toegekeken hoe zo we dat het beste kunnen oplossen. Frits: En zou AI daar een rol kunnen spelen. Frits: En de uitkomsten van beide zijn dus ook dan wel wat anders gegeven, het andere startpunt. Joop: Maar laten we dan beginnen bij het startpunt bij het eerste bij het eerste vraagstuk. Frits: Wat je daar zag, is dat ik denk dat er veel optimisme was dit doen we wel even met AI. Frits: En ik denk dat het ons ook misschien wel een beetje op het verkeerde been heeft gezet. Frits: Qua AI agents. Frits: Dus uiteindelijk wat we gedaan hebben, is uiteraard gekeken naar het proces. Joop: Dus ik denk een van de eerste dingen die we gedaan hebben, is misschien toch nog heel even terug en wat was het basis het idee? Joop: Het moest sneller goedkoper. Frits: Wat was het? Joop: Wat was de probleemstelling? Frits: Wij leveren bij PostNL ongeveer 1,2 miljoen pakketten per dag. Frits: En als je 1,2 miljoen pakketten per dag bezorgt, dan gaat er ook wel eens wat mis. Frits: En als dan wat misgaat, wat doet een consument? Frits: Die gaat naar de webshop. Frits: Die zegt wat misgegaan met mijn pakket. Frits: Of met de bezorging of een beschadiging kan van alles zijn. Frits: En dan neem die webshop die neem ik contact op met PostNL. Frits: Vervolgens komt er bij de zakelijke klantenservice binnen. Frits: En die gaat vervolgens die klacht in behandeling nemen. Frits: En in het behandelen in behandeling nemen van die klacht. Frits: Dat kost gewoon tijd en dat is heel veel mensenwerk. Frits: En het idee was, kunnen we dat deel, zeg maar beter digitaal ondersteunen met AI agent. Niels: Dus dat was eigenlijk bijna in beeld, wat is volgens jullie context dan een AI-agent. Frits: Misschien is het nog wel veranderd over tijd, dus die context kreeg ik toen niet mee. Joop: Belangrijk gegeven. Frits: Dus het was toen gewoon van met een agent. Frits: Zonder denk ik echt na te denken van wat is dan precies een agent, kan dit vast heel veel beter. Niels: Dus de belofte uit de markt en de technologie. Frits: Dus er was niet een soort van definitie van een agent is een stukje software en die heeft wat input of die laat je iets waarnemen. Frits: Die geef je tools en er komt iets in. Frits: Nee, dat was er niet. Frits: Het was gewoon agents. Niels: Die gaat het oplossen. Frits: Ja, die gaan het oplossen. Frits: Dus dat was eigenlijk nog niet zozeer een plan. Frits: Het was ook niet dat het al heel lang liep dit idee, dat is gewoon start van een idee. Frits: Dus wat we gedaan hebben, is uiteindelijk gekeken van oké, als zo'n vraag binnenkomt bij de klantenservice. Frits: Wat doet eigenlijk zo'n medewerker. Frits: Wat wil zo'n medewerker. Frits: En welke processtappen loopt zeg maar zo'n medewerker door. Frits: Dus daar hebben we heel erg naar gekeken, we hebben bijvoorbeeld gekeken naar ook niet elke webshop is zeg maar hetzelfde. Frits: Dus als er een pakketje van een van de grotere webshops kwijtraakt, is dat nog wat anders als voor iemand die zelf een klein webwinkeltje heeft. Frits: Dus het is een grote webshop, ja die heeft ook miljoenen pakketten per dag. Frits: Dus daar gaat af en toe ook eens wat mis. Frits: Die raken ook af en toe eens een keer wat kwijt of iets anders. Frits: Dus die kijken daar heel anders tegenaan als bijvoorbeeld een hele kleine webshop. Frits: Dus daar komt veel sneller emotie bijvoorbeeld bij kijken. Frits: Dus eigenlijk al dat soort dingen hebben we zeg maar in kaart gebracht. Frits: En toen zijn we eigenlijk aan de slag gegaan om te kijken van kunnen we een aantal onderzoekshandelingen. Frits: Dus zo'n medewerker doet onderzoek naar stel dat op pakket dat daar een vraag over is, waar is mijn pakket, dat was eigenlijk de meest gestelde vraag. Frits: Die doet een aantal onderzoekhandelingen, dus die kan een aantal systemen kijken. Frits: Die kan kijken of misschien de barcode gaandeweg is gewijzigd. Frits: Dus je kan je bijvoorbeeld voorstellen dat zo'n zo'n label, als dat bijvoorbeeld niet goed vastzit, of dat raakt beschadigd, dat ze er een nieuwe barcode op doen. Frits: Er staat daardoor kan, zeg maar, de track en trace uiteindelijk misschien niet helemaal goed hebben gewerkt. Frits: Dat soort achtige stappen doen ze. Frits: Daar hebben we heel erg naar gekeken van kijk, zouden we dat kunnen digitaliseren. Frits: Toen zijn we eigenlijk direct meteen begonnen met ook dat echt met agents te doen. Frits: En achteraf heb ik voor mezelf gedaan, hoe komt dat dan? Frits: Waarom zijn we dan meteen met agents begonnen. Frits: En kwam is dat dan gekomen omdat ze zeiden, dit kan je oplossen met agents. Frits: Was het omdat dat de opdracht was? Frits: Of tegelijkertijd hadden we een soort van experiment gedaan met een van onze partners. Frits: Om gewoon eens te kijken van hoe werken agents. Frits: En daar hadden we eigenlijk deze casus ook voorgenomen om eens te kijken, kunnen we al heel snel iets maken wat behulpzaam zou kunnen zijn om deze vraag te beantwoorden. Joop: En wat was het resultaat van dat experiment? Frits: Nou, dat was in het begin best goed. Frits: Toen vond ik dat verrassend, nu wat minder. Frits: Je hebt dan al heel snel dat je denkt, ah ja, dit is al best wel heel goed. Frits: Ik weet niet of dat dan 80 of 85 procent is, dat maakt niet uit best wel heel goed. Frits: En dan denk je, hier ga ik op voortbouwen. Frits: Dus voor je dit weet, stap je eigenlijk te onnadenkend in ga dit oplossen met agents. Frits: En toen kwam eigenlijk op een gegeven moment op een punt. Frits: Dat we dat we het eigenlijk niet veel beter kregen als dat we hadden, maar het was nog niet goed genoeg. Joop: En kan je aangeven waar dat dan lag. Frits: Nou, dat kwam eigenlijk wel een. Joop: Misschien moet ik heel even terug. Joop: Wat hadden jullie gedefinieerd als goed genoeg? Joop: Waarom wist je dat het niet goed genoeg was? Frits: Het was in ieder geval niet goed genoeg voor de business. Frits: Dat ze zeiden, dit geeft in zoveel procent van de gevallen het juiste antwoord. Frits: Dit vonden wij zelf ook niet dat we zeiden van oké, hier kunnen we. Joop: Het was duidelijk. Frits: Ja, dat was dat was gewoon duidelijk. Frits: Wat we gedaan hadden, moet even een klein stukje vertellen, hoe we het hadden ingericht is, we hadden eigenlijk een teamlead agent. Frits: En die stuurde drie andere agents aan. Frits: En ze hadden eigenlijk een gespecialiseerde agent voor elke stap. Frits: Dat dachten van dat klinkt. Niels: Voor die research onderdelen voor al die verschillende onderzoekshandelingen. Frits: En toen merkte op een gegeven moment van ja, als we het ging een beetje gingen tweaken, zodat het voor de ene ene onderzoekshandeling heel goed was, dan werd het toch net iets minder bij de ander. Frits: Zo kregen we het eigenlijk net niet goed. Frits: En we waren continu bezig, en aan twee kanten werd het een beetje beter. Joop: Het krijgt een beetje de wet van de communicerende vaten. Frits: En op een gegeven moment. Frits: Een van mijn engineers, uit mijn team zat naast een medewerker, want dat deden we wel heel veel. Frits: We zorgen dat we één, twee keer in de week echt naast de medewerker zaten om echt goed te begrijpen wat ze waar zijn wij mee bezig, wat gaat het opleveren, heb je daar wat aan. Frits: En die medewerker die was op een gegeven moment iets heel snel aan het best wel snel aan het wegklikken, zo van oh, nee, maar dit is zo'n soort type case. Frits: En die engineer vocht. Frits: Wat doe je? Joop: Wat is dit? Joop: Dat is meteen nieuwsgierig. Frits: Dit is een pakket wat we eigenlijk nooit hebben ontvangen. Frits: Dat blijkt, dus we krijgen dus vragen over pakketten. Frits: Maar we hebben eigenlijk dat pakket nooit ontvangen van de webshop van de webshop. Frits: En zij kon dat al heel snel zien. Frits: En toen begon ik eigenlijk te denken, ja, maar waarom kunnen wij dat dan niet zo goed herkennen? Frits: Hebben we weer wat afstand genomen. Frits: Eigenlijk heel dat agents even weggelaten. Frits: En toen toch is gekeken en toen kwamen er eigenlijk achter, ja, maar je hebt verschillende types scenario's. Frits: Dus een pakket is eigenlijk nog niet ontvangen, of hij is op een depo geweest, of hij is onderweg geweest voor bezorging. Frits: Dus daar zagen we al een soort van scenario's ontstaan. Frits: En tegelijkertijd, omdat we iedere keer naast die mensen zaten, toen zagen we zijn werk doen, ja, was het eigenlijk heel erg workflow-achtig. Frits: Dus het was niet. Frits: Je ging altijd van uit onderzoekshandeling A, B, C. Frits: Het kon best wel zijn dat je van A naar C ging, maar dat was een hele specifieke gevallen. Frits: Dus het was eigenlijk best wel een recht toe aan stap voor stap proces. Frits: En toen dachten waar zijn we dan eigenlijk mee bezig. Frits: Dus toen hebben we uiteindelijk gezegd, oké, dan maken we er een workflow van met gewoon een call naar een taalmodel. Frits: En toen kregen we uiteindelijk veel betere resultaten, veel meer grip, zeg maar op. Frits: En toen ging het uiteindelijk veel sneller vooruit. Frits: En of dat dan nogmaals, of dat dan komt, omdat je op pad wordt gestuurd, zeg maar, met ga agents bouwen, of dat je een experiment doet of dat je daar überhaupt snel mee. Joop: Maar dan had je ook niet, had je ook niet in het begin het idee dat er veel meer variabiliteit in die onderzoeksvragen zouden zitten. Joop: Of had je het als je iets langer had nagedacht wel kunnen zien dat het een workflow was. Frits: Nee, dat hadden we wel eerder misschien wel kunnen zien. Joop: Ik begon zonder enige begint terug zeker zeker. Frits: Dit is ook zeker niet erg dat dit gebeurd is hoor, helemaal niet. Frits: Ik denk dat dit eigenlijk een beetje bij hoort, zeg maar om echt te leren van hoe doe je dit. Frits: Dus ja, misschien hadden we dit zeg maar sneller kunnen doen. Frits: En tegelijkertijd, dit is uiteindelijk ook gewoon hoe het is gelopen. Joop: Maar het is denk ik wel een goede tip, dat je nadenkt van hebben we hier eigenlijk gewoon met een vaste workflow te maken, of heb je daadwerkelijk zeg maar, de variabiliteit en de flexibiliteit van een agent nodig. Frits: Ja, want wat er uiteindelijk nu gebeurde, was dat uiteindelijk die agents, dus dan heb je het echt over wat is een agent. Frits: Dus die agents ging eigenlijk iedere keer zelf bepalen van ja, dit is mijn doel, hoe kom ik daar. Frits: Terwijl wij eigenlijk wel wisten: hoe kom je tot dat doel, namelijk, je moet het in deze stappen doen. Frits: En even afhankelijk van de uitkomst van stap 1 ga je wel of niet stap 2 doen. Frits: Of je gaat door naar stap 3 en zo simpel was het. Frits: Dus dan moet je niet zo'n agent zeggen van ja, zoek zelf maar uit hoe je er komt, dan gaat het iedere keer opnieuw uitzoeken. Niels: Dus echt eerst afpellen van wat is het probleem, wat is het proces? Niels: Hoeveel variabiliteit heb je, is er een workflow te maken. Niels: Dan pas gaan richting een oplossing. Niels: Maar je had ook een tweede casus genoemd. Niels: Heb je dat dan gelijk daarin meegenomen? Frits: Ja, zeker. Frits: Dus toen zijn we echt wel anders van start gegaan. Frits: Misschien even kort uitleggen wat dat is. Frits: We hebben net die klachten gehad bij de klantenservice. Frits: Stel dat de zakelijke klantenservice er niet helemaal uitkomt. Frits: Dus die hebben die onderzoekshandelingen gedaan. Frits: Maar hebben nog niet echt een antwoord om te zeggen, nou daar is onze klant mee geholpen en uiteindelijk is ook de consument mee geholpen. Frits: Dan sturen ze dat naar onze depots toe, eigenlijk als een soort van back-office functie. Frits: En dan gaat ze proberen op het depo uiteindelijk toch te komen tot een goed antwoord, wat waar uiteindelijk zeg maar de klant en de consumenten wat dan heeft. Joop: Moet ik dat zien als ze een locatie waar fysiek die pakketten liggen? Frits: Ja, dus onze sorteercentra. Frits: Dus we hebben een 30 plus sorteercentra. Frits: En daar hebben ze een afdelingssupport. Frits: En daar sturen ze dus eigenlijk dat ticket naartoe. Frits: En dan gaat het die afdeling gaat daarmee aan de slag en kan je je me voorstellen dat dan ze bijvoorbeeld eventueel contact opnemen met de bezorger of met de bezorgpartner om te kijken van weet jij nog wat er met dat pakket gebeurd is, daar moet je dus wel weten welk depo je dan naartoe kan gaan, als basisstartpunt. Frits: Zeker, zeker, zeker. Frits: Maar ze kunnen natuurlijk zien, stel dat een pakket is afgeleverd, dan weet je natuurlijk vanaf welk tempo, etc. Frits: Dus die klachten op die depo's, dat is eigenlijk de volgende casus. Frits: Die is ook anders gestart. Frits: Dus ik sprak met onze directeur van de operatie. Frits: En ze hadden het eigenlijk over van welke dingen welke problemen heb je nog, waar zouden we eventueel naar kunnen kijken. Frits: En hij noemde uiteindelijk dit proces. Frits: En zei, nou, Frits, zou je niet daar eens naar willen kijken. Frits: Toen zijn we ook helemaal niet, zeg maar, vanuit techniek of iets zeg maar gaan nadenken. Frits: Het eerste wat we gedaan hebben, is, ik zeg nou, prima. Frits: Wie doet dit nu het allerbeste? Frits: Ik zeg, ik wil gewoon degene spreken die dit het al best doet. Frits: Dat was een mevrouw, ergens in het noorden van het land, dus ze moesten vroeg de auto in. Frits: Dat moet dan, als je nog vraag is, wat je dan krijgt. Frits: We zijn eerst met die mevrouw gaan praten. Frits: Vragen van wat doet ze eigenlijk waarom? Frits: Wat geeft haar werk betekenis? Frits: Wat vindt ze leuk aan het werk, niet leuk aan het werk, en vervolgens ook, wat doet ze dan precies. Joop: Neem aan ook aan dat je op zoek was waarom doet zij het zo goed. Frits: Zij haalde hele goede scores. Frits: Daar was ik eigenlijk niet zo geïnteresseerd in, want uiteindelijk die scores zeiden me toen nog helemaal niet zoveel. Frits: Een hele goede score wilde niet zeggen dat het ook daadwerkelijk iets oplevert. Frits: Dus daar was ik in die zin eigenlijk nog niet eens zo in geïnteresseerd. Frits: Maar ik dacht meer van, ik wil een beetje variëteit hebben in mensen. Frits: Dus ik begin bijvoorbeeld met iemand die het heel goed doet. Frits: Dan doen we iemand die gemiddeld en ergens waar het eigenlijk niet zo goed loopt. Frits: Dan heb ik dan kan ik overigens. Frits: De scenario's een beetje. Frits: Dus uiteindelijk vroeg die mevrouw van. Frits: Wij waren daar in het loop van de ochtend van gewoon je vroeg het vast alweer een aantal klachten gedaan, vertel me de laatste twee, drie klachten, waar gingen die over, wat heb je precies gedaan. Frits: Dat ging ze gewoon zo doornemen. Frits: En als je dan gewoon goed luistert. Frits: Dan zie je vanzelf ontstaan van waarom loopt daar zo als het loopt. Frits: Want deze mevrouw begon te vertellen, ja, hier moet ik in dit systeem opzoeken, dat systeem, dat systeem. Frits: En dan geloof ik een kwartiertje verder was het aan het vertellen, ik was al de draad volledig kwijt, maar geen van mijn van de mensen uit mijn team, die was het rustig aan het meeschrijven, ik keek hem zo aan. Niels: Dus hij wist eigenlijk al welke vraag aan stellen. Niels: En dan zegt Frits, ik tel al twaalf systeem. Niels: Ik was even nieuwsgierig, maar het breekt goed luisteren. Niels: Wat betekent voor jou goed luisteren? Niels: Waar moet ik dan aan denken? Frits: Ja, dus ik denk met een. Frits: Wat ik wel vaak probeer te doen, is echt starten bij de gebruiker. Frits: Dus als je een goed product wil ontwikkelen, wat mij betreft, begin je bij de gebruiker in dit geval was dat deze mevrouw. Frits: Er komen een aantal dingen bij kijken. Frits: Eerst een beetje op gemak stellen. Frits: Voor mensen die zo'n sorteercentrum werken, die denken, hey, ik heb drie mensen van het hoofdkantoor komen. Frits: Die komen misschien wel kijken of ik het goed of ik het wel echt goed doe. Niels: Dus een van de eerste dingen die ik altijd zeg, ik heb totaal geen verstand van het werk wat je doet, kom van jou leren. Frits: Ja, ik heb er ook geen oordeel over. Frits: Ik weet niet eens wat goed of fout is. Frits: Dus geen zorgen. Frits: Ik denk dat het zeg maar belangrijk. Frits: En vervolgens kort een vraag stellen en vooral die mensen laten praten, aan de hand van echte voorbeelden. Frits: Dus daarom zei ik net ook al van, je hebt vast vanochtend al een paar cases behandeld. Frits: Kan je me dat uitleggen? Frits: Dat is denk ik een hele goede vraag van niet van wat doe je, want dan is ook maar de vraag, komt dan alles naar boven. Joop: Dus als je het echt aan echte voorbeelden koppelt, ja, dan kunnen ze ook bijna naspelen. Frits: Ja, dan kan je kan ze ook vertellen van ja, dat ging hier over, toen heb ik dit moeten doen. Frits: En dan neemt je eigenlijk ook mee in wat hebben we precies gedaan en waar zat dan precies, waar zat precies de pijn of wat, ik moest hier moet je dit knippen, dan plakken en dan moest ik dit daar op zoeken, maar dat kon het niet goed vinden, moest ik toch naar dat systeem. Frits: Dan krijg je dat soort type verhalen. Frits: En dat is eigenlijk gewoon een kwestie van ja, goed luisteren. Frits: En dat is dan weer het voordeel van tegenwoordig met AI. Frits: Dus je laat het ook gewoon opnemen. Frits: En die kan je dan ook weer helpen met dat goed verwerken en daar weer de juiste inzicht uithalen. Joop: Zeker. Niels: Maar dat betekent ook. Niels: Je had hier dan het voordeel dat je ook niet wisten hoe het beoordeeld was. Niels: Dus ik denk dat het ook nut heeft dat je niet de details zelf weet. Niels: Want anders sta je een beetje gesloten poot zo in. Niels: Dus misschien een open mindset. Frits: Ja, zeker. Frits: Dat helpt heel erg. Frits: En als je dus wel heel erg wat van weet, dan is dat de kunst om dat dan te bewaren. Niels: Maar dan hadden had je dus inderdaad, dat was wat je gedaan had. Niels: Wat waren de volgende stap? Frits: Dus ik heb uiteindelijk dus op drie locaties hebben we zeg maar dit gedaan. Frits: En toen kreeg je ze uiteindelijk een beetje een beeld van wat is er eigenlijk aan de hand. Frits: En dat was ze kregen nog best wel veel cases. Frits: Dus dat was een redelijk van een hoge werkdruk, maar veel te doen. Frits: En wat ik net zei, dus uiteindelijk moesten ze in 10, 12 systemen moesten ze alles opzoeken. Frits: En dat was eigenlijk ook niet echt een hele fijne overdracht tussen de klantenservice en onze mensen op de sorteercentra. Frits: Een deel van het werk wat ze op de klantenservice gedaan hadden, dat deden ze opnieuw in best een aantal gevallen, omdat het gewoon niet duidelijk was of niet goed was vastgelegd. Frits: Dus toen hebben we gekeken van oké, als dat dan het probleem is, hoe kunnen we dat dan makkelijk maken? Frits: En een van de eerste dingen die we dachten was van, je wil niet in tien tot twaalf systemen werken zoeken. Frits: Wat kunnen we doen om dat ze vanuit één omgeving kunnen werken en daar eigenlijk heel hun werk zeg maar kunnen doen. Frits: En hoe kunnen we bijvoorbeeld zorgen dat het ook cognitief niet heel erg belastend is. Frits: Want bijvoorbeeld wat ze nu moesten doen, is ze sturen bijvoorbeeld een bericht naar een van onze bezorgpartners of een bezorger. Frits: En dan hebben ze de afspraak dat die moet reageren binnen zoveel tijd. Frits: Maar dat reageren binnen zoveel tijd, dat moest ze zelf in de gaten houden. Frits: Dan hadden ze weer in een van die applicaties stond dan van hoe laat ze dan een bericht hadden verzonden en dan konden ze zelf bijhouden, oh ja, gisteren heb ik hem zo dit verstuurd. Joop: Dan moet ik vandaag voor die tijd moet ik zeker belasting hebben, en anders moet ik weer een berichtje sturen. Frits: En dus als je dus in al die systemen alles moet opzoeken, je moet dit bijhouden, dacht van ja, dat kan zeg maar allemaal beter. Frits: En hebben we gekeken van oké, hoe zouden we dat dus uiteindelijk beter kunnen maken. Frits: En vervolgens hebben we dan gekeken, oké, met welke techniek kan dat dan uiteindelijk het beste. Joop: Dat is eigenlijk onze aanpak geweest, en waar kwamen je op uit? Frits: Ja, wat we gemaakt hebben, is eigenlijk een nieuwe applicatie. Frits: Waar we eigenlijk een groot deel van het werk, zeg maar, dus eigenlijk hun werk opgedeeld in taken, daar zal ik zo nog even wat over vertellen. Frits: En gekeken van oké, welke van die taken kunnen we zoveel mogelijk geautomatiseerd laten uitvoeren, geautomatiseerd kan deels zijn, zeg maar met AI. Frits: En die transitie, zeg maar van casegerichte werken, noemde ik het, zeg maar, naar een taakgericht werken. Frits: Dat viel ook nog niet mee. Frits: Want we hadden dat zeg maar bedacht. Frits: We dachten van ja, dat is denk ik heel erg goede oplossing voor. Niels: Waarom dacht je dat een goede oploop? Frits: Ja, dus wij dachten, dan stel dat jij in zo'n case moet jij misschien zeggen twintig taken doen. Frits: Dus wij dachten, nou ja, als jij als wij van die 20 taken er 15 geautomatiseerd kunnen doen. Frits: Dus dat kan zijn een reminder sturen. Frits: Het kan zijn een e-mail opstellen. Frits: Het kan zijn een e-mail die binnenkomt met een antwoord beoordelen, of die eigenlijk wel de vraag beantwoorden. Frits: Al dat soort achtige taken moet je kijken. Frits: Kleiner gemaakt. Frits: Je zei net al, je moet weten op welk depo het komt. Frits: Dus je kreeg misschien soms ook wel een vraag die eigenlijk bedoeld was voor een ander depo. Frits: Dat kan bijvoorbeeld kan je best wel herkennen aan de voorkant. Frits: Als je tekst herkent en dat je kijkt van waar is nou waar heeft de bezorging plaatsgevonden, op welk depo zit ik nu dit niet eigenlijk naar een ander depo moeten. Frits: En dan kan je het routeren. Frits: Zo kan je eigenlijk dat helemaal afpellen. Frits: Dus wat we gedaan hadden, was nou dan maken we een nieuwe omgeving en in plaats van dat mensen een hele case krijgen, krijg je een soort van inbox met verschillende taken. Frits: Ik doe dit met een team met van drie, dus nog met twee engineers. Frits: Dus wij gingen met z'n drie weer de auto in naar een van onze sorteercentra en vol vertrouwen gingen wij met onze klikbare mock-up gingen wij op pad. Frits: Wederom was dit trouwens een vrouw van de sportafdeling, maar een ander sorteercentrum. Frits: We hadden nog iemand meegenomen. Frits: Die echt ook zeker research doet. Frits: Dus die deed voor ons, zeg maar echt het interview, zeg maar. Frits: Dat was ook nog wel een skill apart. Frits: Ze had er iemand voor ingehuurd. Frits: Zij ging met die mevrouw zitten en korte introductie en vervolgens ging die mevrouw kijken naar onze app. Niels: Spannen moment lijkt me. Frits: En zij zei eigenlijk, ze was een soort van heel erg beleefd van tot ze het eigenlijk wel mooi vond, maar eigenlijk zag je aan de niks. Frits: Ik snap, ik snap het gewoon niet. Frits: Het was helemaal niet van. Frits: Dus het zag er super strak uit, zeker in vergelijking allemaal van wat ze nu hebben, maar zij begreep het eigenlijk niet. Frits: En achteraf, toen we in de auto terugzaten, eigenlijk is het ook logisch. Frits: W die mensen komen normaal gesproken bij zo'n case binnen met bij gewoon stap 1. Frits: En nu open je een taak. Frits: En dan zit je ineens op stap 5. Frits: En die mevrouw had eigenlijk geen idee. Frits: Ja, maar stap 1 tot en met 4 dan. Frits: Wat is daarmee gebeurd? Frits: En wat als ik dit doe, hoe gaat dit verder. Frits: Dat hoort natuurlijk bij, daarom doe je dit soort dingen ook, probeer echt goed te ontdekken van wat heeft nou zo'n gebruiker nodig. Frits: Dus dat was een belangrijke les, zeg maar, uit onze eerste klikbare mock-up. Frits: Niet dat we de helemaal de verkeerde route waren, want uiteindelijk toen haar wat meer gingen vertellen. Frits: Toen begreep ze het wel. Frits: Dus uiteindelijk, het was niet dat die schermen slecht waren, maar gewoon dat hele concept. Frits: Dat was voor haar gewoon een soort van. Joop: Het werd eigenlijk een black box. Frits: En ik denk dat dat is ook denk ik een van de dingen. Frits: waar ik zelf ook wel echt probeerde op te letten. Frits: Als je dus ook dingen van mensen over laten nemen, dat vind ik ook nog een belangrijke vraag van hoe zorg je nou dat je mensen betrokken houdt dat ze nog echt begrijpen van wat gebeurt er, wat is mijn rol in het proces, hoe hou ik overzicht. Frits: En op die manier hebben we er nog een keer naar gekeken. Frits: En toen hebben we het uiteindelijk gezegd, nou, wat nou als we het gewoon heel expliciet maken. Frits: Dus ik heb het altijd heel vaak over als we het over AI hebben, dus ik wil het eigenlijk niet over agents, want dan wordt het altijd van wat is nou een agent, dan is het een workflow. Frits: Voor veel mensen maakt dat toch eigenlijk niet zo uit. Frits: Ik zeg altijd maar een digitale collega. Frits: Dus ik dacht, nou, als we nou deze digitale collega, als we dat nou heel expliciet maken. Frits: En we geven het ook gewoon een naam, sterker nog, we laten die mensen zelf kiezen. Frits: Is dat één naam voor allemaal of is iedereen? Frits: Uiteindelijk hebben we besloten voor de test om nog gewoon wij even de naam kiezen. Frits: Ik had eerst het idee van nou kunnen ze per depo een eigen naam, ik weet eigenlijk nog niet zo goed of dat een goed idee is, maar dat kunnen we allemaal testen. Frits: Maar nu we waren op pad gegaan en we hadden Sophie genoemd. Frits: En we hadden dan uiteindelijk bij zo'n taak gezet aan het begin van dit is er aan de hand. Frits: Sophie heeft al stap 1 tot en met 3 uitgevoerd, heeft dit geconstateerd. Frits: Hier twijfelt ze het nog over en hier heeft ze je hulp voor nodig, zou jij dit en dit willen doen. Frits: En bovendien, als je dat dit gedaan hebt, dan was het wel, dan gaat Sophie vervolgens de vervolgstap doen. Frits: En toen draaiden je het eigenlijk. Frits: Ja, ik zou bijna zeggen 180 graden. Frits: Want ja, natuurlijk die inbox snapten ze nog steeds niks van. Frits: Want dat stonden allemaal taken met titels waarvan gedachten, wat is dit? Frits: Want normaal heb ik een case. Frits: Maar zodra ze die taak opende, was het van dit staat er, dit is er al gebeurd. Frits: En op een gegeven moment, oh, dit is handig. Frits: En dan gaat het dit doen. Frits: En toen is het bij twee op een dag. Frits: De laatste was in Rotterdam, ik woon in Rotterdam thuiswedstrijdje. Frits: Toen zeiden dus op een gegeven moment. Frits: We hadden met twee van de sportmedewerkers, ze op een gegeven moment de een tegen die ander. Frits: Zegt hij toch handig, hè? Frits: Ik hoef niet direct te trouwen met die Sophie. Niels: Homig is je wel. Frits: En dan weet je wel goed. Frits: Dit werkt dat vind ik ook het mooie, zeg maar. Frits: Het is gewoon ook proberen ontdekken. Frits: Kijken wat werkt dan voor die gebruiker. Frits: En pas toen we dit allemaal hadden, echt die klikbare mock-up helemaal bedacht hadden, van dit werkt, toen hebben we uiteindelijk pas gekeken, oké, en hoe gaan we dit dan maken en wat laten we dan technologie? Frits: Ja, welke technologie, hoe lossen we dat op. Joop: Wat stoppen we in een workflow of wat heel mooi, heel veel aandacht en tijd besteed om ervoor te zorgen dat je straks het juiste bouwt. Frits: Dit ging echt over ontdekken wat te bouwen. Frits: En daar helpt AI ook bij. Frits: Want uiteindelijk zo'n mock-up maken. Frits: Dat hebben we ook met AI gedaan. Frits: En dat gaat dan heel veel sneller. Frits: En bijvoorbeeld. Frits: De eerste keer toen we met zo'n lijst met taken gingen, ja, wat moeten we nou? Frits: Moeten we dan een scherm met tegeltjes, moeten we meer een soort van Outlook stijl, of moeten we en vroeger, daar ging je misschien met schetjes of het was best weken bezig om dan eens zo'n UI helemaal uit te werken. Frits: En dan kon je dat gaan testen. Frits: En nu zei je ja, nou goed, we maken ze gewoon alle drie. Frits: En ja, we laten ze gewoon alle drie zien. Frits: Er is nood ze aan drie verschillende mensen. Frits: Dus je kan ook wel veel beter en veel sneller iets maken. Frits: En het ziet er ook echt uit. Joop: Want niet iedereen kan een wireframe doorheen kijken en dan begrijpen wat er dan zou komen te staan. Frits: Dus je hebt echt veel meer bijna zeggen, real life-achtige ervaringen. Frits: En ik heb ook het gevoel dat dat dus ook betere feedback oplevert. Joop: En omdat je dat zo snel zo snel kon, gaf dat lucht om ook meer tijd te besteden aan die voorbereiding. Joop: Of zou dat in jouw geval niet hebben uitgemaakt? Frits: Nee, dus ik denk volgens mij verandert er heel veel, zeg maar door de techniek, maar dit niet. Joop: Je zou sowieso naar het noorden van het land zijn gereden. Frits: Ja, dus dit moet je altijd doen. Joop: Lijkt me ook. Frits: En hier moet je gewoon altijd tijd insteken aan besteden. Frits: En toevallig gaat het dan nu met de huidige stand der techniek sommige dingen sneller. Frits: Maar je moet het nog steeds doen. Frits: Er is ook niet iets wat het voor jou gaat vervangen. Frits: Je kan niet achter achter je bureau dit bedenken. Frits: Hier kom je alleen achter in het veld. Niels: Ja, maar je krijgt meer tijd eigenlijk hiervoor. Niels: Omdat je weet dat de natraject het juiste gebouwd wordt, je hebt de validatie al meer. Niels: Dus er zit meer tijd in de validatie om de creatie tussendoor sneller gaat. Frits: Ja, dus dat denk ik wel. Frits: Dus uiteindelijk kijk, ik weet natuurlijk ook niet, ik heb geen glazen bol, niemand heeft altijd waar het allemaal naartoe gaat. Frits: Dus wij proberen ook natuurlijk met AI software te genereren. Frits: Dat gaat ook langzaam zeg maar beter. Frits: Maar hoe ver we komen ook geen idee. Frits: Maar ik geloof wel heel erg dat uiteindelijk dat er wel een verschuiving gaat plaatsvinden van het bouwen naar het ontdekken wat te bouwen. Frits: Omdat het bouwen zal uiteindelijk wel minder tijd kosten en hoeveel minder I don't know visual. Frits: Maar dat andere, daar gaat dus in verhouding dan meer tijd naartoe. Frits: Maar daar zou nu ook al meer tijd naartoe moeten. Niels: Je zit in de praktijk zie je natuurlijk soms dat we te snel willen. Niels: Omdat het probleem er is en er liggen nog twintig problemen op de stapel, dus we willen we sneller. Frits: Ja, en we denken al heel snel van, oh ja, maar dit is gewoon een goede oplossing. Frits: Dus wij dachten ook, oh dat taakgericht werken, dat snapt iedereen. Frits: En het was ook geen slechte oplossing. Frits: Alleen de manier waarop het brachten, begrepen door de gebruiker, dan heb je er niet zoveel aan. Joop: En die heeft altijd gelijk. Joop: Toch nog even terug. Joop: Toen ging je ging je het maken, dus dan moest je technologie gaan kiezen. Joop: Waar ben je op uitgekomen? Joop: Ja, dus over wat we precies gebruiken aan technologieën, daar wil ik een beetje van weg blijven. Joop: We zijn natuurlijk over die agents. Frits: Dus wat we gewoon gekeken hebben, is heel erg van welk van die taken zouden we eigenlijk willen automatiseren en wat zouden we eventueel door AI willen laten doen. Frits: En met name ook gekeken van hoe zouden we dan uiteindelijk ook de samenwerking, zeg maar, tussen die medewerker met die AI voor ons zien. Frits: Wat ik net al een beetje zei, dat uitschrijven. Frits: Maar ook bijvoorbeeld altijd over de human in de loop. Frits: Ja, ik word daar zelf altijd een beetje kriebelig van. Frits: Wie wilde nou human in de loop zijn? Frits: Ik zie altijd als zo'n hamster is of een rat. Joop: Of dat je als een voetballer, zo dat achter op je rug hebt staan, human in de loop. Frits: Dus meer van hoe hou je dus mensen betrokken bij je werk. Frits: Er moet wel bijvoorbeeld een controle plaatsvinden. Frits: Dus uiteindelijk een van de dingen die we laten doen, is gewoon mailtjes schrijven. Frits: Dus mailtjes er komen natuurlijk gewoon zeggen ongestructureerde data komt binnen, namelijk gewoon een vraag in een mail. Frits: Dus iedere keer net wat anders. Frits: En dan moet een mailtje gestuurd worden naar een bezorger om navraag te doen of weer terug naar die klant. Frits: Maar je wil het eigenlijk wel dat die mailtjes uiteindelijk tot die tekst goed blijft. Frits: Dat die AI blijft doen wat hij moet doen. Frits: Dus dan moet uiteindelijk af en toe ook iets een controle op plaatsvinden. Frits: Dus wat we doen, is gewoon af en toe geven we dan gewoon een controle taak, zeggen we gewoon van dit bericht is opgesteld door Sofie. Frits: Dit gaat naar de klant. Frits: Let hier en hier op, wil je even checken of dit goed genoeg is en dan kunnen ze zelf nog dingetjes wijzigen, et cetera. Frits: En dan staat er ook onder nou. Frits: Als jij drukt op taak afsluiten, dan stuurt Sofie het naar de klant of naar de bezorger. Frits: En dat soort dingen, dat is misschien heel simpel, maar dat helpt al enorm. Frits: Ik zat op een gegeven moment naast deze mensen ook op een van die sorteercentrum, ja, als die een mailtje gaan tikken. Frits: Ja, dat gaat, ik ben trouwens, ik kan ook niet blind typen, maar deze mensen konden helemaal niet blind typen. Frits: Dat ging met twee vingers, waar zat ook een weer de D daar. Frits: Dan kan je voorstellen dat dat kost gewoon heel veel tijd. Frits: En dat is ook niet waar hun toegevoegd waar je het probleem oplossen. Frits: Totaal niet. Frits: Dus die zijn al, die waren daar ook bijvoorbeeld super blij mee. Frits: Het scheelt niet alleen tijd, maar de kwaliteit wordt er uiteindelijk ook beter van. Frits: Want uiteindelijk als zij een mailtje sturen, als je niet zo, als je niet zo heel snel typt, dan worden de berichten natuurlijk ook altijd korter. Frits: Ik wil niet zeggen dat elke mail die langer is, meteen beter is, maar als het heel kort, dan heb je ook kans dat het licht cryptisch is. Frits: En soms helpt gewoon een stukje context. Frits: Dat soort dingen hebben we gedaan. Joop: Maar dan ben je nog steeds human in the loop. Frits: Ja, maar op een andere manier. Joop: En was het dan dat op die manier zeg maar ieder e-mailtje wordt gekeken of is waar het steekproefjes wijze? Joop: En dat vind ik dan ook wel wat anders dan human in de loop. Frits: Ja, ik heb het heel vaak over. Frits: Ik probeer de dingen gewoon plat te slaan. Frits: We hebben groen oranje rood. Frits: Groen kan zijn het systeem. Frits: Het doet dit autonoom met controle achteraf. Frits: Oranje is het systeem doet het met nog een laatste check vooraf. Frits: Of rood is het systeem bereidt iets voor en stuurt het door naar een mens. Frits: Zo zou het kunnen zijn. Frits: Dus als je dat soort soort van concepten werkt, dan kan je best wel heel graag heel vaak heel goed met mensen over praten. Frits: Ja, wat wil je eigenlijk? Frits: Welke dingen mogen dan groen zijn? Frits: Wat mag oranje of moet rood zijn. Frits: Dat helpt heel erg om te kijken van wat wil ik nou door een systeem laten doen of niet. Frits: En dan kijken ook van ja, van zo'n steekproef achteraf, ik weet ook niet altijd van hoe groot dan precies zijn. Frits: Dus je begint gewoon een beetje conservatief. Frits: En dan ga je langzaam ga je gewoon kijken van ja, wat werkt, wat werkt niet. Frits: Wat werkt ook fijn voor mensen. Frits: Want tegelijkertijd moet je er uiteindelijk ook voor zorgen dat als je nu anders inricht. Frits: Er kan natuurlijk ook een moment zijn dat er even uitlicht of dat het op een of andere manier even niet werkt, of dat er gewoon bepaalde cases zijn waarvan we zeggen, ja, die zijn zo uitzonderlijk die willen we helemaal niet laten oplossen. Frits: Die moet je gewoon altijd met de hand doen, dan moeten mensen nog wel in staat zijn om uiteindelijk die volledige case nog met de hand te blijven doen. Frits: Dus je moet ook die vaardigheden nog behouden. Frits: Dus het is een kwestie van hoe hou je mensen betrokken. Frits: Hoe zorg je dat ze die vaardigheden behouden, maar je wil ook efficiëntie. Frits: En dat moet je uiteindelijk een beetje balanceren. Frits: En dat is niet alleen een IT-vraagstuk, maar vooral vanuit een operationeel vraagstuk, moeten we daar moeten daar gewoon goed naar kijken. Frits: En dan moet je daar gewoon goede gesprek met elkaar over hebben. Niels: Ja, want moet je daarna vragen is: waar ben je dadelijk van afhankelijk? Niels: Je was daarvoor afhankelijk van twaalf verschillende systemen, nu ben je afhankelijk van een ander systeem. Niels: Dus hoe hou je die afhankelijkheden in kaart. Niels: En hoe acteer je erop. Frits: Ja, nou voor nou niet zozeer die dat je van die verschillende systeemafhankelijk bent, maar bijvoorbeeld. Frits: Dus als jij nou, je hebt de adaptive cruise control en de lane assist en dat weten dat allemaal. Frits: Je hebt hem altijd aanslaan. Joop: Je praat meteen terug. Frits: En je hoeft nooit meer te rijden. Frits: Dus je hebt altijd zelfrijden. Frits: En dan gebruik je een jaartje of vier. Frits: En dan ineens op een middag doet hij niet meer. Frits: Kijk je dan net zo even goed in je spiegeltjes. Frits: Dus je zal best nog wel van A naar B komen, maar het wordt misschien toch al wel ongemakkelijker. Frits: En dat is met dit net zo. Frits: Dus die mensen kunnen nu iets. Frits: Maar je moet uiteindelijk wel zorgen dat dat blijvend is, en hoe ver moet je erin gaan, dat weet ik niet. Frits: Want uiteindelijk, ja, ik heb ook geen kaarten meer in de auto. Frits: Dus daar vertrouw ik ook op mijn navigatie. Frits: Dat hoeft niet. Frits: Maar misschien toch onderhouden dat ik goed in die spiegeltjes kan kijken, is misschien wel weer handig. Frits: Ik weet het niet. Niels: Maar daar moet je rekening mee houden. Frits: Daar moet je rekening mee houden. Niels: Dat is belangrijk inderdaad. Niels: Ik was nieuwsgierig, je hebt dus heel mooi prototyping, daarna implementatie, validatie. Niels: En naar productie. Niels: Welke uitdagingen zijn er nog tegenaan gelopen? Frits: Ja, nee, nee, nee. Frits: Dus we hebben zeggen interviews, observaties gedaan, mock-ups. Frits: En wat ik net vertelde, daarna zijn we het gaan maken, zeg maar eigenlijk ook weer helemaal opnieuw. Frits: Scratch je aan. Frits: Dus dat vind ik eigenlijk ook een voordeel van code genereren. Frits: Dus niet voortbouwen op een of andere MVP waarvan je zei van dat is eigenlijk niet de bedoeling dat we daar mee naar productie gaan en dan toch toch stiekem doen. Frits: Want ze is toch zonde om weg te gooien. Frits: Het is toch van scratch even aan hebben we een werkbaar prototype gemaakt, noem ik maar even. Frits: Dus wat we gedaan hebben, is het specifiek voor één depo werkend gemaakt, zodat ze ook echt in productie mee konden werken. Frits: En dat we ook eigenlijk konden zien: wat komt er nou aan verschillende cases aan variatie binnen in zo'n week. Frits: En dan ontdek je toch alweer snel van ja, hier hadden we eigenlijk nog nooit van gehoord. Niels: Dan krijg je als je vraag naar de laatste vijf cases die bij zat, waar weet je niet. Frits: En dat hebben we anderhalve weken gedaan. Frits: En dan moet je voorstellen, daar hebben we nog niet netjes alle integraties. Frits: Dus ze moesten een download maken uit dit systeem waarin we nu de cases behandelen en dan in Excel inladen. Frits: Maar dat is allemaal niet erg, maar dat konden we in ieder geval zien van hoe werkt dit, hoe gaan mensen ermee om? Frits: Snappen ze het? Frits: Want uiteindelijk, daar werkten vier mensen op de afdeling. Frits: Twee hadden we al een keer meegenomen in het klikbare prototype, uiteraard moesten het nu nog een keertje even uitleggen, want er waren ook wel wel dingetjes. Frits: Iets veranderd. Frits: Maar zij hebben het ook weer uitgelegd aan twee andere medewerkers. Frits: En werkt dat dan? Frits: Wonderbaarlijk werkte dat. Frits: We konden meten over hoe snel waren ze aan het begin. Frits: Niet dat snelheid alles is uiteindelijk, maar is wel ook een factor. Frits: Hoe snel waren ze aan het begin van de week met een taken los en hoe snel aan het eind van de week, en zag je dat ze uiteindelijk twee en een half keer sneller waren. Frits: Dus je merkte wel dat ze het makkelijk oppakken. Joop: En dat was dan ook neem ik aan sneller dan hoe ze het eerst deden. Frits: Ja, dat sowieso. Frits: Wij kwamen daar geloof ik een donderdag, maakt het niet zo heel veel uit. Frits: Om een uurtje of tien. Frits: Er was één man en die begon volgens mij om acht uur, maar ik had tegen me gezegd, ja, weet je, doe vandaag nog geen keertjes, doe andere taken, maar geen cases, want wij gaan doen. Frits: Dus die vraag precies wat jij zegt, dat stapelt zich al op. Frits: En die man maakte zich enorm zorgen. Frits: Ja, maar vriend, hoe moet aan de slag? Frits: We had ook nog wat hoort, zeg maar, bij zo'n dag, in de opstart ging het toch nog even net wat mis. Frits: Authenticatie ging wat mis. Frits: Nou, moest even nog wat geregeld worden. Frits: Uiteindelijk konden we geloof ik 11 uur aan de slag. Frits: Die man was al helemaal zenuwachtig, want ja, hele berg met werk achterstand en hoe krijg ik dat weg. Joop: Was die achterstand. Frits: Dus dat was uiteindelijk ook weer ook weer geluk bij ongeluk dat je dat kon zien. Frits: Maar vooral ook hoeveel van de taken kunnen ze uiteindelijk kan je echt volledig automatisch doen of hoeveel taken eigenlijk of hoeveel cases kan je afhandelen met één of twee taken waar een mens aan te pas komt. Frits: Dat soort dingen konden we allemaal meten. Frits: En konden we ook weer kijken van wat werkt, wat werkt niet. Frits: We hadden gewoon een bericht opgesteld naar bezorgers en bezorgpartners. Frits: Maar we hadden daar wat extra informatie aan toegevoegd. Frits: Maar daardoor was bijvoorbeeld het adres, wat op afgeleverd was, was veel minder duidelijk als in de andere template. Frits: Dus in het begin kregen we heel veel mailtjes terug van over welk adres gaat dit. Frits: Dan kan je dan even de plekje snel aanpassen en testen. Niels: Het is ook echt wel een keten, niet alleen intern proces, maar je hebt natuurlijk met externe partijen te maken die eigenlijk allemaal mee moet nemen. Niels: En zo toch waar hebben jullie echt goed doordacht. Niels: Meegenomen, hoe ga je adoptie, hoe ga je gebruiken, hoe ga je goed inzetten. Frits: Ja, dus als je bijvoorbeeld ineens mails, we gingen een mails sturen bijvoorbeeld van een ander adres, even tijdelijk. Frits: Als je ze gewoon stuurt naar een x-aantal bezorgpartners, die krijgen ineens mails van een ander adres en die denken het zou spam zijn. Frits: Dus moeten ze bijvoorbeeld al van tevoren even informeren. Frits: Let op, je krijgt even gedurende anderhalf weken van dit adres. Frits: Maar uiteindelijk kan je dus ook feedback van hun meenemen. Frits: Dat was ook heel mooi, doordat we dat gezegd hadden dat we met deze pilot gingen, waren ook twee bezorgpartners die gewoon na de eerste dag hadden gezegd van nou. Frits: Mooi dat jullie hier weer bezig zijn en we zien dit als verbetering, maar dit en dit vinden we nog lastig. Frits: En dit kan wat ons betreft beter. Frits: Nou, hartstikke mooi meegenomen. Frits: Dan kan je meteen aanpassen. Niels: En waar wil je heen? Niels: En dan komen we nu op jouw vraag. Frits: Dit was de pilot. Frits: Dat is eigenlijk waar we staan, hebben nu besloten om het ook echt te gaan maken. Frits: Dus ik zie het ook echt steeds als een investeringsbeslissing. Frits: Ik ben begonnen met een vraag. Frits: Ik ben eerst gaan kijken wat is nou echt het probleem. Frits: Dan heb je zegt, oké, nou dat probleem, dit is het probleem. Frits: En wat ik kan doen, is voor dit bedrag kan ik gaan kijken naar wat zo de allerbeste oplossing zijn en dat valideren met de mock-up. Frits: Vind je dat oké? Frits: Nou, prima. Frits: Dat gedaan, te zeggen, een prototype maken, zoveel. Frits: En nu hebben we gezegd, als we dit in productie willen hebben, heb ik zoveel tijd nodig. Frits: Zoveel mensen, dit gaat het kosten, dit gaat het opleveren, willen we dat. Frits: Dus eigenlijk stap voor stap iedere keer kijken, levert ook echt iets op. Frits: En hoe verhoudt zich dat tot de kosten die moeten maken? Niels: Hoe blijf je dan toch klein? Niels: Want je wil kleine stappen maken, maar wanneer is het klein, wanneer is het te klein? Joop: Wanneer is het te groot zou ik haast willen zeggen, want je eerder dat je dat je te groot maakt dan te klein zoeken. Frits: Ja, dus ik kijk gewoon heel erg naar het doel van wat wil ik dan in zo'n stap bereiken. Frits: Dus in dit geval wilde ik eigenlijk alleen maar zien die mensen daarmee omgaan. Frits: Dus voor mij was de hypothese was, snappen die mensen dit in product. Frits: Hoeveel cases bestaan er nog waarvan ik niet weet wat het is, dus werkt dat, zeg maar, en kun je die mensen er zelfstandig mee omgaan. Frits: Dus dat wilde ik testen. Frits: Dus we hebben uiteindelijk dat gemaakt om die hypothese, wat nodig is om die hypothese te toetsen. Frits: En niet zozeer nu al gefocust op, hoe maak ik dit schaalbaar of dat dingen. Niels: En had je casus 1. Niels: Ik zie je op zijn vinger, maar gaat op een vraag stellen. Niels: Casus 1, casus 2, één heb je veel geleerd, van twee ben je nog aan het leren. Niels: Wat wil je minimaal meenemen naar je volgende casus qua leren? Frits: Goede vraag. Frits: Er zijn eigenlijk zoveel dingen nieuws. Joop: Een top drie voor de luisteraars meteen. Frits: Nee, zeker zeker zeker. Frits: Dus ik zit gewoon te denken. Frits: Dus voor mij wat ik al zei, goed product begint bij de gebruiker, dat ze altijd zijn. Frits: En ik denk specifiek in deze gevallen is voor mij hoe hou ik die gebruiker betrokken en ook overzichten dat ze het ook echt snappen. Frits: En ik denk voor de mensen die het maken, want we proberen ook zeg maar nu met AI veel te maken. Frits: Is daar ook meer aandacht aan de mensen besteden als aan de techniek. Frits: Dus ik krijg ook andere gesprekken. Frits: Dus bijvoorbeeld iemand die zegt ja, Frits, vroeger wist ik precies van alles nog hoe ik hoe het zat, want ik had het helemaal zelf gemaakt, dat merkt trouwens zelf ook. Frits: Dat spuugt natuurlijk voor je het weet, spuugt het van alles uit en dan beklijft dat helemaal niet meer. Frits: Dus dat je daar bijvoorbeeld aandacht aan besteed. Frits: Het levert zoveel code op dat eigenlijk niet meer goed gereviewd. Frits: Nou ja, dan moet je misschien minder code genereren en meer met de hand doen. Frits: Ja, dat is niet efficiënt. Frits: Het gaat niet om efficiëntie, het gaat om kwaliteit. Frits: Dus ik denk die drie dingen. Frits: Begin bij de gebruiker. Frits: Zorg dat je die gebruiker betrokken houdt dat hij het over zich bewaart en besteed ook aandacht aan wat het anders maakt voor je engineers. Joop: En wat ik in je verhaal heb gehoord, is begin eigenlijk niet bij de techniek. Joop: We zitten hier in de AIToday Live. Joop: Maar het is niet je uitgangspunt. Frits: Nee, dus product management en vakmanschap van engineering. Frits: Dat blijft gewoon. Frits: Dus al die nonsens zou ik bijna noemen, van dit is dood blind in en dat is dood. Frits: Nee, helemaal niet. Frits: Als je ergens heel goed in bent, dan kan AI je helpen om daar sneller goed in te zijn. Frits: Maar als je er niet zo goed in bent, dan maakt AI ook dan heel snel niet zo goed. Joop: Lijkt me een hele mooie afsluiting. Joop: Dankjewel, Frits. Joop: Dankjewel dat je ons door die reis mee hebt genomen van de twee cases. Joop: Superduidelijk, hoop van geleerd, dankjewel alsjeblieft graag gedaan. Joop: Leuk dat je weer luisterde naar deze aflevering, vergeet je niet te abonneren via je favoriete podcast app. Joop: En we hebben een link naar onze nieuwsbrief. Joop: Daar krijg je inzicht van dingen die we achter de schermen doen, waaronder de vraag van de maand die we aan Frits nog gaan stellen, en aan de andere luisteraars van deze maand. Joop: Dus abonneer op de nieuwsbrief tot de volgende keer.