Hoe het Erasmus MC AI gebruikt om no-shows te voorspellen en de zorg te verbeteren.

[Muziek] Welkom bij een nieuwe aflevering van AIToday Live Met vandaag een van de speciale setting Niels is niet aanwezig in de studio Dus zijn stem zal ietsje anders klinken Mijn naam is Joop Snijder, CTO bij Aigency [Muziek] Mijn naam Niels Naglé En inderdaad, klinkt misschien wat anders, maar nog steeds Chapter Lead Data & AI bij Info Support Zit hier vanuit Rotterdam Precies, en vandaag hebben we aanwezig Ben Werkhoven bij het Erasmus MC. Ben, zou je jezelf even heel kort willen voorstellen? Ja, tuurlijk. Mijn naam is Ben Werkhoven. Ik werk nu bijna drie jaar als data scientist voor het Erasmus MC. Ik heb echt geen data science achtergrond. Ik ben in natuurkunde opgeleid. Daar heb ik een PhD in gedaan, maar die data analyse skills die ik daar heb opgedaan, die kan ik nu wel gebruiken voor machine learning en AI in de zorg. Ja, waar we jou voor hebben uitgenodigd is dat jullie als ziekenhuis in het nieuws kwamen rondom een hele succesvolle implementatie van een specifiek machine learning model. Zou je daar wat over kunnen vertellen? Ja, tuurlijk. Dat is een beetje mijn kindje eigenlijk. Want toen ik daar begon te werken bij Terrasmus ben ik eigenlijk ook daarvoor aangenomen om dat project te helpen opzetten. Het team waar ik nu ook in werk is toen echt net opgezet. Met als doel om te kijken, kunnen we met machine learning AI, kunnen we waarde toevoegen aan de zorg? Kunnen we iets moois neerzetten dat ook echt de zorg gaat helpen? Want ja, de zorg heeft natuurlijk allemaal kostenproblemen, capaciteitsproblemen enzo. En het Erasmus MC zet ook in op dat AI een van de technologieën is waarmee we dat probleem kunnen verlichten enigszins. Ja, en wat je best wel heel veel ziet, wat typisch in het nieuws komt, gaat over radiologie, oncologie. waarbij het altijd maar de vraag is hoe het gebruikt wordt. Of het daadwerkelijk zeg maar in het primaire bedrijfsproces, of in dit geval het ziekenhuisproces, gebruikt wordt. Maar jullie hebben iets heel anders gedaan. Ja, wat wij graag wilden doen, vooral omdat we dus een klein experimenteel team waren, dus wij wilden iets meer iets lager hangend vrij doen. Want die radiologie, dat zijn hele mooie projecten, maar ze zijn heel ingewikkeld vooral om in een werkproces te krijgen. Vooral omdat je ook heel veel regulatie hebt. Als je direct in de patiëntzorg gaat zitten, moet je er veel meer regels voor doen. Dat is heel logisch. Wat wij dachten te doen, is dat we niet direct in de zorg gaan zitten, maar we gaan in het hele logistieke proces daaromheen zitten. Dat is wat wij de bedrijfsvoering van de zorg noemen. En dat is eigenlijk een heel groot deel van de zorg. Dat is gewoon zorgen dat bijvoorbeeld de patiënten bij een poliklinische afspraak komen, of opgenomen worden. Dat is een enorme logistieke operatie, waar heel veel geld en capaciteit naartoe gaat. Dus als je daar iets kan verbeteren, dan kan je ook heel veel winnen. En het is veel minder strak gereguleerd, dus de regels zijn veel minder streng, omdat de risico's veel lager zijn. Dus als je fout maakt met je radiologiemodel, dan heeft dat een flinke impact op iemand. Als je fout maakt met ons no-show model, dan heeft dat een redelijk minimale impact. Ja, want dat is wat jullie gemaakt hebben, hè? Een no-show model, oftewel voorspellen of iemand wel of niet komt opdagen bij zijn... Hoe noem je dat? Bij de afspraak. De poliklinische afspraak. - De poliklinische afspraak. Ja, dat hebben jullie gemaakt, toch? - Ja, precies. Dus wij geven dan een aantal dagen voordat de afspraak gepland is... ...doen wij een risico-inschatting voor de patiëntenpopulatie van die dag. En als mensen boven bepaalde grenzen uitkomen voor een kans om een no-show te zijn... ...dan geven wij ze een herinnering. - O ja. Een telefonische herinnering. - Telefonisch? Ja. - Maar dat is denk ik wel anders dan... ...andere systemen. De mensen, ik ben gewend, ik kom nog wel eens in het UMC Utrecht... En dan krijg ik vijf werkdagen, dus dat is het belangrijke. Vijf werkdagen van tevoren krijg ik een sms'je. Je hebt over vijf werkdagen een afspraak. Dus dat betekent op donderdag dat ik een sms'je krijg voor de dinsdag. Vier werkdagen zijn dat dan. Die ben ik echt helemaal kwijt hoor, op maandag of op dinsdag. Ja, dat snap ik. Wij bellen drie werkdagen van tevoren. Dus wij bellen ook het weekend over. Maar we hebben expres gekozen inderdaad voor een telefonische herinnering. Daar hebben we even goed naar gekeken ook. Want als je zo'n voorspelling hebt van no-show, wat doe je daar precies mee? Een sms-herinnering, er wordt al heel veel gedaan, omdat het heel makkelijk te schalen is. Je hoeft niet eens een AI-model voor te gebruiken. Nee, je doet het gewoon aan iedereen. Maar wat meerdere studies ook lieten zien, is dat zelfs als je een sms-herinnering hebt, Als je daarbovenop ook nog eens belt, heeft dat gewoon een grotere impact op mensen. - Oh ja. - Simpelweg, ja. Als je gebeld wordt, heeft dat veel meer impact op jezelf, op je herinnering, ten opzichte van een sms, wat veel passiever is eigenlijk. Naast dat een telefoontje ook nog eens mensen de gelegenheid stelt van, "Nou, met deze afspraak kom ik niet uit, dus ik ga nu alvast afzeggen." En dan kan het nog herplanned worden. Dus als je drie werkdagen van tevoren je poliklinische afspraak hebt geannuleerd, dan is er nog tijd om iets nieuws in te plannen voor de polikliniek. Terwijl als je dat de dag zelf afbelt, stel je hebt om 12 uur een afspraak en je belt om 10 uur 's ochtends, ja, ik kom toch niet, dan heb je nog steeds een tijdslot... wat niet gebruikt moet worden, dat is gewoon verspild middelen eigenlijk. Ja, en daarom heb je natuurlijk ook al dat je het niet kan schalen. Sorry Niels, jij bent zo... Wij kunnen elkaar niet zien, dus luisteraar Niels die kijkt wel naar Ben, maar niet naar mij. Dus het is af en toe een beetje lastig om te kijken van wie stelt nou welke vraag. Dat betekent dus ook dat je een echte model nodig hebt. Want het bellen kan je niet schalen, dus je moet echt voorspellen wie niet op komt dagen, zodat je de mensen met de hoogste kans, denk ik, dat je die nabelt. Ja, precies. Dus de waarde van AI in dit proces, vooral ten opzichte van sms, is dat ze maar een relatief klein deel van de patiëntpopulatie hoeven te bellen, omdat bellen niet schaalbaar is. Het heeft een hoog impact, maar het is niet schaalbaar. Dus met een AI-model kunnen we zeggen, nou, we hadden in eerste instantie 35%, maar dat gaan we verlagen naar 20% van de hoogste risicopatiënten per dag. Die bellen we. Nou, dan gaat je capaciteit wat je nodig hebt om te bellen, gaat ineens met 80% omlaag. Ja, wow. -En dan in één keer, dan kan je zelfs het geld eruit halen. Want gewoon zoveel mensen bellen, kost gewoon heel veel geld eigenlijk. Ook al, ja, we bellen wat studenten. Nou, het zijn niet de meest dure medewerkers om te betalen. Maar toch, als je iedereen gaat bellen, dat kost gewoon heel veel tijd. En dat is ook heel veel geld voor het ziekenhuis. Maar als je dus heel gericht kan bellen op die hoog risico groep, dan kan je nog steeds heel veel no-shows voorkomen. En elke voorkomende no-show levert ook weer nieuwe capaciteit en geld op. Maar je hoeft dus minder te besteden om die no-shows te voorkomen. Dus daar kan je ook echt een kostenbate analyse doen, die wat ingewikkelder is dan we in eerste instantie dachten. Maar goed, je kan er in principe wel wat over zeggen. En dan kan je laten zien dat je dit geld eruit kan halen. Ja, mooi. Niet alleen maak je de zorg beter voor de patiënten, omdat ze meer opdagen of je haalt onnodige afspraken weg, maar je kan ook zoals het ziekenhuis zelf helpen door gewoon geld te besparen. Dat is de waarde van het ziekenhuis, vooral in deze tijd. Jazeker. Niels? Ik was wel nieuwsgierig naar wat voor factoren worden meegenomen om te bepalen wanneer iemand een no-show is. Ja, dat was voor ons echt gewoon een beetje graven in het EPD. Er wordt natuurlijk heel veel geregistreerd, maar je bent heel erg afhankelijk van hoe dat proces zit en wat wel en niet geregistreerd wordt. Dus sommige hele belangrijke dingen die we zouden willen hebben, bijvoorbeeld verkeersinformatie of zo, die kan je misschien doen met een Google API, maar dat is wat ingewikkelder om erin te verwerken dan dingen die we al gewoon in het EPD kunnen vinden. Dus in eerste instantie hebben we gewoon in het EPD gezocht, wat wordt er nou precies geregistreerd? Dan krijg je simpel de dingen als de leeftijd. Dat is een heel straightforward ding om erin te verwerken. Bijvoorbeeld ook consulttypen. Wat voor soort consult komt de patiënt voor? Want als het wat heftiger is, dan is de kans groter dat ze komen opdagen. Voor chemo kom je eerder opdagen dan voor een routine. -Ja, precies. Dus daar hebben we ook naar gekeken. Maar ook hele, ik denk al, redelijk Erasmus-specifieke dingen. Want wat we bij het Erasmus hebben, zijn aanmeldzuilen. Dus als een patiënt binnenkomt, dan log je in bij een aanmeldzuil... en die tijd wordt ook geregistreerd. Wat we hebben kunnen doen, is een soort van stiptheid... of punctualiteit van de patiënt categoriseren. Dus hoe ver voor een afspraak is deze patiënt gemiddeld aanwezig? Dus dan krijg je iemand die bijvoorbeeld vijf minuten te vroeg is... een iets hogere kans dat die de volgende keer ook komt opdagen. Terwijl als iemand structureel te laat is... is het een iets lager kans dat je komt opdagen de volgende keer. Dus daar hebben we ook naar kunnen kijken. Slim. Nogal een vervolgvraag, ik hoorde je net zeggen inderdaad, we gaan dan actief bellen als we verwachten dat het een no-show is, waardoor eigenlijk de categorisatie van een no-show eigenlijk niet meer van toepassing is, omdat de persoon toch komt opdagen. Hoe gaan jullie daarmee om in het model? Ja, dat is inderdaad een goede vraag. Hoe wij het nu doen, ik weet niet of het langetermijn houdbaar is, Dat is een vraag waar we nu wel mee worstelen. En daar moeten wij als team iets mee. Maar ik denk ook als AI-veld in het aantal mensen die we hebben geïnterviewd, dat we ook een model hebben van hoe we dat kunnen doen. En dat is een heel belangrijk punt. Want we hebben een model van hoe we dat kunnen doen. En dat is een heel belangrijk punt. En dat is een heel belangrijk punt. En dat is een heel belangrijk punt. En dat is een heel belangrijk punt. En dat is een heel belangrijk punt. En dat is een heel belangrijk punt. En dat is een heel belangrijk punt. En dat is een heel belangrijk punt. En dat is een heel belangrijk punt. En dat is een heel belangrijk punt. En dat is een heel belangrijk punt. Als AI-veld in het algemeen, hoe doe je dat met modellen die al een tijdje lopen... en waar een interventie op gedaan wordt? Want dan kan je niet zomaar hertrainen. Dus niet blind hertrainen. We zoeken uit technieken van hoe je toch nog je model herijken of hertrainen. Dus gewoon door de tijd verschuift gewoon bepaalde waardes... of meer oudere mensen komen opdagen of zo... en dat beïnvloedt dan ook weer de voorspelling die je model maakt. Ja, of hoe als mensen vaker zijn gebeld... Dat dat betekent dat je een tijdje nog, dat ze wel op komen dagen... en misschien als dat er straks weer af gaat, dat dat dan weer wegvloeit. Ja, precies. Ja, daar hebben we nu nog geen antwoord op hoe we dat precies gaan doen. Snap ik. Maar daar moeten we wel iets mee. Ja. Hé, en kan je iets vertellen over die besparing? Want je ging daar best wel vlot overheen. Zo van, ja dat betekent dat voor alles waar mensen niet voor komen... Kan je misschien nu wel iets herplannen? Kan je iets vertellen over de orde van grootte waar we het over hebben? Van het geld waar we het over hebben? Geld of uren of waar je het ook in uitdrukt, zeg maar, het succes van het model? Ja, ik denk dat je hebt meer kwantitatieve voordelen en meer kwalitatieve voordelen. Kwalitatief denk ik meer aan dat het gewoon fijn is voor de patiënt om herinnerd te worden. Maakt het ook beter voor de politieke. Het kwantitatieve, daar kom je ook financiële uit. Dat komt eigenlijk vooruit uit het feit dat je meer afspraken kan doen per jaar. Dus omdat je, laten we zeggen, 20% minder no-shows. En je bezettingsgraad gaat omhoog. Gewoon extra afspraken die je hebt. En elke afspraak is in principe geld voor een ziekenhuis. Het is lastig om dat echt in harde euro's uit te drukken, omdat er een gekke financieringsstructuur in de zorg zit. Die snap ik ook niet helemaal, maar je betaalt niet per afspraak. betaald voor een zorgpad. Dus een set afspraken of set interventies. Dus als je één afspraak daarvan, van de no-show naar een show zet, is dat niet één op één in geld om te zetten. Dus hoe we het meer gedaan hebben, is dat we weten wat het kost om te bellen, want dat is eigenlijk gewoon de telefoniste. Dat kun je gewoon heel makkelijk uitrekenen. We kunnen afschatten hoeveel no-shows we hebben voorkomen. We hebben een testgroep en een controlegroep, dus we kunnen heel goed, het is gewoon een randomized control trial, we kunnen heel goed afschatten zoveel no-shows we hebben voorkomen. En dan kan je uitrekenen hoeveel het kost om één no-show te voorkomen. Ja, precies. Dan kom je uit op 25 euro of zo. 20 tot 25 euro. Oké, wauw. Dat is niet zo heel erg veel. Toch wel, want uiteindelijk gaat dat allemaal stapelen. Ja, één no-show voorkomen voor het ziekenhuis kost dus maar 20, 25 euro. Maar de opbrengst van een consult is veel hoger dan dat. Dus de goedkoopste zullen rond de 80 euro liggen of zo, wat je vergoed krijgt van de verzekering. Ja, precies. Dus dat geld haal je er heel makkelijk uit, ook al kunnen we niet heel direct zeggen dat we zoveel geld hebben bespaard. Het is wel duidelijk van, zoveel kost het per notion voorkomen, maar je haalt er wel echt meer uit dan alleen dat. Ja, want dat kwantitatief gaat natuurlijk over, het moeilijkste in de zorg is dat mensen trouw zijn aan bijvoorbeeld het slikken van hun medicijnen, aan het opvolgen van het advies van de arts en allemaal dat soort zaken. Dus als je op een gegeven moment uit beeld raakt van je consult, ik neem aan dat dat inderdaad heel moeilijk te meten is, maar dat zijn wel de dingen waar je aan bijdraagt. Ja, dat is wel het idee. Dat is wel het idee inderdaad, ja. Dat we de communicatie tussen de patiënt en het ziekenhuis ook gewoon echt beter maken. Dat zagen we bijvoorbeeld ook in de notities die telefonisten maken. Dat is heel leuk om erheen te scrollen. Soms maak je notities van hoe is het gesprek gegaan. Soms staat erin, ja, mijn vrouw heeft deze afspraak afgezegd, maar blijkbaar staat het nog steeds in het systeem. En heeft al meerdere keren gebeld. - Oh, je krijgt ook procesverbeteringen eigenlijk. - Dat soort dingen komen er heel toevallig uit. Dat het ook gewoon soms frustratie bij de patiënt, of gewoon een foutje die het ziekenhuis maakt, of gewoon administratiefout, dat gebeurt gewoon. - Ja, tuurlijk. - Die haal je dan ook gewoon uit. En dat maakt het gewoon minder frustrerend voor eigenlijk zowel het zorgpersoneel, de polikliniekmedewerker, als de patiënt zelf, dat die communicatie veel meer op één lijn brengt. Wat geweldig. - Mooi. Wat is één van de dingen die je zelf geleerd hebt? Want je zegt, ik ben hier drie jaar mee bezig, niet per se een data science-achtergrond. Wat was voor jou het ding, als je nu drie jaar terugkijkt, dat je denkt, dat had ik echt nooit gedacht, dat heb ik geleerd? Ik denk voor mij een van de belangrijkste lessen die ik heb geleerd is... hoe belangrijk de toepassing is voor hoe je data science, AI-modellen ontwikkelt. Hoe je dat doet. Dus bij ons is altijd de toepassing van hoe gaan we de voorspelling ook echt... in het zorgproces krijgen, dat staat eigenlijk centraal aan hoe we het doen. Heel veel... Ten opzichte van, want je zet het ergens tegen af... Dus ik denk dat je een beeld hebt ten opzichte van... Ja, dus voor ik de overstap maakte van natuurlijk naar data science... en dan ga je door wat van die simpele cursussen heen... en daar zie je eigenlijk... Die cursussen zijn, nu ik zo terugkijk, niet een hele goede weerspiegeling... van hoe wij ook echt data science doen. Het is heel gericht op het hele technische. Terwijl... En dat is natuurlijk ook een deel van de i, de hele technische... van hoe werken die modellen precies. Maar voor ons is het veel meer niet zozeer hoe werkt het model precies, maar hoe gaan we dit model gebruiken. En wat voor voorspellingen willen we het model laten maken, dat het ook echt nuttig is voor de toepassing. Dus om het even terug te betrekken op NoShow, wat ik daar altijd interessant vond, is dat we hadden twee toepassingen die we overwogen. Eén is het vooraf bellen, en de andere was het overboeken van afspraken. Dus ik kan ook zeggen, nou, een hele hoog risico op NoShow, we gaan die gewoon over elkaar inboeken. Als er een die komt opdagen... -O ja. Eigenlijk wat de vliegtuigmaatschappijen doen. Ja, dat is wat de vliegtuigmaatschappijen doen. Daar kwam het idee ook vandaan van een collega van mij. En het verschil tussen die twee, merk je bij het ontwikkelen van de model zelf, is dat bij de ene toepassing willen we de precision heel hoog hebben, en bij de andere toepassing wil je de recall heel hoog hebben. Dus hoe je je model ontwikkelt... We hebben best wel hele brede luisteraars geroepen. Zou je Precision en Recall heel klein beetje kunnen uitleggen? Met Precision bedoel ik, als het model zegt dat een afspraak een no-show gaat worden, welk percentage van die voorspelling van het model is ook echt correct? Dus eigenlijk, het zit een beetje in de naam, hoe precies is de voorspelling van mijn model op de risicogroep? Dus bij de afspraakherinnering, een foute notions voorspelling is niet zo erg. Dan krijgt iemand een telefoontje die anders toch was komen opdagen. Die is twee minuten van zijn tijd kwijt en nog steeds heb je wel iets van communicatie gehouden met het patiënt. Dus dat is niet zo erg. Terwijl zo'n zelfde foute voorspelling bij het overboeken, dat is ook een heel goede voorziening. En dan heb je ook een heel goede voorziening van de verantwoordelijkheid. Terwijl, zo'n zelfde foute voorspelling bij het overboeken, dat is wel een probleem. Want dan staat ineens je wachtkamer voor een patiënt. Ja, dan heb je een dubbel aantal patiënten die dag. Ja, niemand is thuisgebleven. Dus dat is gewoon de impact van hoe je je model gebruikt op hoe je je model ontwikkelt. Die interactie, het is niet zomaar van pak je je metriek en we verhogen de accuracy of zo. Je moet er heel goed nadenken, wat is het proces waar we in terechtkomen... en hoe gaan we daar een impact op hebben? Want bij opleidingen zie je dat heel veel, hè? Dat er heel erg wordt getraind op nauwkeurigheid, accuracy... dat ze hoog mogelijk krijgen. Terwijl, waar je het nu over hebt, dat zijn de dingen die van belang zijn. Want daarmee stuur je uiteindelijk ook gedrag... van de mensen waar het model ook voor bedoeld is. Ja, precies. Uiteindelijk moet iemand het gaan gebruiken. Iemand moet er iets mee gaan doen. En het moet in een werkproces terechtkomen. En daar moet je op aanhaken. Want anders ga je opleggen van je moet het nu zo doen of zo. Het geheim niet met hoe het in de praktijk werkt. Vooral niet als je afstand met de eindgebruik. Zo moet je het gebruiken of zo is het goed voor jou om te gebruiken. Dan hebben ze ook geen zin in. Het zorgpersoneel is druk genoeg. Dus als je onzin dingetjes gaat opleggen, dan hebben ze niks aan het hebben, dan haken ze snel af. Het voordeel bij het No-Show-model is dat onze eindgebruikers zijn de telefonisten. Dus het is een soort van parallel proces van de poliklinieken. Dat is redelijk uniek aan dit No-Show-model. Bij andere projecten is dat veel minder zo. Dus je gaat een beetje langs de poliklinieken heen. Maar goed, we bellen wel hun patiënten, dus we moeten wel goed met hen afstemmen. Dit gaan we nu doen met jullie patiënten. En toen we dat in eerste instantie deden, Dit gaan we nu doen met jullie patiënten. En toen we dat in eerste instantie deden, een beetje gemengde reacties. Sommigen vonden het interessant. Sommigen waren bezorgd. Wat gaan jullie allemaal met de patiënten doen? Maar je praat ze een beetje bij en ik denk, dat is op zich wel interessant. Maar een heel klein groepje was ook wel van trouw. Van, gaat dit model nu onze patiënten zitten profileren? Is dit wel ethisch om dit zo te doen? En dat zijn hele terechte zorgen. Het kan helemaal fout gaan als je dat niet goed aanpakt. Maar dat was dus wel in eerste instantie een beetje gemengd. Het meeste positief, maar een aantal waren ook wel heel voorzichtig, heel sceptisch. Die zorgen hebben we nu al kunnen wegnemen. We zijn gewoon met ze in gesprek gegaan. Zo werkt het. En eigenlijk het enige wat we doen is een extra dienst boven wat we nu al doen. We zijn niet aan het profileren. De features die het model gaat zorgen echt voor dat hij niet aan het profileren is. En nu zijn ze eigenlijk allemaal heel positief. Wat leuk. Nu zijn we aan het opschalen. Het begon eerst heel klein op één polikliniek. Ja. Vergroot naar 23 en nu gaan we naar alle poliklinieken. Wauw. En eigenlijk elke keer als ze langsgaan zeggen ze, ja leuk, wij willen graag meedoen. Ja. En dan hebben ze natuurlijk van elkaar al gehoord. Ja, precies. Dan krijgen we inderdaad een ontmoet. Ja. Het klinkt als een hele menselijke aanpak van AI inbouwen in een werkproces en oplossing. Wat ik me nog afvroeg is, bij het opschalen, ben je daar nog bepaalde uitdagingen tegengekomen die je had verwacht of niet had verwacht en hoe hebben die getackled? Ja, er komen altijd veel uitdagingen op kijken bij opschalen. Een is wat technischer van aard, daar hadden we gelukkig een beetje op ingespeeld, Dat je je code moet ermee om kunnen gaan. Vooral toen we de eerste kleine pilot bij één polikliniek deden, is het heel verleidelijk om je code ook heel maatwerk voor die Eén Polikliniek te geven. Maar uiteindelijk moet er gewoon iets staan wat elke dag draait, wat elke dag een bellijst klaarzet, waar je niet elke dag naar hoeft te kijken. Je wil gewoon dat je als ontwikkelaar dat het ding gewoon staat te doen wat het wil, wat het moet doen. Dus je moet je code daar gewoon op inrichten dat het schaalbaar is. Dat je gewoon, als ik nu een polyclinic toevoeg, daar ben ik toevallig deze week ook mee bezig, dat ik gewoon een polyclinic code toevoeg aan de code, door de hele pipelines heen draai. Natuurlijk wel eventjes een check van, ziet het model er oké uit? Maar dat ik het daarna door kan zetten naar productie en dan is het, ja, niet al te veel tijd die ik daaraan kwijt ben om... Een fluitje van de cent, wou je zeggen? Dat wil ik ook niet zeggen. Relatief. Relatief gezien wel, ja. Ja, want dat is wel wat je wil, ja. Ja, dus daar hebben we ook goed op ingezet als team. Niet vanaf het begin of aan, wat we misschien wel hadden moeten doen, maar op een gegeven moment wilden we gaan opschalen. Nu moet onze code ook echt schaalbaar zijn. Zodat het ook voor onze andere projecten, dat we dezelfde logica erachter inbouwen, zodat het goed schaalbaar blijft. Dat is denk ik al redelijk gelukt. Dat is een hele technische uitdaging. Een meer praktische uitdaging voor Opschalen is dat je... Je moet gewoon even bij iedereen langs. Je gaat een patiënt bellen. Je moet ze even aanhoren. Maar goed, we hebben het over het Erasmus MC met... Dat zal zijn 80-plus polikliniek. Zo, ja. Sommigen zijn het gewoon goed beheerd wel. Maar we zijn er eventjes mee bezig. Iedereen moet gewoon ook zijn zeggen kunnen doen. En zeggen van, dit is belangrijk voor mijn patiënten. Dan halen wij ook hele nuttige dingen uit. Eentje zei bijvoorbeeld dat hij voor ons heel relevant of er een bloedprik van tevoren is gedaan. Oh ja. Dan gaan we zoeken of we er inderdaad wat aan kunnen prikken. Ja. Eentje zei, als een patiënt opgenomen is, dan hoef je niet te bellen. Dan kan hij geen kant op. Dus dat is ook hele relevante informatie en ideeën die we daar dan uit halen. Dus dat is ook nuttig, maar goed, het kost wel veel tijd. Ja, nou wordt dat ook, wij zien dat natuurlijk ook, van het maken van een model. Dat is eigenlijk de speldenprik in je hele oplossing. Heb je dat ook zo gevoeld met waar je nu mee bezig bent? Jazeker, ja. Voor mijn gevoel, dat hangt een beetje vanaf welke fase, maar van een heel AI-project ben je 50% bezig met gewoon de data opschonen. Ja. Dat is gewoon heel messy. Dat opschonen en dat klaarmaken voor een model kost gewoon zoveel tijd. En dan het model zelf, dat is heel vaak gewoon een lijncode van model.fit. Dat is een beetje schoon te doen. En daarna is er een deel, zeggen we 20%, gewoon in de performance goed checken. Statistische relaties en zo. Dat laatste is eigenlijk de praktische richting. Afstemmen met de eindgebruikers, met de stakeholders. Voordoet het aan hun verwachtingen? Want zij hebben ook al bepaalde verwachtingen in het project. Klopt het nog met de praktijk, met de realiteit? Zij hebben een bepaald registratieproces. Kunnen we daarop aansluiten? Daar moeten wij uiteindelijk onze data uit halen. Dus dat laatste is eigenlijk de praktische richting. Afstemmen met de eindgebruikers. en ook onze data uit te halen. Dus dat laatste deel is ook gewoon echt heel praktisch van aard. Precies. Om af te stemmen met de eindgebruikers. Ja. Hé, en had jij vraag Niels of niet? Nee, nee. Ik was gewoon aan het luisteren en ik zei ja. Oké, ja. Nee, omdat we, ja, we elkaar niet zien. Dat is af en toe een beetje lastig. In de studio keek je elkaar zo aan, weet je, beetje precies van, oh ja, die gaat de hele vraag stellen. Wat ik... Nou ontschiet hij me omdat we dit zo hebben. O ja, je zei van ik ben drie jaar geleden begonnen. En ook aangenomen voor dit traject. Zijn jullie ook echt daadwerkelijk drie jaar bezig geweest voor de eerste implementatie tot aan productie? Nee, niet tot de eerste implementatie. Ik denk binnen een jaar hadden we eerst de pilot op één polikliniek gedaan. Ik ben in december aangenomen en die pilot hebben we in augustus naar gedraaid. En dat is op één polikliniek. En daar kwam ook nog covid-dingen doorheen. Ja, even een dingetje. Dus als je op de IT-afdeling van een ziekenhuis werkt in covid-tijd, dan wordt je tijd soms gekaapt om even iets covid-19 te doen. Snap ik, maar goed, dat heeft wel wat vertraging opgeleverd. Maar dat is eigenlijk in een paar maanden tijd van idee naar productie, eerste poli. Dat is echt super kort. Wel netjes. Ja, het is heel lastig. De echte doorlooptijd was uiteindelijk ongeveer een jaar, want het is net iets eerder gestart dan ik daar begon. Maar omdat er zoveel tussendoor is gekomen, is het sowieso korter dan een jaar. Maar hoeveel korter, dat weet ik niet. Nee, precies. Maar wel netjes gedaan. Ja, omdat we vanaf het begin af aan wilden inspelen op, we willen implementeren. We willen naar de praktijk, we willen er een theoretisch feestje van maken. Want we zagen al in het ziekenhuis wat heel vaak gebeurt, is een van de PSD die maakt een heel leuk model, heel interessant, die publiceert en is dan weg. En dan heb je zo'n model, die ligt in de stoffen. Dan is alles ingestemd, afgestemd op de praktijk. Nog steeds is er dan niet de know-how of de wil, of wat dan ook wat nodig is om het te implementeren. Dus daar zaten we vanaf het begin af aan op, van oké, we willen implementeren, en daarvoor moeten we dus eerst aantonen dat het werkt. Dat je er ook echt wat aan hebt. En daarvoor hebben we dus zo'n pilot, eigenlijk twee pilots hebben we gedaan, om dat effect van deze beldienst aan te tonen. En ik denk dat het super belangrijk is, hè, de eerste waarde. Ja, precies. Dus we kunnen ook heel leuk zo'n beldienst opzetten, maar als we dat gewoon zeggen bij een polyclinic manager, Ja, we gaan nu een beldienst voor je inrichten. Ja, dat moeten we doen. Tot nu kunnen we zeggen, we hebben een randomized control trial gedaan. We zien gewoon dat het dojo percentage in zijn geheel met ongeveer 15% afneemt als je dit doet. En waarschijnlijk verlies je er geen geld aan. Daar gaan ze mee doen. Daarom zijn ze enthousiast. We gaan zien wat hij zegt. Het kost ze eigenlijk helemaal niks. Ja, geweldig. Niels, wil jij nog even vragen stellen? erbij? Ja zeker. Komt hij zo een beetje zo in een keer binnen. Ik hoor ook ineens gedraaid zie ik. Oh joh, wat een interessant gevaar is zo. Wat ik me afvroeg is, zijn er ook verrassende effecten bijgekomen bij het zoeken naar de implementatie. Dus proces naar implementatie. Wat we hebben gezien is dat dit project een soort van start is geweest om op een bredere manier NoShow aan te pakken. Dus deze beldienst is gezet in een breder project om ook de registratie die rondom no-show meer te egaliseren in het ziekenhuis. Want je hebt zoveel verschillende poliklinieken, ze hebben de neiging om alles op hun eigen manier te doen. Wat ook betekent dat alles weer op een eigen manier en de data bezig is. Dus de vraag is, wat is onze no-show percentage nou eigenlijk? Dat is heel lastig te beantwoorden voor managementadvies en zo. Dat is eigenlijk heel gek, want dan wil je gewoon wel een goed beeld hebben, van wat is nou de no-show van deze polikliniek? En als ik het over no-show heb bij de radiologie, moet ik hetzelfde hebben als bij NoShow bij Dermot. Precies. Dus je moet ook nog eens dezelfde definitie hanteren. Ja. En dat op dezelfde manier ook registreren in de database. Dus het is onderdeel van een groter project om dit soort bredere thema's rondom NoShow aan te pakken. Kunnen we het goed registreren? Kunnen we er één waarheid hebben als ziekenhuis? Dit is nou ons NoShow-percentage. En welke definitie hanteren we dan? Dus eigenlijk ben je onderdeel ook nog eventjes de datakwaliteit aan het ophogen. Dat is de hoop. - Niet alleen dat. Dat doen de andere afdeling. Die gaat echt langs. Hoe doen jullie registreren nou precies? De lean methodiek en zo. Maar ik merk wel dat dit project wel dat soort dingen in gang heeft gezet. Dat daar beter naar gekeken wordt. Ook de definitie die wij hebben neergezet in dit project, dat wordt ook de definitie van het EMC. Ja, precies. Dus niet alleen is er iemand geregistreerd als no-show, Maar ook bijvoorbeeld heeft iemand heel kort van tevoren afgemeld. Als je de ochtend van tevoren afmeldt, dan ben je praktisch gezien voor de Polikliniek een no-show. Ook al heb je op tijd afgemeld, en je staat in de database als het is. Oh ja, als afgemeld. Afgemeld is geen no-show. Dus in die zin, datakwaliteit, maar ook gewoon een betere idee van wat nou de situatie in de Erasmus is. Heel interessant. We hebben nog een virtuele co-host, Ben, Ik ga eventjes de tune van haar instarten, dan halen we dat erbij. [muziek] Stel maar een vraag. Het is geweldig om je hier te hebben. Voor degene die mij nog niet kennen. Ik ben Aisha. De AI van deze podcast, zou ik je een vraag mogen stellen? Ja hoor, dat mag. Hoe kunnen we AI zo vormgeven dat het onze menselijkheid versterkt? Wow. Dat zijn wel de lastige filosofe vraagstukken die gesteld worden. Ja hé. Door er echt een symbiose van te maken. Dus niet AI inzetten ter vervanging van mensen, maar ter ondersteuning van mensen. Dat je de sterke kwaliteiten van beide kan combineren, in plaats van dat je de een de ander laat vervangen. Want het kan nou eenmaal sommige dingen beter dan we bij mensen kunnen, maar andersom ook. Ja toch? Ja. Je geeft een erg duidelijk antwoord op mijn vraag, thanks. Ja graag gedaan. Mag ik vragen, hoe maken jullie dat eigenlijk? Ja, we hebben Aisha zelf ontwikkeld in die zin. En we hebben daar heel veel generatieve AI voor gebruikt. Wat ik gedaan heb is eerst een profiel geschreven over wie is Aisha. Dus we hebben gezegd van, nou dit is een student, nee ze heeft gestudeerd Human Centered AI aan een universiteit, is heel erg geëngageerd. Zo hebben we eigenlijk een heel profiel beschreven, dat aan Chad Gipity gegeven. En hij zegt, wat voor type vragen zou zo'n persoon nou stellen? Maar ook natuurlijk qua intro's en outro's en dat soort zaken. Dat omgezet, allemaal van tekst naar spraak. En de AI luistert niet mee. Dus daar heb ik wel bewust voor gekozen. En ik heb ook bewust voor gekozen om geen profieldata van jou te geven. Om juist ander type vragen te krijgen dan die Niels of ik zouden stellen in zo'n gesprek. Want wij luisteren al naar je. Dus dat het juist een heel andere vraag zou komen. Dus met die tekst naar spraak, die wordt dan nu afgespeeld. - Leuk. - En nu dat we het profiel hebben, kan ik ook eventueel vragen. "Geef me nog honderd andere vragen." - Ik vind dat ze hele goede vragen stelden eigenlijk. - Ja, toch? Ik vond het ook wel heel verrassend. Ik moet wel zeggen dat ik een paar vragen, dus ik ben er wel doorheen gegaan, ik heb wel vragen eruit gevist waarvan ik dacht dan, "Ja, maar die wil ik echt niet dat die gesteld zijn." Of dat die gesteld worden. - Er is wel een filtering overheen gegaan. Ja, zeker. En dan zijn we terug bij jouw symbiose, denk ik. Ja, precies. - Toch? Mooi bruggetje, ja. Wat ik in ieder geval over heb gehouden aan dit gesprek, is dat je zegt van eerst waarde aantonen. Machine Learning model, belangrijk, maar klein onderdeel van de implementatie. En dat het daadwerkelijk succes van wat jullie gedaan hebben echt zit in de communicatie met de gebruikers en de implementatie. dat je daar eigenlijk vanaf dag één mee bezig bent geweest. Klopt dat een beetje zo? Ja, ik denk dat... Nou, de focus op dat model is onderdeel van een veel breder geheel... in een heel project van hoe je dat doet. En dat model is naast een klein onderdeel. Ik denk dat het vakgebied moet beter aantonen dat het echt waarde kan toevoegen. Dat het meer is dan alleen een hype. Dat zit wel een beetje in een hype natuurlijk, maar je kan er heel veel mee. Maar dan moet je ook laten zien dat mensen voelen dat het ook echt waarde toevoegt. Ja, wat ik heel mooi vind is dat jullie het echt in het werkproces hebben geïntegreerd. Dat het nu operationeel is en dat het ook waarde levert. Ja, geweldig. Dankjewel Ben voor je aanwezigheid in de studio. En je interessante inkijk in wat jullie aan het doen zijn bij het Erasmus MC. Ja, graag gedaan. Dankjewel voor het luisteren aan deze aflevering van AIToday Live. Vergeet je niet te abonneren via je favoriete podcast app en mis geen aflevering.