Deel 2: Ontsluit het volledige potentieel van jouw AI-experiment

Voordat we beginnen even dit. De Drieluik behandelt een AI-experiment canvas die we hebben ontwikkeld voor het opzetten van AI-experimenten. En die kun je namelijk gewoon gratis downloaden. We hebben geen gegevens van je nodig. De link staat in de show notes. Veel plezier ermee! Hey, goed dat je weer luistert naar een nieuwe aflevering van de AI-today live. Met vandaag het tweede deel uit de Drieluik over hoe zet je nou een AI-experiment op. Heb je deel 1 nog niet geluisterd? Doe dat dan even. Daarin leg ik natuurlijk uit dat je begint met een heel duidelijk doelstellen. Maar even in het heel kort om misschien even je geheugen op te frissen. Waar waren we mee bezig? Een openbare case van een universiteit. Die kreeg 3000 mailtjes binnen met de vraag over toelatingseisen van studenten. Wat zij nodig hebben om toegelaten dus te worden op de universiteit. We hadden daar een rekensommetje van gemaakt. Zou je alle mail automatiseren met kunstmatige intelligentie dan zou je potentieel… Nee, daar zitten kosten aan verbonden, zo zou ik het eigenlijk moeten zeggen, van 100.000 euro per jaar om die mailtjes te beantwoorden. Nou, ervan uitgaand dat zo'n systeem een aantal jaren meegaat, laten we 5 jaar pakken. Dat als we straks een business case zouden willen maken, zou je dus potentieel 5 keer 100.000 euro aan kosten aan de kostenkant hebben. Goed, we hadden die case. 13.000 mail, hadden we gezegd. Er zijn verschillende mogelijke hypothese voor een case als deze. Je zou kunnen beginnen met misschien een betere zoekfunctie op je website als dat dan afvalt. Je zou kunnen kiezen voor templates waarbij er nog steeds handwerk is maar misschien je de medewerkers sneller kan laten werken. Maar goed, de vraag was een chatbot. Dus laten we die gaan oppakken. Dus we zeiden van een chatbot. Maar we hadden de hypothese nog niet helemaal exact uitgewerkt en die hypothese zou kunnen zijn voor een chatbot om dan te zeggen, want die hypothese is een zin met een uitroepteken erachter, we zouden kunnen zeggen "een gespecialiseerde chatbot voor het beantwoorden van toelatingseisen verlaagt het aantal mail die wij moeten beantwoorden met 70% voor het eind van het jaar." Uitroepteken. Waarom is het nou zo belangrijk dat je zo'n hypothese heel duidelijk stelt? Dus je zegt waarmee denk je een verandering te gaan bereiken? Welke verandering zou je willen? Hoe weten we dat we er zijn en in welke periode zou je dat willen doen? Nou dat zit erin toch? Dus een gespecialiseerde chatbot voor het beantwoorden van toelatingseisen verlaagt het aantal mail. Dat is eigenlijk de, laten we zeggen de wat en de hoe, met 80% dus je wil weten voor wanneer je klaar bent en wanneer het een succes is, laat ik het zo zeggen, voor eind van dit jaar. Dus je hebt ook nog eens een tijdseenheid erop zitten. Nou wat is nou de volgende stap wat je gaat doen voor een experiment? Want die 80% dat klinkt natuurlijk heel gaaf, maar als je een experiment opzet wil je dat in een hele kleine periode, het liefst 1 tot 2 werkweken, wil je gaan gebruiken om deze hypothese te valideren of te invalideren. Waarbij invalideren betekent dat je laat zien dat het niet kan. Dat is uiteindelijk de vraag. Gaat het lukken? Ja of nee? Maar dat betekent dat die 80% die ga je natuurlijk nooit halen in die 1 of 2 weken. Dus je gaat eerst bepalen waar ga je op meten. Nou in dit geval is dat een hele eenvoudige. Het verlagen van het aantal mail. Soms heb je een indirectie nodig. Stel je zou zeggen van ja wij willen graag de NPS scoren wat gaat over klanttevredenheid zouden we verhogen. Nou daar zit nooit een directe relatie tussen. Dus dan heb je vaak een indirectie nodig voor wat je gaat meten. Maar goed, we hebben hier een hele duidelijke meting. Het aantal mails moet verlaagd worden. Maar goed, dus geen 80%. Dus wat je nu gaat doen is nadenken over ja wat zouden we nou minimaal moeten halen in zo'n experiment. Waarbij we zeggen oh ja maar dan is die ook gevalideerd. Maar weten we ook dat we daar meer tijd, geld en energie in willen steken. En wat is dan het minimale niveau wat je zou willen halen in die zeg 2 weken. Waarbij je zegt van oh ja maar dan is het experiment ook daadwerkelijk geslaagd. Is dat dan 60% en als dat dan 59% is, betekent dat het dan niet geslaagd is. Is dat 40% is dat 30%? Ja dat hangt natuurlijk van je use case af. Ik zou bijvoorbeeld in het geval hiervan zeggen van nou stel dat je komt zegmaar tot laten we zeggen 30-40% na 2 weken. Dat je al een heel groot gedeelte van dit soort mail zou kunnen afhandelen. Dan zou je je al kunnen gaan bouwen aan een business case. Nou die business case die is natuurlijk ook wel heel belangrijk. Want we hebben het de hele tijd over die 100.000 per jaar, ik dat een keer 5, 500.000 euro. Dan zou je denken oh dat is een geweldige besparing. Maar je hebt natuurlijk ook gewoon de kosten voor het bouwen. Kosten voor het onderhouden van het systeem. Want veel mensen denken ja maar AI is zelflerend dus die kan dat zelf in de gaten houden. Helaas niet. Dus je moet de hele tijd in de gaten houden. Blijft een chatbot de goede antwoorden geven? Moeten we hem bijsturen? Moeten we meer voorbeelden geven? Krijgen we hele andere type vragen omdat juist die bot de standaardvragen allemaal kan beantwoorden. Misschien komen er juist wel meer vragen omdat het nu makkelijker is om vragen te stellen. Dus zo moet je dat allemaal gaan bijhouden. Dus er zitten ze ook heel veel operationele kosten aan. Maar ook operationele kosten in de zin van je spreekt natuurlijk een taalmodel aan. Dus waarschijnlijk een leverancier, OpenAI, Microsoft, Amazon, Entropic. Ja dat kost ook geld. Dus in die periode van het experiment ga je ook kijken van hoeveel kost nou uiteindelijk ook die invoering en uitvoering van een traject experiment zoals dit. En daardoor krijg je een veel betere heldere kijk op wat er nodig is. Dit is deel 2. We zijn nu gekomen van we hebben een doel. We hebben een duidelijke hypothese en zo direct hebben we in ieder geval vast liggen van wanneer weten we of het experiment gelukt is, geslaagd is. En we hebben al nagedacht over die kostenkant. Want die kostenkant is toch wel heel belangrijk om uiteindelijk je business case op te bouwen. Nou wat gaan we nou doen in deel 3? Deel 3 gaan we eigenlijk de laatste stap maken is dat we na gaan denken over hoe we uitvoering gaan geven aan dit experiment. Zorg dat je je abonneert via je favoriete podcast app want dan krijg je namelijk automatisch een seintje als ook deel 3 verschijnt. Dank je wel weer voor het luisteren. Tot de volgende keer! [Muziek]