Deel 3: Ontsluit het volledige potentieel van jouw AI-experiment

Hoi, leuk dat je weer luistert naar een korte aflevering van AIToday Live. De boeiende Nederlandse podcast voor iedereen die geïnteresseerd is in kunstmatige intelligentie, ongeacht je technische achtergrond. Dit is de afsluiting van de drieluik waar we het hebben gehad over hoe zet je nou een goed AI-experiment op. Dus vandaag sluiten we hem af. Heb je deel 1 en deel 2 nog niet geluisterd, dan ga die uiteraard even luisteren. Maar voordat ik begin met deze deel 3, even een hele korte terugblik op wat we hebben gedaan en waar we dan nu zijn gekomen. In deel 1 hebben we vooral gekeken naar de praktijkcase. Universiteit krijgt veel vragen van studenten over toelatingseisen en daar moet best wel heel veel meel voor beantwoorden. Dus dan hebben we eigenlijk gezegd dat het doel is om werkdruk van medewerkers die verantwoordelijk zijn voor het beantwoorden van dat soort vragen te verlagen door een AI-gestuurde chatbot om die in te zetten. En dat zou moeten resulteren in een grote vermindering van het aantal te beantwoorden e-mails. Waardoor de efficiëntie wordt verhoogd, kosten wordt bespaard. Nou, dat dus. En daar hebben we een hele duidelijke hypothese uiteindelijk op gesteld. We hebben gezegd dat een gespecialiseerde chatbot voor het beantwoorden van toelatingseisen verlaagt het aantal mails dat wij moeten beantwoorden met 70% voor het eind van het jaar. Daar zijn we in deel 2 op gekomen. We hebben gekeken hoe meet je dat dan en waar leg je dan de lat om te weten of dat experiment gelukt is. Omdat het niet per se over die 70% in je experiment gaat. Maar luister dat dan eventjes terug. Dus we weten wat we willen, we weten hoe we aan de slag gaan en we weten hoe we het moeten meten. Maar nu we daar dan zo mee bezig zijn is het ook wel heel goed om na te denken, dus dat is eigenlijk de volgende stap in het definiëren van je experiment, is wat zou er nou mogelijk kunnen optreden voordat het experiment plaatsvindt of gedurende het experiment waardoor het uit voeren van het experiment geen zin heeft. Denk aan privacywetgeving, AVG, GDPR. Dat je erachter komt dat je de mails dat daar zoveel persoonlijke informatie in zit, dat je daar zoveel problemen mee krijgt om dat te verwerken, dat je zegt 'dan gaan we toch het experiment uiteindelijk niet aan'. Denk ook aan de aankomende EU AI Act. Je maakt uiteindelijk een systeem voor meerdere jaren, die gaat zo direct spelen, dus dan ga je nadenken 'heeft dit invloed? Zo ja, welke?' En als dat het nemen van maatregelen is, ga je die gewoon opschrijven. Maar misschien kom je erachter dat je zegt 'ja maar als dit optreedt dan heeft het experiment geen zin'. En dan stop je. Zo simpel is het. En dit is eigenlijk ook het moment, dus dan heb je dat klaar. Dus je hebt je doel, hypothese meten, we hebben aan welk niveau moet het experiment voldoen, zijn er mogelijkheden dat we moeten stoppen, dat je terug gaat naar je hypothese. Dat je denkt 'ja maar ik wilde het namelijk in een hele korte periode, wil ik deze hypothese bewijzen, zou ik de hypothese misschien nog wat kleiner kunnen maken? Het duidelijker kunnen maken en specifieker kunnen zijn in wat we gaan doen om zo snel mogelijk erachter te komen 'ja heeft uiteindelijk het experiment het idee wat we hebben waarde?' En wat je zou kunnen doen, dus we hadden gezegd het aantal mails moeten we met 70% naar beneden krijgen en misschien in het experiment hadden we gezegd 'nou ja 60% ofzo'. Als dat zou lukken zouden we al heel eind zijn. Maar misschien kan je ook wel zeggen 'ja maar we doen het op een hele specifieke categorie, of voor een heel specifiek type student'. Of nou ja zo kan je zeg maar horizontaal, verticaal, als je dat even nadenkt zeg maar in jouw business, dan kan je product georiënteerd kijken, je kan categorie georiënteerd kijken, je kan over gebruikers, leveranciers. Er zijn allerlei doorsnede te maken waardoor je het experiment nog kleiner kan maken. En als we dat hebben, wat we dan gaan doen, want dan heb je eigenlijk het moeilijkste heb je erop zitten. Wat we dan gaan doen is alles noteren dat nodig is om dit experiment uit te voeren. Dus dan heb je het echt over wie, wat, waar, wanneer, hoe ziet het eruit. Laten we bij dat laatste beginnen. En als je nadenkt 'ja wat is nou eigenlijk het product wat we aan het eind van het experiment hebben, hoe ziet dat eruit?' Nou bij een chatbot is dat misschien wel eenvoudig, maar je zou kunnen zeggen van 'nou we nemen een heel eenvoudige user interface, dat is het', dan schrijf je dat op. Maar je kan je ook voorstellen dat als je bepaalde voorspellingen doet, dat het genoeg is om bijvoorbeeld een excel lijstje te hebben, een comma separated file, tekstbestandje. Dus dat soort dingen schrijf je op. Maar je schrijft dus ook op van wie heb je nodig. En niet alleen maar in je team voor het uitvoeren van het experiment. Als het goed is heb je ook allerlei belanghebbenden. En dus wie gaat bijvoorbeeld beoordelen of de mail die de deur uit gaat straks goed genoeg is. Heb je te maken met risk, heb je te maken met orators, heb je… nou ja, je kan het zo gek niet verzinnen en die zitten misschien niet in je team, maar je gaat er wel allemaal op schrijven, die heb je nodig, misschien heb je die al voor zoveel uur nodig, weet je dat. En als dat Jantje, Pietje, Klaasje, Tamara is, schrijf je dat ook erbij. Namen erbij. Dus wie, wat, waar, wanneer. En dat is dus in de aanloop. Dus wat moet je klaarzetten bijvoorbeeld? Waarschijnlijk heb je data nodig, moeten die historische mailtjes moeten verzameld worden om die straks aan de chatbot te gaan voeden zodat die dat ook kan gaan leren. Waar komt die data vandaan? Mag je bij die data? Van wie is die data? Is er een data-eigenaar die je op de hoogte moet stellen? En dus dat soort zaken kun je eigenlijk allemaal al voor de uitvoering van het experiment kan je doen en dat soort activiteiten leg je allemaal vast. Als allerlaatste ga je nadenken over niet alleen de duur van het experiment. Ik heb al eerder gezegd dat het heel logisch is om het in 5 tot 10 werkdagen uit te voeren. Maar dan heb je het over het maken van het experiment. En in ons geval, bij de universiteit, met het verlagen van de mails, zou je kunnen kijken van "als we dat op een historische set doen, dan kan je dat berekenen. Kan je berekenen van "deze mails heeft hij nog nooit gezien, zou hij dan inderdaad automatisch de antwoorden kunnen geven tegen hoeveel procent?" Maar soms heb je het ook nodig dat het een tijdje bij een proefgebruikersgroep loopt. Dat je het in een betatest of zoiets, in een gebruikertest, dat je zegt van "we laten dit twee maanden lopen en dan kunnen we pas eigenlijk de resultaten zien." Dus dat bepaal je ook. Dus de tijdsduur. En als allerlaatste gewoon HET moment, dus de datum prikken. Wanneer evolueer je? En kijk je "hebben we het gehaald? Hebben we deze gehaald? Ja/nee? Ja. Gaan we dan door? In welke vorm? Welke funding is er dan nodig? Je kan je business case dan veel beter gaan uitrekenen. Het is veel duidelijker hoeveel tijd, geld en energie je dan kwijt bent. Is het antwoord "nee, we hebben het niet gehaald."? Ja, in dat geval heb je eigenlijk twee keuzes. Stoppen. Je zegt van "dit gaat het gewoon niet worden. We hebben het geprobeerd. We hebben er een kleine investering aan gegeven. Gaat het niet worden. Stoppen we ermee." Dan hebben we ruimte, tijd voor nieuwe ideeën, nieuwe experimenten. Of je zegt "nou, met alles wat we geleerd hebben, wat we gezien hebben, zouden we misschien de hypothese moeten aanpassen. Moeten we misschien een andere weg kiezen? Moeten we een beetje bijstellen?" En dan is een volgend experiment, en je sluit deze echt af, volgend experiment, ga je vanuit hetzelfde doel opnieuw kijken van "wat zou een hypothese zijn?" en ga je dit hele proces doorlopen. Dat waren de drie delen. Dankjewel voor het luisteren. Ik hoop dat je na het luisteren van deze delen zegt "ik pak pen en papier, ik ga het uitwerken en ik ga direct aan de slag." Dankjewel weer voor het luisteren. Wil je als eerste op de hoogte zijn van exclusief nieuws over AI, schrijf je dan eens in voor onze nieuwsbrief en ontvang updates, blik achter de schermen en meer. Meld je nu aan via onze website of zie de link in de show notes. Dankjewel. [Muziek] [Muziek]