Hier is een beknopte samenvatting van de belangrijkste punten uit deze episode: 1. Het is een drieluik over hoe je een goed AI-experiment opzet. 2. Belangrijkste punten bij het opzetten van een AI-experiment: - Duidelijk plan en doel vastleggen - Risico's verlagen en snel inzicht krijgen in waarde - Experiment is kort en gericht op bewijzen van concept 3. Concrete case: universiteit wil 13.000 jaarlijkse e-mails over toelatingseisen automatiseren. 4. Belang van het definiëren van een specifiek, meetbaar doel voor het experiment. 5. Verschillende mogelijke doelstellingen besproken, zoals kostenreductie, studentenwerving of medewerkerstevredenheid. 6. Voorbeeld hypothese: 10% meer studenten werven door duidelijkere toelatingseisen. 7. Verschillende oplossingsrichtingen overwegen (zoekfunctie, templates, chatbot) in plaats van direct voor één technologie te kiezen. 8. Vervolg in deel 2 over het kiezen en specificeren van de hypothese. 9. Gratis AI-experiment template beschikbaar via link in show notes.
Hoi, leuk dat je weer luistert naar een korte aflevering van AIToday Live. Dit is wel een leuke want het wordt namelijk een drieluik. Dus vandaag krijg je deel 1 te horen. En we gaan het namelijk hebben over hoe zet je nou een goed AI-experiment op. Mijn naam is Joop Snijder, CTO bij Aigency en ik ga je erbij helpen. Waarom is het nou zo belangrijk dat als je wilt gaan experimenteren met AI dat je dat op deze manier gaat aanpakken? Het eerste punt is dat het belangrijk is dat je dingen goed vastlegt wat je gaat doen. Dus dat je een duidelijk plan hebt. Een experiment is kort, is een soort van pressure cooking formaat waarin je in een hele korte periode wil bewijzen dat wat je in je hoofd hebt, dat dat kan, dat dat werkt, dat je data daarvoor in orde is en eigenlijk dat het ook waarde oplevert. Dus dat is het allerbelangrijkste. Ik heb bij zoveel kickstart-offs gezeten, bij zoveel start van projecten waarbij er vooral wordt gesproken over wat voor processen we gaan volgen en allemaal dat soort dingen. Maar er wordt eigenlijk niet vastgelegd namelijk wat is het doel. Dus dat betekent dat je aan de start staat, het startslot gaat af en iedereen loopt een hele andere kant op en niemand rent naar de finish. Dus dat wil je niet. Dus goed vastleggen wat ga je doen en waarom ga je het doen. En dat is zeker voor AI experimenten van essentieel belang omdat er namelijk heel veel onzekerheden zijn. Kijk, als we een, laten we zeggen, traditioneel software systeem gaan maken dan kan je daar requirements voor schrijven, specificaties, weet je wat je moet doen. Eigenlijk gaat het daarom als je maar genoeg tijd, geld en de juiste expertise er tegenaan zet weet je dat je krijgt wat je vraagt. Dus bij AI is dat gewoon anders. Dus welke data heb je? Zitten de patronen die je denkt dat in die data zou moeten zitten, zitten die er wel in? Heb je je data, heb je die wel, zitten die niet in bijvoorbeeld andere silo's of heb je je data op een heel ander detailniveau dan die je nodig hebt voor het creëren van het algoritme. Bij generatieve AI gaat het er natuurlijk ook over van ja is de stand van de techniek al zover dat precies dat kan wat jij hoopt dat het kan. Dus wat je met een AI experiment probeert te doen is risico's verlagen, je probleem kleiner maken en heel snel inzicht krijgen in waarden. Van hoeveel waarden zit je in? Om het allemaal concreet te maken leek het mij leuk om ook een concrete case te pakken. Er is een open aanbesteding geweest van de universiteit. En de universiteit die krijgt 13.000 mailtjes per jaar binnen over de toelatingseisen of studenten ook de studie kunnen volgen. En wat zij dachten is van hey mailtjes misschien kunnen we die automatisch beantwoorden. Zeker nu met generatieve AI. Dus die hadden een case uitgezet. En ze dachten dat is nou een mooi case om te laten zien hoe je dit soort dingen aanpakt. En het geldt voor, want we gaan het hier zo direct hebben over generatieve AI, maar het geldt ook zo direct voor andere machine learning AI systemen. Het gaat eigenlijk om het idee. Nou, dus die case. 13.000 mail. Ze zijn ongeveer vier minuten per mail bezig om dat te beantwoorden. Maar daar komt ook nog allerlei opvolging omdat er info ontbreekt van de student. Dus dat er niet precies gezegd kan worden van "oh ja, weet je, je voldoet aan de toelatingseisen, ja of nee". Dus daar komt nog zo'n 180 uur opvolging bij. En zeg dat dat 100 euro per uur kost voor het beantwoorden van dit soort mail. Dan heb je te maken met 100.000 euro die je besteedt per jaar aan het beantwoorden van deze mails. Dus in ieder geval, als je dat soort dingen uitrekent, weet je van "oh ja, misschien…" Dan weet je in ieder geval wat een mogelijk budget zou kunnen zijn. Met 100.000 euro per jaar is wat te doen als je dat naar beneden zou kunnen krijgen. En dan bij zo'n experiment, ik begon al van "wat is je doel?". Want als we het hebben over die kosten, dan zou je misschien denken "oh maar, het gaat misschien om het verlagen van de kosten". Maar wat als dat nou niet je doel was? Als het nou het doel is van "ja maar misschien willen we juist meer studenten aantrekken". Waardoor het dus veel belangrijker is om hele goede informatie te geven zodat veel meer studenten zich aanmelden voor deze studie. Misschien gaat het wel over dat je eigenlijk je medewerkers tevredenheid wil verhogen. Zodat ze minder mail hoeven af te handelen. Omdat dat misschien wordt ervaren als een heel vervelend, lastig klusje. Dan heb je het over een heel ander doel. Uiteraard kan het ook zijn dat je zegt "ja maar we willen die kosten willen we verlagen. Dus we willen die mailtjes veel meer geautomatiseerd beantwoorden". Maar het zou ook kunnen zijn dat je juist de studenten tevredenheid wil hebben omdat je dan sneller antwoordt. Dus nu zit er een bepaalde doorlooptijd in het beantwoorden van die mailtjes. Dan zeg je misschien "ja, misschien willen we dat verlagen". Dus het heel goed nadenken over "ja maar wat wil je nou exact bereiken?" Is het allerbelangrijkste voordat je überhaupt verder nadenkt over "wat is nou de invulling en wat gaan we exact doen?" Dus stel, we kiezen ervoor als doelstelling kunnen we meer studenten werven als de toelatingseisen duidelijker zijn. En als dit de doelstelling is die bij je past, kunnen we het nog specifieker maken. Namelijk kunnen we 10% meer studenten werven in dit jaar als de toelatingseisen duidelijker zijn voor studenten. En dan heb je uiteindelijk ook een meetbaar resultaat, een meetbaar doel. En dan ga je nog een stapje verder en dan gaan we zeggen van "ja maar wat is dan de hypothese?" En de hypothese, net hebben we eigenlijk een vraag gesteld, vraagteken erachter. Hypothese hebben we, gaan we een uitroepteken erachter zetten. En bij de hypothese gaan we dus nadenken "ja hoe zouden we dan invulling kunnen geven aan deze vraag?" Dus je zou kunnen denken van "hebben we misschien een betere zoekfunctie nodig op de website?" "Zouden we templates kunnen gebruiken?" Of "hebben we een chatbot nodig?" Kijk uiteindelijk in die aanbesteding stond meteen al de chatbot, maar de vraag is of je die technologie ook meteen zeg maar als uitgangspunt moet nemen. Want als we de betere zoekfunctie website kiezen, dan heb je misschien vaak nog specifiekere persoonlijke info nodig van de mensen. Of als je templates gaat inzetten, heb je nog steeds wel handwerk, maar neem misschien dat handwerk heel erg af en kan je ook je doel bereiken. Ga je een chatbot inzetten, ja dan moet je er een hele gespecialiseerde chatbot van maken die dus alleen antwoord geeft op die toelatingseisen. En hoe verlaag je dan uiteindelijk het aantal mail? Nou de volgende stap is het kiezen van je hypothese en hoe dat gaat en hoe je die uiteindelijk ook heel specifiek en meetbaar maakt, dat hoor je volgende week in deel 2. Trouwens, het AI-experiment kun je downloaden, gratis, geen data. En ze zeggen al "gratis dan kost je dat wat". Hier helemaal niks, alleen downloaden en het gebruiken. Link staat in de show notes. Dankjewel voor het luisteren! [Muziek]
