Hoe Voetbal International experimenteert met Kunstmatige Intelligentie

Nieuwe aflevering van AIToday Live, de Nederlandse podcast over AI. Met vandaag hele leuke use cases, ga ik vanuit. Mijn naam is Joop Snijder, CTO bij Aigency. Mijn naam is Niels Naglé, Chapter Lead Data & AI bij Info Support. En we hebben te gast Denis Doeland. Denis, zou jij je eerst willen voorstellen aan de luisteraar? Nou ja, je zei het al, hè? Mijn naam is Denis Doeland. Ik ben 52 jaar, al 30 jaar werkzaam, of iets meer dan 30 jaar werkzaam. Ooit is gestart, zo'n 30 jaar geleden, bij het bedrijf ID&T. Evenementenbedrijf, daar was ik nummer vier. Ik heb net geleerd, Joop, dat je nummer vijf bent bij Info Support. Ik was nummer vier bij ID&T uiteindelijk. En begon in 1992 mijn carrière middels een platenwinkel. Uiteindelijk werd ik daar muziek uitgever... en iemand die de muziek samenstelde voor de platenmaatschappij. En vanuit daar is ook de digitale opmars gekomen. Want in de middenjaren '90 bracht het internet door. Wat jullie nu heel normaal vinden, uiteindelijk waarschijnlijk. Ik denk dat we kleine tien jaar toch schelen in leeftijd. Vermoed ik zo'n beetje, maar aanname is dodelijk. Jazeker. Daar heb ik geleerd eigenlijk hoe digitalisering eigenlijk... de muziekindustrie in één keer gewoon compleet wegvaagde. In de vorm zoals we het nu kennen bestond het toen niet. En andersom. Ik maakte daar gewoon... Wat ik heel erg leuk vind, is als er verandering is... Dat is eigenlijk wat er gebeurde bij mij. Ik stapte op die golf van verandering. Ik zag de muziekindustrie veranderen en begon na te denken... wat dan de toekomstige muziekindustrie zou zijn. Dat resulteerde eigenlijk ook in de digitalisering van evenementen. Vroeger kocht je je kaartje bij een postkantoor. Dan moest je in je slaapzak liggen. Je moet je bijna gaan uitleggen waar de postkantoor is. Dat is niet waar je je e-mail om hangt. Maar goed, daar leerde ik die hele digitalisering uiteindelijk. Dat heb ik zo'n 20 jaar gedaan. Daarna ben ik voor mezelf begonnen. Ik dacht hoe vet het is als ik de entertainmentindustrie... in mijn eentje kan helpen met een digitale strategie... die iedereen snapt. Zo zei ik, als ik dat voor entertainment doe... hoe vet zou het zijn als ik voor sport, bijvoorbeeld in voetbal, dat kan doen. En waarom dan voetbal? -Dat is gewoon mijn eigen hobby. Dat doe je ook met je deel, trouwens. Toen dacht ik hoe leuk het is als ik bij Ajax, Feyenoord, PSV, de Eredivisie... ga zo om de KNVB. Dus ik daar iets mag vertellen over digitalisering en sport. En wat ik geleerd heb in de entertainmentindustrie... dat dat ook toepasbaar is op sport. Toen dacht ik, media is ook dichtbij. Dat komt omdat we uit Identity hadden bladen en radio. We deden iets met televisie. Toen dacht ik, hoe vet is het als ik het in de media mag vertellen? Sport, media en entertainment zijn dan de gebieden. Toen ben ik mijn eigen adviesbureau begonnen. Dat heb ik al twaalf jaar. Ik heb het eigenlijk langer, maar ik ben nu twaalf jaar echt actief... waar ik in sport, media en entertainment bedrijf. Help met een digitale strategie en transformatie, zoals dat heet. En waar komt de AI om de hoek kijken? We zitten in een AI-podcast. Ik heb me dat laatste keer afgevraagd. Wanneer ben jij nou begonnen, Dennis, met AI? En ergens, denk ik, dat dat zeven, acht jaar geleden terug is... waarin ik een text-to-speech-applicatie implementeerde in mijn website. Omdat ik dacht dat het wel leuk was dat mensen die slechtziend zijn... of blind uiteindelijk mijn artikel ook konden horen. O ja, mooi. -Zo eigenlijk begonnen. En als je dan een soort van... Google Translate is ook ergens een soort verbasterdeachtige algoritmische AI. Ja, absoluut. -Dus ook de automatische vertaling. Dus eigenlijk alle AI-toepassingen, als het ware, komen vanuit mijn eigen blog... wat ik al vijftien jaar heb, zeg maar. En waar ik meer dan 1600 artikelen over strategie en transformatie heb geschreven. En wij hebben elkaar ontmoet bij een boekpresentatie... en daar vertelde je ook dat je bezig was voor Voetbal International. En dat is natuurlijk een aansprekende naam. Kan je vertellen wat je daarvoor doet? Zeker. Ik ben niet alleen aan het werk vanuit mijn consultancybedrijf... als ad interim Chief Marketing en Chief Digital Officer. Voetbal International heeft een moederbedrijf, dat heet PXR. En vanuit PXR, waar ik ook deelneem in het managementteam... geef ik de marketingafdeling vorm en digitale strategie vorm. En daarbij komt natuurlijk heel veel data kijken. Dus ja, toen de entree... Ik wou net zo zeggen de democratisering van AI op stoom kwam. Dat je eigenlijk snel content kon maken, bijvoorbeeld. Dus even een nieuwsbriefje schrijven of iets dergelijks. Of tekst voor een nieuwsbriefje. Ja, dat soort tools kun je daarvoor gebruiken. Maar het werd eigenlijk interessanter toen ik ontdekte... dat ik de grote datasheets die ik had, de grote spreadsheets met informatie... ineens gewoon kon uploaden en daar vragen aan stellen. Ik weet niet zo... Dat zeg ik altijd, maar ik weet niet zo veel van Python. Er zijn anderen die daar dagelijks veel beter in kunnen programmeren. Maar ineens kon ik dat hele Pythonstuk overslaan. En de vragen die ik stelde aan programmeurs of data scientists of wat dan ook... kon ik ineens vanzelf daar antwoorden uit. Lijkt me een heerlijk gevoel. -Dat was een soort openbaring. Dat ik echt dacht van 'Wow, vet. Is dit dan de richting?' En toen kwam ik er ineens achter dat ik er in 2018... al een keer over had geschreven, uiteindelijk. En ik heb daar ook een plaatje van dat Qlik, dat is een BI-tool uiteindelijk... die liet een filmpje zien waarin je via WhatsApp vragen kon stellen aan Qlik. Toen dacht ik 'Dit is dit moment gewoon.' Ik heb het zelf nog gepresenteerd tijdens mijn boekpresentatie 'Digitaal vermogen'... in 2018 in oktober. Dat was dit. En ik dacht 'Dit is het.' En ik kon beginnen met experimenten, gewoon letterlijk. Want dat is wat je doet. Je krijgt een soort tool. Stelde je daardoor ook andere vragen aan de data... dan die je stelde aan de techneut? Ja, want ik kreeg na toch wel een paar uur het gevoel... dat ik één werd met de spreadsheet, zeg maar. En ik ging... Kijk, je moet je voorstellen uiteindelijk. Als je met grote data woont, kun je natuurlijk met Python aan de gang. Maar voordat je dat doet, maak je eigenlijk gewoon een klein model in een spreadsheet. Waarin je tabbladen en dergelijke met macro's en allerlei dingen verbindt. En dan gebeurt een beetje de goocheltruc, om het maar zo te zeggen. De magic, zeg maar. Dat kon ineens dus allemaal in één, zeg maar. Een soort tabbladen met elkaar verbinden. Macro's gewoon, herhalen van dingen. Dat je echt dacht 'What the fuck?' 'What the fuck? Dit is vet.' -Ja, lekker. Ik was wel nieuwsgierig naar... Dan ben je zelf met die proefconstants bezig en je kan er heel veel mee. Wat doet dat binnen een organisatie... die dat dan ineens tot een omgeving erbij krijgen? Nou, de PXR-organisatie, VE, zeg maar, uiteindelijk... die zitten gewoon echt daar in een totale experimentele fase. Dus je moet je voorstellen dat bijvoorbeeld in 2023... maart 2023, hebben wij toen aangekondigd... tenminste, de COO van die tijd, Wout Straafs, die er nog steeds zit... kondigde toen aan de robotverslagen. Die robotverslagen werden gemaakt door een bedrijf dat een eigen AI-hard... die dat dan konden. Zullen we even uitleggen wat die robotverslagen zijn? Die robotverslagen zijn... Onder het kopje webstrijden heb je, dat noemen wij het, het Match Center. En daar vind je eigenlijk alle data van een wedstrijd. Dus hoeveel gele kaarten, hoeveel rode kaarten... wie heeft er gescoord, wie is er gewisseld. Ga zo maar door. Die data wordt geleverd door een bedrijf uit Engeland. Dat heet Opta. En eigenlijk, aan de hand van die data... kan je ook een tekstverslag erbij schrijven. Alsof iemand kijkt naar die wedstrijd. En dat gebeurt dus eigenlijk. Goed, die AI was nog niet zo goed van dat bedrijf. Dat hebben we eigenlijk vorig jaar... of vorig jaar zijn we daar mee begonnen. En dit jaar is dat geïmplementeerd. Het is eigenlijk gewoon ChatGPT die dat overgenomen heeft. Ja, dat is een ding... Maar het is een experiment gewoon. Dus waar staan we? Of wat is er met die organisatie? Wat doet dat? Dat heeft eigenlijk geleerd... dat vooral die trein van dingen die we gebouwd hebben met AI... in die wedstrijdverslagen heeft toegeleid... dat we een soort AI-taskforce hebben... waar ook directieleden in zitten. Die periodiek eigenlijk op korte termijn steeds kijken... van wat gaan we nou daaraan toevoegen? We hebben nu geleerd dat dit ermee kan. Dat kunnen we er nog meer mee. En dan heb je de afdelingen zelf die ook een soort van experimenteren. En dan hebben we één iemand in de organisatie van PXR... die dat een beetje soort kanaliseert. Wat alle experimenten zijn... die op de verschillende afdelingen plaatsvinden. Buitengewoon interessant. Wij komen natuurlijk ook bij heel veel bedrijven. En daar zie je best nog wel wat... laat ik het netjes zeggen, afstand tussen juist directie, management... en deze technologie. Wat heeft hiervoor gezorgd dat ze bij jou wel, zeg maar, zo erop zitten? Dat is gewoon een managementbeslissing geweest. De CEO en de CFO uiteindelijk... waarin we tijdens de high-sessie, zoals dat dan heet... dat we AI en data gewoon de hoogste prioriteit gaan geven. En dan vervolgens ga je kijken hoe je dat gaat organiseren. En gek genoeg is dat omdat dat eigenlijk toch wel... een soort van overschrijdend over de verschillende afdelingen ligt. Een CTO heeft ook, bij wijze van spreken, een aantal programmeurs... die in plaats van zijn GitHub gebruiken... nu ineens codelibraries aanspreken... of die gemaakt worden, bewijsbespreken, die geïmplementeerd worden. Nou ja, en zo hebben de marketingafdeling... die dan marketingdata analyseert. En dan heb je de redacties, bij wijze van spreken dus de uitgever... die redacties heeft, uiteindelijk die AI als creativiteit... en productiviteitstools gebruiken. Nou ja, en ga zo maar door. Maar het begint dus eigenlijk bij het besluit... wat jij zegt dan, het is een managementbesluit. Het is een keuze van we zetten dit gewoon op nummer één. Ja, je moet gewoon zeggen op een gegeven moment... ja, data en AI first, zeg maar. Ja. -Mooi. Ja, ik hoop dat er meer volgen. En ik was ook nog wel benieuwd, want dan heb je die robotverslagen. Ik kan me voorstellen dat het in het begin best wel spannend is... van hoe dat gepercipieerd wordt... zowel door de lezer als uiteindelijk binnen het bedrijf. Ja, we hebben die robotverslagen al in 2023... gewoon netjes aangekondigd op die site en hoe dat dan werkt... en wat er ook kan gebeuren... en dat het ook experimenten zijn en dat het op basis van data gegenereerd wordt... maar dat je een klein verslagje krijgt... waar je even een gevoel krijgt van hoe die wedstrijd was, zeg maar. Alleen die eerste versie eigenlijk... als je die nu vergelijkt met de versie die er nu is... en bij die versie die er nu is... heb ik zelf ook mogen meekijken in het proces uiteindelijk. Ja, het is eigenlijk wel grappig hoe dat gaat gewoon, want in het begin... kijk, je upload bewijs bespreken... ik zeg dat er al te duizend zijn geweest... maar ik weet het niet, ik zeg je upload duizend oude wedstrijdverslagen... hoe je ze vroeger schreef, die stop je in een machine... en dan zeg je, nou, dan leer je dus. Deze toon ervoor, zo moet je schrijven. Zo lang moeten ze ongeveer zijn, zo verworden. Dit is een beetje hoe het gaat. Nou, dan krijg je de eerste wedstrijdverslagen over en dinges... en dan begint het op een zondige zondag. Uiteindelijk speelde Feyenoord tegen Sparta uiteindelijk. Het werd 2-1 voor Feyenoord, bla, bla, bla. Maar het was helemaal geen zondige zondag. Nee, dat soort dingen moet je eruit gaan halen... en vervolgens moet je proberen dat ook persoonlijker te maken... en moet je kijken of je de details in kan verwerken... die echt gewoon interessant zijn. En wat waren daar de grootste uitdagingen uiteindelijk? Op een gegeven moment moet je het gevoel krijgen dat het 95 procent klopt. Helemaal kloppen gaat het nooit. Maar dat is bij de mens ook. Ja, toch? De journalist kan er ook een mooie zondige zondag van maken. Precies. Dus dat, en dat moet je accepteren. Het is een soort reflectie van het moment. En dat is iets... Iedereen moet er denk ik een beetje aan wennen. Gewoon basic nieuws. Als ik nu reed naartoe en dan heb ik diverse zenders aanstaan... ik hoor gewoon dat diverse partijen die nieuws aanbieden... het zijn gewoon AI-stemmen. Dus daar moeten we gewoon een beetje... Je zit in de gewenningsfase, zeg maar. Dus is het eng, wat zullen de lezers vinden? Als het gewoon goed is en het ongeveer 's' is... dan krijg je al heel snel dezelfde verbazing die ik had bij data... dat ik denk, ja, het is wel goed. Wat ik mooi vond, want ik ben abonnee van VI... is dat het inderdaad heel transparant werd aangekondigd. Het werd inderdaad en verteld hoe het gedaan werd. En dat helpt denk ik ook heel erg. Het is niet je lezer voor de gek houden. Het was heel open, eerlijk van 'Dit gaan we gewoon doen'. Ja, nee, en de bedoeling was, en dat staat ook volgens mij... Ik heb dat stuk nog even teruggezocht. Dat staat ook in het stuk van 'Dan kunnen we ook wedstrijdverslagen aanbieden... van de tweede divisie in Spanje'. Of een interlandwedstrijd, bij wijze van spreken, die heel ver weg... heeft plaatsgevonden, die iedereen gemist heeft. Nou ja, ga zo maar door. Ja, dus een stukje efficiëntie en ook meer bereik kunnen hebben... en meer mensen dus eigenlijk van informatie kunnen voorzien. Een vraag die bij mij nog even afspeelt. Hoe was daarin het kwaliteit en de toetsing van wanneer is het goed genoeg? De redacties, dus de hoofdredactie hier, natuurlijk uiteindelijk. Pieter Sport en Freek Janzen uiteindelijk. Die kijken daar gewoon op mee, plus de meerdere redacteurs hebben gekeken. En dan kom je tot een soort van... Ja, het is nu wel goed. En dan is het net als met software, eigenlijk. Gewoon dan release je het, daar houd je alles van. Het is een soort versie en dan is dat een 0.8 of is dat een 1.1... of is dat dan een 2.0, omdat we al een keer een eerder ding hebben. Ja, dat release je en de feedback die daarop komt... daar ga je weer mee en ga je die AI weer verbeteren. Ik kan me zo voorstellen, als je hieraan begint... dat je denkt van, nou, er komen van allerlei hobbels... want niks gaat helemaal vanzelf. Wat is er nou meegevallen eigenlijk in dit hele traject? Ik vond vooral de openheid uiteindelijk. Want dat team voor die tweede AI die die wedstrijdverslagen maakte... iedereen werkte goed samen. Iedereen had al gezien van, er zit wat in. Dan is het gewoon kijken hoe je dat beter kan maken. Maar ik vind dat überhaupt gewoon een hele mindset die heerst bij PXR... van, oké, hoe kunnen we vooruit, zeg maar... en hoe kunnen we met de middelen die we hebben... hoe kunnen we dingen maken uiteindelijk die ons vooruit helpen? Ja, en als je dat door zou mogen trekken, dan hoeft het niet per se hier te zijn... waar zie je dit naartoe gaan? Ik zie gewoon letterlijk... laat ik de PXR-marketingafdeling nemen. We hebben allemaal verschillende GPT's, dus dat zijn collega's bijna. Krijgen ze namen bij jullie? Nee, maar bij het bedrijf wat ik mee heb opgezet, Nextly... uiteindelijk Next Level Impact, daar is al een echte collega geïntroduceerd. Die heet Lisa. En de tweede collega die eigenlijk op de site staat, dat is Ian. Dat is de virtual assistent. Die zijn wel bezig met virtuele collega's. Dus iedereen krijgt in zijn discipline een eigen virtuele collega... om dingen te doen, zeg maar, uiteindelijk. Dat zie ik ook wel terug. Ik heb ook een virtuele collega. Ik heb de Abo-analyzer, even platgezegd, de abonnement-analyst... waar ik elke dag tegen kan praten. Dus met andere woorden, iedere keer naar dat spreadsheet terugkijkende... je weet zelf dat je altijd dezelfde vragen stelt. Of een voortgang op dat wat je al een keer eerder gedaan hebt... eigenlijk wil weten, waar sta ik nu? Of dat je zegt, ik ben instructies hier aan het geven... maar ik ben er al onderweg achter gekomen dat ik dat weet. Dus je krijgt als een soort van eigen virtuele assistente. En dat kunnen tooltjes zijn van buitenaf... of dat kunnen GPT's zijn die je zelf bouwt op het OpenAI-stukje, zeg maar. En zie je de beweging ook van tekst meer naar audio en video gaan in de content? Ik kan me goed voorstellen dat... Ik ben nog niet zo'n prater tegen AI, zeg maar. Maar er zijn mensen die dat echt heel goed kunnen. Ik kon ook niet zo goed dicteren, zeg maar. Ik heb drie boeken geschreven en ik heb er één echt wel... gewoon met de dicteerfunctie van Google Docs gemaakt, zeg maar. Echt wel grote delen. Maar ik vind dat toch best lastig, zeg maar. Ik kom gewoon uit die generatie die tikken gewoon. Ja, schrijven en tikken. Dus dan is praten wel een opgave, zeg maar, gek genoeg. Maar ik ga me er toch een keer eigen maken. Dat heb ik tegen mezelf gezegd. Maar ik kan me goed voorstellen. Wat ik zie, neem even de collega Lisa bij Nextly uiteindelijk. Die is al geïntegreerd in Slack, zeg maar. Daar zitten al voice-achtige dingen op. Dus ik kan me gewoon voorstellen dat mensen gaan praten... en dat er een generatie aankomt die dat gewoon gewend is. Dus het is denk ik meer dat dan... Het is een optie, zeg maar. Maar gek genoeg wil ik gewoon nog tikken. Ja, en wat werkt toch? Ja, en dat is misschien meer omdat ik het gevoel zelf heb... altijd dat ik teveel moet herstellen. Dus als ik met een voice-achtige situatie werk... dan komt toch net niet het woord eruit wat ik zei. Zoals je hoort heb ik toch een soort ergens Amsterdamse accent. Uiteindelijk vinden de voice-assistants ook niet altijd even prettig. Zijn ze nog niet goed opgetraind uiteindelijk. Ze kunnen nu een beetje Fries volgens mij, maar Amsterdamse is nog lastig. Nee, dus dat gaat er gewoon komen. En dan is ook de respons... Kijk, ik kan me wel heel goed voorstellen... mijn collega Michiel Schoonhoven van Nextly stuurde mij... niet heel lang geleden, maar een paar weken geleden... uiteindelijk een filmpje waarin een virtuele helpdesk... waar iemand achter zat, waarin hij tegen aan het kletsen was. Ah, gaaf. -Ja. Ja, en dat is dezelfde zover die nu in tekst al antwoordt. Dus daar zit al een virtuele assistant-in-beeld-component op. En ik zelf experimenteer om een paar jaar met virtuele assistenten... Ik heb nu mezelf gekloond, zeg maar. Maar daarvoor moest ik het met avatars doen die ik gewoon kreeg. Nu zijn ze gewoon heel normaal, de Hay-Jens, bij wijze van spreken. Maar Synthesia was zo'n bedrijf dat er al snel kon... Dat je gewoon al die kleine filmpjes of even het voorlezen van m'n blogpost... of een uitleg geven bij een artikel of wat dan ook... Op een gegeven moment deden dat mijn assistenten gewoon. En dat was best goed, om eerlijk te zijn. En dat wordt eigenlijk alleen maar beter. Dus ik kan me goed voorstellen, met die wetenschap... van de laatste paar jaar in de ontwikkeling daarin... dat we niet zo heel ver weg zitten van dat iemand mij in beeld gaat antwoorden. Of in audio gaat antwoorden, zeg maar. En bij het vragen stellen aan die... Hoe zei je? ABO? ABO-GPT? ABO-Analyzer. -ABO-Analyzer. Er is natuurlijk een risico dat de data die je terugkrijgt niet helemaal juist is. Hoe ga je daarmee om? -Zeker. Nou ja, goed. Ten eerste, dat is misschien wel een leuke lering uiteindelijk... Toen we de abonnementen gingen analyseren... dan moet je je voorstellen dat je abonnementsdata hebt sinds 1965. Wow. -Ja, dat is wel een feestje. Dus als je daar nou eens doorheen gaat... Dit is wel een leuk case die je eigenlijk... Kijk, bij abonnementen analyseren wil je eigenlijk de churn, dus dat mensen opzeggen... wil je eigenlijk zo klein mogelijk hebben. Het kan gewoon dat je als mensen overlijden... en dan moet je je voorstellen met een oud abonnementbestand... betekent eigenlijk dat elke week wel... Iemand... -Een op de tien. Dat is gewoon een cijfer. Eén op de tien overlijdt gewoon. Dat is gewoon een gegeven. Dat betekent dat je dat... Alleen dat kwam ook uit die analyse. -O ja. Alleen moet je je voorstellen... uit die analyse bij die abonneranalyse... ik zag je dus op een gegeven moment... we hebben op zes manieren weergegeven sinds 1965... hoe we noteren dat iemand overleden is. -O ja. Omdat dat bestand is dus steeds meegegaan, zeg maar. Logisch. -Nu in mijn leven notieer ik uiteindelijk... waar het ingeladen is, maar dat is in 2018, 2019... bij de overname begonnen. Alleen daarvoor had dus WPG, die de eigenaar was... en nog andere uitgevers die weer die data hadden... die misschien wel allemaal gewoon van geschreven boekjes... naar overgetikt zijn. Kun je je voorstellen als je dus bijna 60 jaar lang... abonnementsdata hebt. Dus de lering eigenlijk, en het leuke was... dat ik eigenlijk sneller door de bestanden heen kon uiteindelijk... en dat ik dus vooral leerde dat ik er niet van kon uitgaan... dat de eerste analyses die ik maakte, dat klopt. Dat is het structureren van je data, het zorgen dat dat netjes is... dat dat schrijfwijs is, hetzelfde. Nee, ga zomaar door. Dat proces, dat cleansingproces misschien wel, hè? Ja, het opschonen. Zoals dat dan mooi wordt genoemd met een vakjargon, zeg maar. Ik wilde eigenlijk niet een bus willen gaan. Of soms een combinatie, soms gaat dat gewoon in je hand. Ja, dat geeft niks. Toen merkte ik gewoon, oké, dus eigenlijk kan ik nu... Ik moest vroeger gewoon... Moest ik naar die data scientist of... Ik denk dat het bestand niet klopt. En gelukkig, je kan tot tegenwoordig met Airtable... maar ook zoals in Google Spreadsheets... kun je gewoon 200.000 regels inladen. Ja. Vroeger kon je dus dat niet allemaal... Exoco, wat had die zo die capaciteit bij wijze van spreken? Dus dan had je ook geen overzicht over je bestand. Dus je komt er dan heel snel achter. Je moet er doorheen. En vervolgens uiteindelijk hebben we bij PXR ook gewoon iemand... die die database gewoon heel goed kent. En de checkvraag is gewoon heel simpel. Met de uitkomsten, ja, heb jij het gevoel dat? En ik ben niet van het buikgevoel, want ik ben iemand... die probeert met data iets op. Maar je moet soms ook een beetje voelen. En als je dat niet... Nou ja, dan moet je op zoek gaan. Dus je moet er wel van uitgaan dat het niet meteen klopt. Ja, precies. -Dus het is niet van, nou, oké. En je hebt heel veel handelingen nodig ergens toch, misschien... om naar die validatie te komen. Ja, maar dat is niet, hè... want veel mensen denken dat van, je gooit die data erin. Eén regel, toch? -Ja, toch? AI is zelflerend, dus... Hoe voorkom ik het eigenlijk, dat ik zo min mogelijk churn heb? Hoe voorkom ik dat ik zo min mogelijke opzeggingen heb? Ja, precies, en dat je daar goede antwoorden op krijgt. Geef even het antwoordje, je weet het toch? Zorgen dat het dus niet opgezegd kan worden. Ja, nee, ja, ik zeg dat. Het is wel grappig als je die vraag stelt. Dan krijg je echt een hele opsomming. Dat is wel weer grappig, maar dat zijn eigenlijk textbook dingen. Iedereen is vergeten namelijk dat... Het zijn language models die zijn getraind uit boekjes, hè? Of websites. -Ja, het is allemaal getraind op onze teksten. Maar, dus als ik het voor mezelf dan even samenvat... Het blijven onderzoeken, afgaan op ervaring die je hebt... en blijven valideren op gevoel en op cijfers... zitten we in de goede richting en daardoor heen itereren. Ja, maar we zitten toch in een compleet experimentele fase uiteindelijk. We hadden het net al over software-releases. En volgens mij, Joop, hebben wij een tijdje geleden ook met elkaar gekletst. Toen zeiden we tegen elkaar, als er dus een nieuw model komt... is dat dus geen software-update. Dat was onze... Dat was onze... Precies. Dus dat betekent dat je bij elk model opnieuw naar je instructies moet kijken... van de GPT die je gemaakt hebt... of die nog steeds zelfde reageert, ga zo maar door. En je moet kijken... We komen nu al in een soort fase waarin die modellen... een andere rol gaan krijgen ook ergens... dan de eerste fase waar we uitkomen, een soort van. Zeker. We krijgen en natuurlijk, wat jij zegt, nieuwe modellen... die anders zijn dan de vorige. Dat is niet als woord dat je gewoon de volgende versie krijgt... en hij doet meer dan wat hij kon. En we zitten nu natuurlijk in de week. Tijdens deze opname... Hij zal wat later uitkomen, maar o1 is uitgekomen. Die doet iets heel anders. Er is ergens anders goed in, maar juist weer heel... Hij is 12 september uitgekomen. Ik ben nog steeds met vakantie trouwens. Ja. -Tijdens deze opname. Maar ik ben even tijdens mijn vakantie hiernaartoe gereden voor de opname. Maar ik ben eigenlijk niet aan het spelen nog daarmee. Nee. -Ik heb nog helemaal geen notie... van wat er dan anders is of wat de effecten zijn. Wat we in ieder geval weten, wat OpenAI zelf ook zegt... is bijvoorbeeld dat het slechter is in schrijven. Het is een model wat beter is in... Ik moet het eigenlijk anders zeggen. Het is niet beter. Het werkt anders. We hebben de chain of thought... wat je normaal gesproken in je eigen prompt doet. Dus dat je eigenlijk het stappenplan helemaal uitschrijft. Doet hij dat nu voor je? We hebben gehad dat je met ChatGPT ook plaatjes kon genereren. Met DALI3. En dan zei je misschien heel kort van maak even dit plaatje voor me. En op de achtergrond, wat hij deed, was eigenlijk die prompt helemaal verrijken... zodat er een beter plaatje uitkwam en die kon je dan ook zien, die prompt. Eigenlijk doet hij dat nu ook. Dus je hebt een prompt en die verrijkt die. En dat geeft hij mee, waardoor het voor jou makkelijker wordt... om een chain of thought-prompt te maken. Ja, maar voor mij, met mijn gezonde boerenverstand, zeg ik dan gewoon... oké, we hebben het ene model, dat kan dat. We hebben het nieuwe model, hebben we dat. En die twee, en dat heb ik dan geleerd uiteindelijk... met het maken van wedstrijdverslagen, is dat dus een keten van modellen... die aan elkaar gaan, of keten van functies die in die modellen... ik wil die wedstrijdverslagen, dus enerzijds schrijf het... en anderzijds had er een eindredacteur die op een andere manier... naar alles ging kijken en controleren en valideren bij wijze van spreken. En alles daartussen nog eens. Je ziet nu dat die modellen ook nog andere dingen kunnen. Ja, het ene is beter dan dit, het andere is beter dan dat. Precies, en dan ga je dus eigenlijk krijgen dat je misschien wel... en dat zie ik ook, als ik gewoon kijk in mijn eigen... hoe ik dingen maak, dan haal ik het een daar vandaan en het andere daar vandaan. Bij wijze van spreken, mijn research komt uit de NotebookLLM. Dan begin ik, dan trap ik alle url's erin. Ik trap PDF's van mijn boeken erin en dan hartstikke dood. Dan ga ik beginnen en dan researchen en dan komt er een soort van basistekst uit. Vervolgens geef ik die aan mijn GPT-schrijver, zeg maar... om er een blogpost van te maken, want die heb ik gewoon geleerd... hoe ik 1500... Ik heb 1500 blogposten ingeladen, letterlijk. Daarom weet ik dat. 1500 blogposten ingeladen. Dit zijn de 1500 blogposten van het laatste jaar. Uiteindelijk A, wat is het centrale thema? Wat ik doe? B, wat is mijn tone of voice? Ga zo maar door. Dan kan ik dus door middel van die twee dingen... kom ik ineens bij een eindproduct, bij wijze van spreken. Dat is een blogpost van 700, 800 woorden. Mooi. Jij kent ons kaartspel. Je zei net van, ik heb hem helaas niet meegenomen op vakantie. Waarbij we stellingen hebben en als je antwoord geeft op die stellingen... dan kom je een heel eind richting je AI-strategie, je AI-beleid. We willen toch wel ook een stelling aan jou graag voorleggen. Leuk. Je hebt gezien dat ik geschud heb. Ik dacht, je gaat schudden en dan haal je er eentje uit. Als het niet goed is, ga je nog schudden. Nee, daar zijn we heel transparant in. Dus ik heb netjes geschud. Goh, jeetje. Dat had gewoon een tekst van mij kunnen schudden. Ik denk dat als je de analyse op mijn blogpost doet... uiteindelijk dat dit gewoon eruit komt. Echt letterlijk. Dus ja, kijk, ik zeg wel uiteindelijk altijd... als je je data goed op orde hebt en je hebt een eigen model... kijk, want ik ben van overtuigde... ik heb dan zelf het Business Exploration Framework ontwikkeld. Dat bestaat uit 27 datapunten en die kun je relateren aan elkaar. Daar helpt die GPT uiteindelijk enorm bij. Dus ja, want dan kan je de contextuele analyses met elkaar maken. Dus je moet je voorstellen... een van de dingen die ik altijd heel hard roep is... als je digitale ritme in het digitale ecosysteem op orde is... dan gaat je inkomstenstroom gewoon automatisch lopen. Voer je daar een versneller overheen met een advertentiestrategie... dus een tweede laag, en die laat je dus in lijn lopen... met je andere reputatiestrategies, zeg maar uiteindelijk... dan gaat de versneller aan, zeg maar. Dus die analyses, die data, komen uit verschillende bronnen. Die moet je eigenlijk eruit halen en een Google BigQuery neerzetten. Dus ik ben het totaal eens met deze. Ik had hem bijna zelf kunnen verzinnen. Dat is dan een beetje de Amsterdamse branie die in mij zit uiteindelijk. Maar ik ga maar op mijn blog lezen. Vraag dit maar gewoon aan mijn AI-assistent, gewoon letterlijk. En dan krijg je gewoon waar de blogposts op staan. Dus als je naar denisdoeland.com/chat gaat... en je gaat deze stelling gewoon invoeren... dan denk ik dat je rijkelijk bediend wordt met antwoorden. Nou, dat gaan we eens even doen. Neem ook mee op in show notes. -Zeker, neem ook mee op in show notes. Dus ja, ik ben daarvan overtuigd. Maar dat betekent wel dat je een visie moet hebben. En je moet zorgen dat je dus data hebt. Dus degene die de data heeft en die daarmee kan trainen... die gaat voorsprong pakken. En goede kwaliteit data. -Ja, precies, goede kwaliteit data. Daar hadden we het net over. Maar in principe zie ik gewoon alle AI-modellen als lege systeempjes. Dus die kunnen wel wat. Maar verrijk jij die met die data van jou... plus een visie die je ontwikkeld hebt en misschien wel een data-raamwerk... dan durf ik er geld op in te zetten dat je vooruitgaat. Mooi. Ben je eens echt een nieuwe blik? Discussiëren, passen, trekken. Samen leren, samen groeien. Generatieve wijsheid bloeien. Stel je voor wat AI kan wezen. Gedachten delen onbevrezen. Krenties denken steeds zo brei. Geloof me, AI is erbij. En hier zegt de rechter dat je een visie nodig hebt. Wat zijn nou eigenlijk de belangrijkste onderdelen wat jou betreft... die in zo'n AI-visie zouden moeten zitten? Nee, ik denk dat je vooral... Kijk, de AI-visie moet vooral luisteren, denk ik. In deze fase van... Je hebt al die grote partijen die hun dingen ontwikkelen. Waar staan zij nu, zeg maar? Wat is hun belofte? En met die belofte ontwikkel je zelf je eigen visie waar je wil staan. En als je denkt van 'Oké, daar wil ik bij horen'... je loopt ergens toch nog een klein stukje achteraan en je wil zelf... Je bepaalt als bedrijf op welke deel van de golf wil ik zitten. Wil ik ervoor op zitten, experimenteren, op mijn bek gaan... om het maar zo te zeggen, uiteindelijk. Om te leren hoe verder dat kan zijn. Je kan zeggen 'Ik wacht even af... totdat iedereen daarvoor al het wiel heeft uitgevonden.' Dat is een visie, hè? Waar wil je zitten? Ja, dat is mooi. Je hebt een mooi strategieboekje, de Three Horizons. Geef het maar aan waar je zelf wil zitten. En dan is het van 'Waar wil je het verschil maken?' Dan kijk je naar je organisatie en zeg je van 'Oké, goed.' Waar wil ik voorop lopen? Waar wil ik de beste in worden, uiteindelijk? Dat is dan het doel bij die visie. Dat je er aan koppelt, denk ik. Dat is echt... Voor mij is dat gewoon zeggen... 'Nou, oké, neem even V.I. daarin.' Het is het grootste platform als het gaat om het aan te voetbalredacteuren. Voetbal begint bij V.I. Dat moet ook altijd zo zijn. Daar kan AI een heel hulpmiddel voor zijn, maar geen vervanging. Gek genoeg. -Nee, dat lijkt me ook niet. Maar je kan wel... Ik vind het wel dat je het mooi zegt. Dus je hebt de visie van 'Waar wil je zitten?' op de cycle. Wat zijn je doelen? Ik denk dat de volgende stap dan is van 'Waar kan het een verschil maken... dat het bijdraagt aan die doelen?' Zeker, absoluut. Dat is meer gewoon de implementatie. Dan ga je verder kijken van 'Oké, ga ik meer treintjes maken?' Waarover die automation trains, zoals ik dat altijd noem. 'Oké, top. Wat draagt het dan bij in die organisatie?' 'Ga ik AI-collega's maken?' Of 'Ga ik nog steeds mensen hebben?' Dat wordt een balans. Daar moet je zoeken en kijken. Dat is best een... We zitten gewoon in een totale experimentele fase. Iemand die nu heel hard roept, heeft uiteindelijk een hele grote visie. Dat kan ik niet helemaal in meen. We moeten echt kijken... Oké, die modellen komen uit. Die kunnen bij al die bedrijven iets verschillend. Gemini is lang niet zo goed bij wijze van spreken als OpenAI. Andersom, ga je zo maar doen. Dan hebben we Claude. We hebben er veel bij wijze van spreken. Ze kunnen allemaal wat. De een wordt beter dan dit, de ander beter dan dat. Dat moet je dan volgen. Maar die modellen komen erna weer uit. Die kunnen we anders doen. Hoe ga je in godsnaam daar een hele harde visie op ontwikkelen? Dat kan bijna niet. Ze blijven ook maar uitkomen met nieuwe ontwikkelingen. Als je zou mogen voorspellen... hoe lang denk je nog in de experimentele fase zitten? Gaan we er ooit uitkomen? Dat denk ik niet. Tenminste, misschien niet in mijn levenstijd. Ik denk dat het nog wel 20, 30 jaar duurt... voordat we al die scenario's die we ooit eens in een science-fictionfilm gezien hebben... deels werkelijkheid worden. Er moet nog wel wat gebeuren. Iedereen die met die modellen bezig is, is het wel overeen. Het heeft wel een tijd. Maar ergens 20, 30 jaar wordt geroepen... en dan zitten we in een soort van autonomieachtige situatie... waarin tijd zal het leren. Dat is ook een beetje waar de visie van een bedrijf zou moeten zijn. Waar lig je? Waar zit je op de golf? Wil je ermee kijken? Maak je tijd en resources vrij. Voor een laboratorium, letterlijk. Research & Development afdeling, misschien is dat dan de visie. Die continu mag experimenteren met alles wat er nu gaat aankomen. Want ik heb al drie decennia digitalisering meegemaakt. De komende drie decennia die er nu aan gaan komen... dat worden wel andere decennia's. Je gaf in het begin aan dat je houdt van verandering. Als je een beetje vooruit mag kijken... welke verandering zou jij nog hopen die er aan gaat komen op dit gebied? Welke verandering? Ik ben wel benieuwd hoe die ketens... laat ik het zeggen, het efficiënter maken van processen... en dat is wel heel erg benieuwd naar wanneer we bij wijze van spreken op 50% zitten. Je zegt dat je dat vroeger deed met een team van tien en nu met een team van vijf. En dan heb ik AI-engineers en operators. Ik zie het een beetje als een soort vliegtuig. Vliegtuig is zelfvliegend, toch? Ja, over het algemeen wel. Het is eigenlijk een soort AI-gedreven machine. Als we het even heel erg... Het gaat als volgt, toch? Die piloten stappen uit hun bed en gaan naar hun werk toe. En die zeggen 'We gaan vliegen'. Ze komen op hun werk, laten we zeggen. Ze komen op Schiphol en de KLM-baan. En die zeggen 'Waar moeten we heen vandaag?' Dan krijgen ze een boekje. 'Je gaat vandaag naar New York vliegen.' 'Oh, dat is top.' Dan staan al die gegevens erin. Die zijn al een beetje voor gemaakt. Welk weer het wordt, en dan moet je erop. Trouwens, je krijgt 1000 liter kerosine mee. Ik weet niet of we het duidelijk mogen afvragen. Daar moet je het dus mee doen. Dan moet die beladen worden, toch? En mensen... Dan toppen ze dat. Dan nemen ze allemaal tot zich. En vervolgens krijgt het de weerrapport. En dan vervolgens stappen ze in die machine. En dan beginnen ze met instellen. Toch? Ze draaien knopjes. En op een gegeven moment krijgen ze van 'We mogen vliegen'. Dat is nog dat stukje tot de startbaan. Het aanleggen bij de startbaan. Dat is nog het stukje wat ze zelf doen. Want dat vinden ze heel fijn. Ik heb weleens gehoord van een piloot. Dat is heel tof. Maar ik kan me echt ook voorstellen dat gewoon... Ja, nu knopje in. Ja, en dan gaat dus al die data werken. Het is zo ingesteld dat je met die 1000 liter, met die belading en noem maar op, op tijd... Of misschien een beetje iets meer of iets minder. Maar gewoon op tijd. Bijna op tijd, hè? Ja, near real time. Dat die gewoon... En dan staat hij op JFK of op La Carriage. Eén van de twee. Dat is best wel een soort van autonoom proces bijna aan het worden. Dat realiseren mensen zich niet. Hoe vet is dat, waar wij spreken, in het datamodel dat wij gebruiken, het Business Acceleration Framework, waar je die 27 datapunten hebt. Die zijn van tevoren uit de organisatie gehaald. Ja, top. Tik, tik, tik, tik. Dit moet dat. Dit moet dat. Als de digitale hartslag op social media ongeveer dit is, en de advertising budget ongeveer dat is, dan moeten de inkomsten op 31 oktober dat zijn. Ja. Dit, dit, dit... Dit is ook letterlijk mijn quest, zeg maar. Ja, dat lijkt me zo gaaf. Dan kom je wel relaxed je bed uit. Dan ga je vooral kijken hoe het is gegaan. Die gedachte komt een beetje uit. Ik heb ooit een muziekdownloadplatform bij ID&T gebouwd. Toen zei ik aan Duncan Stutterheim, de oprichter van ID&T, dit is eigenlijk wat we het altijd over hadden. We moeten iets verzinnen waar je 's nachts je geld mee verdient. Nee, dit lijkt er gewoon op uiteindelijk. Je weet gewoon, als er nieuws wordt gemaakt, dus als je het publiceert en je doet dat in een bepaald ritme, dat ondersteun je met paid advertising, zodat je ook een nieuwe groep aan boord. Een bestaande groep krijgt dat op tijd in een mailbox of op social media. En vervolgens krijgt een nieuwe groep dat via advertising. Dan krijg je een soort snelheid erin. En dat kun je op elkaar afstemmen al. En op een gegeven moment kun je ook bijna daarnaartoe van, oké, wat is dan de uitkomst qua omzet en dergelijke? Dat lijkt me heel gaaf om mee te maken. En ik vermoed dat we binnen vijf jaar daar wel zijn, zeg maar. Mooi. -Mooi, ja. En ik zag alleen maar stijgende lijnen, vooral bij vliegen en bij de advertising. Ja, het vliegmodel is inderdaad ook stijgen, maar ook dalen. Maar het mooie is, als je dus ook je dalingen kan voorspellen... AI is niet per se... Als je geen statistiek op school gehad hebt, dan begrijp je iets van voorspelmodellen. Dan gaat AI... Je moet ook leren eigenlijk dalingen te voorspellen. Zeker. -Dan moet het ook rusten. Dat zeg ik altijd. Die modellen gebruiken we wel bij PXR. Dan weten we, dan moeten ze hoog zitten, dan moeten ze laag zitten. Je hebt ook weken waarin je weet... Deze wedstrijden die in de competitie zijn van deze week... Er is geen Champions League, dit zijn de dingen... Ja, dit wordt 'm gewoon niet. En dan moet er iets heel geks gebeuren, dat een trainer ontslagen wordt op werkveld, dan krijg je gewoon bonusomzet, even plat te zeggen, en anders heb je gewoon een rustige week. En daar is niks aan te doen. -En daar is bijna niets aan te doen, als de rest van je processen gebouwen optimaal werkt, ja. Ik zie jou dan over een paar jaar in die virtuele cockpit zitten, met al die punten. Die piloten zijn onderweg ook wat aan het doen. Wat ben jij aan het doen als dat autonome proces van jou draait? Ik denk dat er altijd... Ik ben een zelflerend type, zeg maar. Dus ik ga gewoon op zoek wat er op dat moment is, wat ik denk, dan kan ik nog een bijdrage aan leveren, of dit vind ik gewoon leuk om te ontdekken. En te zeggen, waar zit dit nou? Waar zit de relatie? Wat moet ik hiermee? En dan krijg je vanzelf wel weer een idee van... Ik kan nog even aan dit knopje draaien, of even aan dat. Uiteindelijk kan ik me gewoon heel goed voorstellen, die cockpit van een vliegtuig, die is nog vrij groot, met veel schermen en veel knopjes. Als ik ernaar kijk, uiteindelijk weet ik niet waar ik moet beginnen, toch? Dat alleen al vereenvoudigen... is alweer een hele klus. -Zeker. Plus de software die je daarvoor moet schrijven, plus de hardware, die daarvoor moet ontwikkeld worden, plus de firmware. Toch? Ja, dus er is altijd wel wat te doen. Ik hoor vooral eigenlijk blijven leren. Dus aan de ene kant laten we de AI meer leren, en we moeten zelf blijven leren, toch? We moeten continu blijven leren, uiteindelijk. De les die ik wil geven, denk ik, aan iedereen, is dat je niet bij het eerste en beste antwoord gaat. Stel nog een keer de vraag aan die AI, of stel daar nog een keer een vraag bij, of breid je je opdracht iets uit, of durf gewoon uitdagingen. Wat doe ik nou verkeerd? Ja. -Toch? Alleen die vraag al stel je. Zeker, ja. Heel mooi. Ja, toch? Dan krijg je wel weer een heel ander soort antwoord. En dat gesprek, wat je eigenlijk eerst met jezelf had, in je hoofd toch ergens. Zeker. -Toch? Dat is toch de ontwikkeling die je hebt. Als je een hobby hebt, je kan heel goed tafeltennis, en je wil beter daarin worden, ga je boekjes lezen over tafeltennis, dan ga je met een trainer aan de slag, toch, bij ons bespreken, om beter te worden. Nou, dat is eigenlijk met AI net zo. Als je beter wil worden, moet je met experts om je heen praten. Dus ik heb met jou mogen praten, Joop. Uiteindelijk vind jij een expert in bepaalde dingen. Nou, top. Wat mooi. Dan leer ik van jou... Ik zei het al, ik heb van jou geleerd dat we met elkaar erover uit zijn dat modellen geen software-updates hebben. -Ja, precies. En dat is dan de stelling, of wat eruitgekomen is. En dat ga ik monitoren. Dus ik weet niet of dat over een jaar of over twee jaar standhoudt. En als dat wel zo is, dan zeg je, we waren er vlug bij. Precies. Ja, maar ik vind het heel mooi om af te sluiten met blijf leren. Dus blijf de AI toetsen, blijf daarmee leren omgaan. En blijf zelf vooral leren, toch? -Zeker. Ja, blijf hongerig. Blijf hongerig. Heerlijk. -En nieuwsgierig. Toch? -Och. Dennis, hartstikke bedankt voor de inzichten die je hebt gegeven. Heel erg interessant. Mooi kijkje achter de schermen van wat je aan het doen bent. En wil je nou ook eens stellingen gaan beantwoorden... het kaartspel is gratis te bestellen. Dat linkje staat in de show notes. En zorg dat je je abonneert via je favoriete podcast-app. En dan mis je geen aflevering. Tot de volgende keer. Tot de volgende keer. En nog fijne vakantie. -Dank je wel. Haha.