De kracht van voorspellende modellen in bedrijfskritische processen met Bas Niesink

In deze aflevering hoor je Bas Niesink, AI consultant bij Unpredictable.ai, die uitlegt hoe machine learning modellen specifieker en vaak kosteneffectiever zijn dan generatieve AI voor voorspellingen en klassificaties in bedrijfscritische processen. Met praktijkvoorbeelden uit de energiesector laat hij zien hoe data scientists complexe modellen bouwen die bedrijven helpen betere beslissingen te nemen zonder onnodige complexiteit. Dus, blijf luisteren! Hoi, leuk dat je weer luistert naar een nieuwe aflevering van AIToday Live. Mijn naam is Joop Snijder, CTO bij Aigency. Mijn naam Niels Naglé, Area Lead, Data & AI bij Info Support. En welkom terug Bas Niesink. Bas, je bent al eens een keer eerder bij ons in de uitzending geweest. Maar voor degene die dat niet gehoord hebben, zou je jezelf eerst even willen voorstellen? Ik ben Bas Niesink. Ik heb hiervoor zes en een half jaar bij Info Support gewerkt. Dus vandaar dat ik Joop en Niels vanuit die hoek goed ken en ook al een keer het gast ben geweest. Nu ben ik bezig voor mezelf vanuit een klein freelance bedrijfje, een man zaakje, Unpredictable.ai. En vanuit daar ben ik bezig met een stukje AI consultancy. En dat op het vlak van eigenlijk alles dat met data AI te maken heeft. MLOps, een stukje data science, data engineering, architectuur. Alles dat met data AI te maken heeft, gewoon lekker mee aan het nerden. En ooit hoop ik iets van een product te maken. Maar ja, wat? Het gaat zo rap. En als je iets bouwt, is het niet volgend jaar achterhaald. Dus dat staat even in de ijskast misschien. Maar gewoon lekker data-AI. Ja, en het leuke is, je bent vooral heel erg gespecialiseerd in de machine learning. Daar hebben we je ook vooruit genodigd. Want de markt heeft nu oogkleppen op. Er wordt alleen maar gekeken naar generatieve AI. Zou jij het verschil kunnen uitleggen voor niet-technische luisteraars? Wat het verschil is tussen machine learning en de generatieve AI? Tuurlijk. Als je denkt de generatieve AI, dan denkt iedereen nu on ChatGPT, een Claude, Perplexity en andere modellen die vooral dingen genereren. Tekst genereren, afbeeldingen genereren, muziek, audio, spraak enzovoort. Allemaal super gave dingen die heel veel kunnen. Vaak AI-assistenten of programmeer helpen. Maar allemaal dingen die heel breed zijn qua kennis. En die vooral dingen genereren. Dus maken, teksten, dat soort zaken. Als je kijkt naar de machine learning kant, dan heb je van oudsher meer de statistische modellen. Waar je een soort geautomatiseerde statistiek toepast. Om daar een bepaalde taak op te lossen. Een kleine afgebakende taak vaak. Bijvoorbeeld het voorspellen hoeveel energie mensen gaan verbruiken of opwekken. Of hoeveel klanten gaan deze maand potentieel weg bij een bedrijf. En moeten we met een mooie marketingcampagne erbij houden. Veel specifiekere, specialistische modellen. Dus generatief, heel breed en het maakt vooral dingen. En machine learning vaker voorspellend of classificerend dingen in bakjes delen. En veel meer voor één bepaalde toepassing. Ja, je noemde net al twee toepassingen. Je bent werkzaam in de energiesector. Klopt. Zou je daar een typisch machine learning probleem of oplossing kunnen benoemen? Zo'n typisch is dus wat ik net noemde. Stel je bent een energiebedrijf of je bent een netbeheerder. Of dat dat maakt verder niet of uit. Je moet in proberen te schatten afhankelijk van historische verbruiksgegevens, opwekgegevens, het weer enzovoort. Hoeveel stroom men gaat opwekken, verbruiken. Kan je je voorstellen die zonnepanelen die we tegenwoordig allemaal hebben. Die zorgen dat het heel erg grillig is. Schijnt de zon dan heb je opeens heel veel opwek. Komt er een wolk voor dan is die opeens weg. Maar je moet wel genoeg capaciteit op het net hebben. Genoeg stroom inkopen, verkopen. Misschien moeten zonneparken uitgeschakeld worden als er opeens even te veel belasting is. Dus dat is een typisch model waarbij je een forecast maakt voor het lange termijn, korte termijn, van hoeveel stroom gaat er verbruikt en opgewekt worden. En je bent data scientist. Wat houdt dat in? Eigenlijk dat je bezig bent om vaak dit soort modellen te maken. Dus je hebt een bepaald probleem, een bepaalde use case, je moet iets gaan oplossen. En je hebt daarvoor datasets ter beschikking. Bijvoorbeeld die historische verbruiksgegevens. Of misschien een heel ander voorbeeld. Bedenk dan maar eens een voorbeeld. Stel je bent ijsjesboer. Hoeveel ijsjes ga je verkopen op de dag? Dan heb je misschien een mooie dataset van allerlei historische ijs verkopen. Je wil dat goed kunnen inkopen. Dus je gaat een model proberen te maken. Statistische modellen. Om gegeven die dataset die je hebt met historische gegevens. gegeven wat nieuwe data, zoals de weersvoorspelling. Kijken hoeveel ijs moeten we inkopen. En als data scientist ben je daarmee bezig. Dus je bouwt die modellen. Je bent ook bezig met die datastromen verzamelen. Maar ook kijken wat is de kwaliteit van die modellen. Deugt het wat je aan het maken bent? Kun je die modellen uitleggen? Als in hoe werken die modellen onder de motorkap? Allerlei zaken die erbij komen kijken. Ook wel heel veel bedrijfskennis die je nodig hebt als ik het zo hoor. Dus context van waarin opereer ik? Wat zijn de uitdagingen die er zijn binnen organisaties? Zeker, want als je dat niet hebt, dan kun je echt de mist ingaan. Dan is het heel makkelijk om blind op een model te vertrouwen. Terwijl met wat meer domeinkennis weet je dat een voorspelling die gemaakt wordt misschien helemaal niet klopt. En dan kom je pas achter door te praten met de business owners of door zelf die kennis te hebben. Om kaas te maken van de voorspellingen en te valideren of dingen kloppen. Dus dat je echt de kennis van de personen en inderdaad statistische modellen bij elkaar gaat brengen. Om de juiste conclusies te trekken. Ja, inderdaad. Wat heeft je aangetrokken tot dit vakgebied? Dat is eigenlijk een beetje organisch zo gegaan. In mijn studie moest ik een master kiezen met een specialisatie. En toen was het eigenlijk 50-50. Ga ik de security kant op of ga ik de data science kant op? En toen dacht ik, data science, dat klinkt wel gaaf. Je bent bezig met allerlei analyses en je kan modelletjes maken. En die kunnen dan allerlei dingen voor je gaan doen. Dus ik had wel van die hele futuristische beelden in mijn hoofd. Uiteindelijk viel dat tijdens de master nog een beetje tegen. Want het voelt nog als beginfase stenen tijdperk machine learning. Waar je als het ging om teksten echt puur aan het kijken bent. Je hebt een set met woordparen en wat voor kansen op een volgend woord. En als je ziet hoe dat nu de laatste jaren sneller gegaan is. Dan voelt het echt als stenen tijdperk. Maar het idee dat je daar dingen in kan analyseren en werken met Big Data. En daar allerlei gave tools mee kan maken die ook waarschijnlijk geautomatiseerd werken. Dat sprak me heel erg aan. Dus ik ben die kant op gedoken en dat bevalt nog steeds goed. En je vertelt, je hebt data, daar maak je met een algoritme een model van. Ik kan me zo voorstellen dat een gemiddelde luisteraar denkt, oh dat is eigenlijk heel eenvoudig. Het kan eenvoudig zijn als je een mooie hapklare schone dataset hebt. Die je in zo'n model stopt en er komen mooie rekenregels en dingen uit. Maar vaak moet je data eerst nog netjes opschonen. Moet je de features, dus de dingen waarop zo'n model werkt, moet je gaan afleiden uit de dataset. Stel je bent aan het kijken naar die energievoorspellingen. Je hebt te maken met time series, dus tijdreeksen van meetgegevens. Maar dat zegt nog niet zoveel. Je moet kijken wat waren de dagen van de week. Wat is het voor per uur, per dag. Je moet een soort van rolling features gaan maken. Dat je uit zo'n lange tijdreeks verschillende waardes gaat halen. waar zo'n model iets mee kan. Je moet iets hebben dat hap klaargemaakt wordt voor zo'n model om die statistiek te doen. Er zijn ook allemaal dingen die erbij komen kijken. Dat lijkt het, we hebben een hele grote CSV en we knallen die in een model en we hebben een output. Maar dat is helemaal niet zo, want je bent heel veel bezig om die data te bewerken, verwerken, dingen eruit te halen om überhaupt er iets zinnigs mee te kunnen doen. En hoe maak je de besluiten wat je wel neemt en wat je niet meeneemt? Voor een deel gewoon domeinkennis. Dus weten wat het probleem is en ook weten wat zijn dingen die je hebt op dit moment nu je aan het trainen bent. Maar ook wat heb je straks in een scenario waarbij je echt een voorspelling moet maken. Want daar kan een verschil tussen zitten. Soms ook gewoon modellen zelf het werk laten doen. Dus je hebt allerlei technieken om het model eigenlijk zelf te laten bedenken. Wat zijn goede features, wat zijn minder goede features. Wat heeft wel impact, wat geen impact. Dus wat ga je meenemen. Je wil ook niet teveel dingen meenemen. Dus soms ga je daar weer in snoeien of dingen combineren. Het blijft echt wel vrij specialistisch werk. Je triggerde mij met het stukje van, bij de analyse en bij de voorspelling ben je het aan het bouwen het model. Maar dat is soms anders dan in de praktijk als je de voorspelling gaat doen. Kan je die wat meer toelichten? Wat bedoel je daar precies mee? Het is moeilijk om een specifiek voorbeeld te bedenken. Maar ik heb een keer gewerkt aan een predictive maintenance project. Daarbij hadden we allerlei inspectiedata van verschillende energiecentrales. Tijdens het trainen had je alle data ter beschikking. Je wist al precies wat waren alle uitkomsten, wat had een monteur allemaal gezien met het oog. Maar als je een voorspelling gaat maken over de vraag van moet er een nieuwe inspectie plaatsvinden, dan heb je die data niet. Dus dan kun je daar ook geen voorspelling mee doen. Dat zijn dingen die je wist pas achteraf. En soms is het best venijnig hoe dat soort dingen die je pas achteraf had geweten in de dataset al verwerkt zijn. Die zijn dan toch weer verwerkt in bepaalde variabelen over een bepaalde toestand. En die zou je niet hebben op het moment dat je nu een nieuwe voorspelling zou gaan maken. Dus dan moet je echt even goed de data doorspitten en kijken van klopt dit wel? Lekt er geen data weg? Ja, en zijn er zaken inderdaad die je op het moment van voorspelling dus niet hebt en in een tijdslijn uitzet van wat heb ik dan wel tot mijn beschikking om eigenlijk het advies of de voorspelling te kunnen gaan creëren? Exact. Oké. Je gaf aan, met de machine learning kun je de voorspellingen maken. Maar er zijn ook classificaties. Daar is het ook heel goed en bruikbaar voor. Maar wat we zien, is dat daar ook steeds meer taalmodellen voor gebruikt worden. Dus de taalmodellen kunnen ook best wel redelijk goed classificeren. Waar leg jij de grens? Ik weet niet of je dat zou kunnen zeggen. Waar heeft machine learning eigenlijk de voorkeur boven de generatieve AI? Als je aan de slag gaat met classificatie. Goeie vraag. Ik zou sowieso zeggen, waar mogelijk en waar het goed werkt. Gebruik machine learning, want dat zijn simpelere modellen. Beter uitlegbaar, makkelijker te trainen enzovoort. Maar stel je hebt dingen... Goedkoper waarschijnlijk ook. Goedkoper waarschijnlijk, zeker. Stel je dingen hebben die echt gaan over diepgaande tekstmodellen bijvoorbeeld. Dan zou ik voorheen machine learning pakken. Voor een sentimentanalyse bijvoorbeeld. En tegenwoordig denk ik toch meer een wat breder model. Die daar veel meer trainingsdata voor gezien heeft. En goed mee uit de voeten kan. Ja, maar eigenlijk zijn het al hele goede criteria wat je zegt. Dus kosten, eenvoud, onderhoudbaarheid, uitlegbaarheid. Nou, dat zijn al, ik telde zo al vier criteria die je er zo even uit de mouw schudt. Je hebt toch een paar mooi aangevuld, maar inderdaad. Ja. Maar het blijft altijd een moeilijke vraag, denk ik. Dus ML waar mogelijk, dus machine learning waar mogelijk. Maar ook niet schuw om die andere modellen te gebruiken als dat echt veel meer waarde. Ja, en dan kom ik denk ik ook weer bij die oogkleppen. Weet je, er is nu zoveel focus op die generatieve AI, dat er zo snel daarna wordt gekeken, daarna wordt gegrepen. Dat het jammer af en toe is dat de machine learning vergeten wordt, omdat die soms ook gewoon krachtiger is. Ja, en ook specifieker ingezet kan worden voor de vraagstukken die je hebt inderdaad. Dus van generiek naar specifiek. Wil je dat reproduceren en wil je die kwaliteit kunnen waarborgen, dan is machine learning daarin gewoon een hele goede toepassing. Wat ik me afvraag is, je had verteld, wat komt er een beetje voorbereidingen bij kijken voor het maken van zo'n machine learning model. Maar het model is er. En dan? Ja, dan krijg je meerdere fases. Waarbij je natuurlijk eerst gaat kijken van werkt het model goed? Dus als het goed is heb je al zo'n model gemaakt en getraind en zie je daar een bepaalde score uit komen. Maar je moet ook kijken, werkt zo'n model in de praktijk? Vaak heb je daarvoor een datasetje achter de hand gehouden die het model nog nooit gezien heeft. Een hold-out set heet dat. Om te kijken van werkt zo'n model goed, maar je gaat het ook toepassen in de praktijk. Misschien met een kleine casus, misschien iets AB testen. Dus dat je een oud model en een nieuw model vergelijkt. Of dat je het gewoon in de praktijk probeert en er zelf misschien nog in de loop zit als mens. Maar je gaat kijken, werkt zo'n model goed in de praktijk? Vaak zie je dingen waar het nog niet zo goed in is. Die kennis neem je weer mee. Dan ga je eigenlijk weer terug naar de voorkant. Ga je weer aan het model sleutelen. Ga je zorgen dat het model hopelijk beter is, valideer je het weer. Ga je steeds zo'n soort van cyclus door. Een beetje zo'n MLOps cyclus wordt het ook wel genoemd. Waar je doorgaat om steeds de kwaliteit van zo'n model te monitoren, dingen uit te leggen, te verbeteren. Je blijft steeds daar aan sleutelen, het is nooit afgelopen. Dus continu verbeteren, leren en weer toepassen. Ja. Kan je uitleggen wat ML OPS is? ML OPS staat voor Machine Learning Operations. En dat is eigenlijk een soort van afgeleide van DevOps. Dus bij programmeren gaan developers, dev, ook zo'n soort van cyclus door. En bij ML OPS heb je het eigenlijk over zo'n cyclus van het begin van zo'n machine learning traject. Van het verzamelen van data en dergelijke en het trainen van zo'n model. maar ook als een model uitgerold is, de kwaliteit daarvan waarborgen. Misschien ga je tests implementeren om te checken geautomatiseerd of zo'n model goed werkt. Vaak zit er ook iets bij aan pipelines om te zorgen dat heel veel dingen automatisch gaan voor de data scientists. Dus ik ben nu allerlei pipelines aan het bouwen die zorgen dat als er een nieuw model is, wordt eerst helemaal gecheckt, wordt helemaal door de molen gehaald. Daarna wordt hij uitgerold naar een acceptatieomgeving. Daar worden integratietests gedraaid. Volledig end-to-end flow van het model die doorlopen wordt. Kijken van, zit dat ook goed in elkaar? Dan wordt die uitgerold naar productie. Dan wordt er een rapportje ergens neergezet met de testkwaliteit. Allemaal dingen die geautomatiseerd zijn om die cyclus, die MLB-cyclus, makkelijk te kunnen doorlopen. En die cyclus omvalt dan dus trainen, blijven verbeteren, uitleggen enzovoort. Dus je hebt steeds heel snel feedback. Ja, en met al die MLB-dingen probeer je zo snel mogelijk die lust door te gaan. Om dat zo kwalitatief mogelijk hoog te houden allemaal. Ik was ook nog wel een beetje geprikkeld door de naam van je bedrijf. Unpredictable.ai. En voor een gedeelte is dat natuurlijk ook zo. De uitkomst van AI is ook af en toe onvoorspelbaar. Hoe zorg je er nou voor dat je... Laat ik het zo verwoorden. Hoe stem je eigenlijk met de klant af hoe fout een model mag zijn? Hoeveel fouten die mag maken? Dat is altijd een gesprek, denk ik. Op dit moment doe ik dat niet. Op dit moment zijn data scientists van de klant waar ik een opdracht doe zelf. Zijn daarmee bezig en ik faciliteer ze met alles rondom envelop, zo'n structuur, dat soort dingen. Maar als ik zoiets zou aangaan, dan zou ik echt een gesprek gaan voeren en daarmee heel erg kritisch zo'n klant challenge je om te kijken van wat is nou echt realistisch. Je kan natuurlijk streven naar we willen 5 negens on accuracy hebben en dergelijke. Achter de komma bedoel je. Achter de comma, dat is gewoon echt super precies model. Precies, ja. Maar dat hoeft helemaal niet het enige te zijn dat waarde oplevert. Stel je bent een webwinkel met kleine onderdeeltjes. Dat is een casus uit mijn studie, daar gingen we een soort van zoekmachine voor maken. Om te kijken hoe je zo snel mogelijk weet dat een o-ring 5 mm binnen, 6 mm buiten... naar een bepaald artikel verwijst. Dan kun je zeggen van we willen daar 100% accuracy hebben. Zodat iedere zoekopdracht van de klant precies leidt tot het product dat diegene zocht. Maar stel je geeft vijf zoekresultaten terug en je zit altijd in je top vijf. Dan heb je het al veel makkelijker voor zijn klant gemaakt om dingen te doen. Dus dan kan je misschien ook met een accuracy van 70% of top vijf bij zoekopdrachten. Dat soort dingen ook goed uit de voeten. En er zijn heel veel dingen die ook gewoon heel veel waarde hebben. Ook al zijn ze niet 100% goed. Ze helpen de mens. Je checkt zelf nog misschien wat laatste dingen. Je programmeert er iets omheen. Dus vaak ligt die lat veel lager dan mensen denken. Dus dan is het echt een kwestie van gesprek aangaan. En ze daarop wijzen. Net als met computerbeveiliging. Men wil ook dat alles dan bijvoorbeeld helemaal perfect beveiligd is. Of dat systemen volledig redundant zijn uitgevoerd. Met een uptime van 7, 9's achter de koma enzovoort. Totdat je ze vertelt hoe duur dat is. En hoeveel complexiteit dat kost. En hoeveel werk dat gaat kosten. En dan zijn opeens de business requirements een stuk meer fluide dan de vooraf leek. En zo zit het hierbij ook. Precies. Dus je moet ze gewoon meenemen daarin. Ja. Ja, en de afwegingen daarin maken. Want ik hoor je kosten zeggen, accuracy, dat soort zaken. Wat voor afwegingen zitten er zoal in, in die vraagstukken? Dat zijn een paar goede. Dus wanneer ga je gewoon de businesswaarde gebruiken. En hoe lang blijf je doorgaan met nog verder trainen, verbeteren, er geld tegenaan gooien enzovoort. Kijken of je de casus misschien anders kan framen. Om te zorgen dat je er sowieso meer waarde uithaalt. Dus dan heb je dingen met... Andere is misschien hoeveel dingen ga je zelf doen. Hoeveel dingen haal je van off-to-shelf modellen. Dus je kan zelf data scientist ergens opzetten. Dan heb je die mensen nodig. Die zijn schaars. En die gaan dan een model voor je bouwen. Of je kijkt wat is er off-to-shelf al beschikbaar. Kunnen we misschien toch iets met een ChatGPT-achtig iets. Of een ander off-to-shelf model. Of een product die Automated ML doet. AutoML, geautomatiseerde machine in de modellen. Wat is dat? Eigenlijk zijn dat producten waar je een data set instopt. Je geeft aan wat je eruit wil hebben. Dus wat is hetgeen dat voorspeld moet worden. En je hebt allerlei code die gaat aan de slag om continu een model opnieuw te trainen. Om te zorgen dat die score uiteindelijk heel goed wordt van hetgeen je wil voorspellen. Maar je hebt zelf geen invloed meer op wat hij nou precies voor een model bouwt. Dus je hebt heel veel verschillende type modellen. En hij pakt gewoon het beste model. Dat in dit geval toevallig het beste werkt. Met een bepaalde set parameters die de hoogste score opleveren. Dus eigenlijk alsof je AI doet of machine learning met wat hulp, wat zijbandjes. Maar dat werkt vaak heel goed. Ik heb een keer een hackathon gehad bij een energieleverancier. En daar had je allemaal data scientists zitten. Tientallen data scientists die modellen gingen bouwen. Uiteindelijk won een architect die AutoML gebruikte met een scriptje. En had hij een CSV'tje ingeknald in een JSON. En daar kwam de hoogste score uit. En dan had je al die hele scientists heel druk bezig geweest. Dan laat je eigenlijk de machine uitzoeken welk algoritme het beste past bij jouw data. Ja, die gaat gewoon heel veel proberen. En dat kan verrassend goed werken. Dus dan moet ik echt wel lachen als je ziet dat iedereen er heel veel tijd in effort in staat. En uiteindelijk wint iemand die dat geautomatiseerd doet. Dus daar is helemaal niks mis mee om zo'n model te pakken. Dat kan juist hartstikke goed werken. Zeker. Het ding die me wel afvraagt op dat moment is. Dat is natuurlijk met die CSV die op dat moment wordt aangeboden. Daar past het model bij. Dus als daar wat variatie in gaat komen. Dan heb je daar denk ik misschien wel meer uitdagingen. Met andere performance bij zo'n gegenereerd model. Want het is niet dat hij iedere keer een nieuw model genereert. Want de output is het model. De output is het model. Maar je kan natuurlijk wel zo'n model opnieuw trainen. Als je CSV zou wijzigen in de handmatige wereld. Moet je ook opnieuw een model trainen. Maar je moet wel weten wat je doet. Dus niet dat je denkt, dan komen we toch weer terug op die business kennis en dat soort zaken. Je moet wel blijven weten wat je doet. Ja, en in dat kader, want bij generatieve AI wordt nu gezegd dat je bepaalde vaardigheden moet gaan opdoen. Zoals dat je prompt engineering moet kunnen, dat je kritisch moet kunnen nadenken, dat je bronnen verifieert. Wat zijn nou speciale vaardigheden op het gebied van machine learning? Dan zou ik vooral zeggen het model kunnen uitleggen. Een model is een soort van blackbox. Die is allemaal dingen aan het doen onder de motorkap om tot een bepaald antwoord te komen. Maar ja, wat gebeurt er nou echt? Naar welke factoren kijkt hij echt? En is het goed dat hij daarnaar kijkt of niet? Dus dat zijn allemaal dingen die hebben te maken met uitlegbaarheid. Explainable AI. Dat is heel belangrijk om te kijken of er dus wel het goede gebeurt. En je niet een model hebt die stiekem een heel andere ding aan het kijken is. Andere is weten wat voor... En stiekem voor de mensen is niet dat hij... Het is niet malicious of zoiets. Nee, toch? Het is uiteindelijk dat je iets traint... wat niet het juiste resultaat oplevert. Het is niet dat een machine learning model daadwerkelijk stiekem iets doet. Nee, nee, nee. Maar het kan zijn dat hij naar andere factoren kijkt dan je daadwerkelijk zou willen. Dan kom je ook een beetje bij dingen die met console inference te maken hebben. Dus met de vraag heb je te maken met causale verbanden of niet. Dus je hebt ook heel veel van die correlaties erbij. Ik weet niet veel wat het aantal films waarin, noem eens even iemand, Jean-Claude van Dalmen zit en het aantal mensen die van een brug springt, dat daar misschien een correlatie in zit. Maar dan heb je ook andere verbanden. Bijvoorbeeld mensen die veel kaviaar eten zijn heel gezond. En dan kun je denken van, oh we moeten iedereen zes kilo kaviaar per dag geven. Maar dat komt er dan door dat het vaak mensen zijn met meer geld die dan vaak ook meer tijd of mogelijkheden of opvoeding hebben, patronen, om ook meer te gaan sporten en die dat als een beter deel zien van hun leven en gezond aan het eten zijn. En dan gaat het meer daarom. En niet om het feit dat je zes kilo kaviaar per dag je muid door aan het proppen bent. Dus dat zijn er wel... Ja, dus dat zijn correlaties. En je zegt van, ja, daar zoekt eigenlijk de machine op. Maar je bent op zoek naar causale verbanden, oorzaak en gevolg. Ja, en zo kan ook zo'n model gewoon de verkeerde afslag nemen. Dus je moet wel scherp blijven van wat doet een model nou echt. En zit hij echt naar de goede dingen te kijken. En is daar causaliteit of niet? En hoe bepaal je dat? Ja, dat is nog weer een heel vakgebied aan zich. Met allerlei tools en dat soort dingen erbij. Maar dan kom je toch bij allerlei statistische tests. Om te kijken of er dat soort verbanden zijn. Of nadenken over dingen. Want zo met die kaviaar kunnen we zelf in een minuutje uitvogelen. Dat er iets anders aan de hand is. Een ander voorbeeld is. een bedrijf die had een bepaalde tool die ze aanboden en ze zagen op het moment dat ze een training gaven over dat product of een training aanboden dan zeiden heel veel mensen een abonnement op die tool, dan denk je ook van nou dat is gek maar dan ga je even praten en dan blijkt dat zo'n salesmanager die erbij betrokken is al ziet dat een klant het product weinig gebruikt en die bieden dan als last effort, laatste poging bieden ze een training aan dus dan heb je daar ook alweer een enorme vertekening van je dataset doordat in de echte wereld de account manager al zag dat het de verkeerde kant op ging. Dus dan helpt het al gewoon door de organisatie in te gaan, samen uit te puzzelen en te denken wat er aan de hand is. En als je zou vertrouwen op die uitkomst van die training, dan stop je met de training. Dus zelf blijven kijken en een hele set aan statistische test en dat soort zaken om daar meer kaas van te maken. Ondanks dat we het hebben over machine learning, we hebben een kaartspel over generatieve AI met stellingen. En daarvan willen we jou er ook eentje bij voorleggen. Juist om ook te kijken van, weet je, hoe denken mensen over bepaalde onderwerpen? Ja, en deze keer is het thema ethiek en maatschappij. O jee. Ja, komt goed. En de stelling luidt als volgt. Organisaties moeten transparant zijn over het gebruik van AI in hun besluitvormingsprocessen. Goeie vraag. Een goeie vraag. Besluitvorming. Voor een heel groot deel zou ik zeggen, ja daar ben ik het mee eens. Als het gaat om, er is een hypotheek van iemand afgewezen en diegene wil weten hoe komt dat. En er blijkt een model achter te zitten of toeslagenaffaire, dat soort zaken. Ja dan is het fijn om te weten dat er een AI model achter zit. Als het erom gaat van ga ik zelf een nieuwe computer kopen ja of nee. En ik heb daarvoor AI gebruikt om die vraag te beantwoorden. Dan gaat dat de rest van de wereld wat mij betreft niet aan. Dus het hangt er weer vanaf. Het standaard flauwe antwoord. Maar in heel veel gevallen denk ik het wel. Wij zijn ook bezig met het kaartspel te ontwikkelen in een specifieke versie voor de zorgsector. En dat doen we ook met het ETZ. Ziekenhuis uit Tilburg. Er komt later in een andere podcast wel meer over. Maar ik wil het dilemma iets groter maken namelijk. Want daar wordt gekeken van, ja maar wat nou als de arts ter ondersteuning van zijn werk, dus ter ondersteuning van het besluit nemen, AI zou gebruiken, vind je dan dat je dat als patiënt zou moeten weten? Dat vind ik wederom een lastige. Ergens denk ik van wel, want er wordt AI gebruikt en je wil, daar kunnen altijd fouten gemaakt worden. Mensen kunnen ook fouten maken, maar je wil dan toch weten dat zoiets gebruikt is. Omdat zo'n model er misschien naast kan zitten en je dat moet rapporteren en dan misschien iets gaat gebeuren. Maar aan de andere kant is het gewoon een tool die iemand gebruikt en die dingen makkelijker kan maken. Iemand heeft nu ook ondersteuning in tal van dingen of iemand vraagt misschien aan een collega iets of wat dan ook. En zolang iemand zelf daarvoor verantwoordelijk blijft. En zelf met goed vertrouwen de laatste beslissing blijft maken. Dan vind ik ook wel dat die verantwoordelijkheid voor een deel bij die persoon ligt. En dat het niet per se gedeeld hoeft te worden. Ik ga hem nog lastiger maken. Ik ga hem nog lastiger maken. Laten we het met z'n drieën doen. Want het gaat niet alleen om jou. Want een zoekmachine gebruikt machine learning. onderdeel van AI. Dus de arts die heeft of dat zeg maar opgezocht in een intern systeem of opgezocht met Google, zou die dat dan moeten en de uitkomsten daarvan, ze heeft die dingen gelezen, moet die dan gaan aangeven dat AI onderdeel geweest is van een besluitvormingsproces. Omdat die wat opgezocht heeft. Kijk, wat ik, Als je het mij persoonlijk vraagt. Ik hoorde de vraag ook net. Dus we waren dood nog aan het processen. Maar voor mij is het denk ik van belang. Om A. te weten. Hoe doet het advies het? Dus hoeveel ervaring heeft hij? En zijn er hulpmiddelen die hij in terecht gebruikt? Maar hoe is hij gekomen tot de beslissing? Wat waren belangrijke factoren die hij heeft afgewogen? Om tot het besluit te komen? Dat zou ik interessant vinden. Zou ik in ieder geval als het over de gezondheidszorg. In mijn dossier terug willen zien. Ik heb tools gebruikt. Tools kan van alles zijn. Maar wat zijn nou voor mij echt belangrijke factoren die zijn van essentieel belang geweest waarom ik deze keuze gemaakt heb? En hoe je dan komt tot die essentiële onderdelen? Ja, dat vind ik interessant omdat ik van de data en de proces erachter hou. Maar ik denk dat dat voor veel mensen teveel gaat zijn. Maar wel op welke richtingen, welke afslagen zijn er genomen? Maar zeg je dan wel wanneer bijvoorbeeld bij een CT-scan, stel je bent radioloog, dat een AI-model daarbij geholpen heeft om een beslissing te maken en niet bij een zoekopdracht. Of zeg je daarbij ook, waar ligt die grens? Ja, dat is een goeie. AI is een technisch hulpmiddel. En daarvoor hadden we misschien ook wel heel veel mensen die ernaar keken waar ook de fouten in zitten. Dus ik zou dan meer de uitkomst willen weten en hoe is het proces geweest. Maar dat is eigenlijk meer om vertrouwen te krijgen, merk ik zelf nu ik het zo uitspreek, dan echt een nut en noodzaak voor die beslissing. En jij Joop? Nou kijk, als het gaat om daadwerkelijk besluiten die mij raken als patiënt. Volgens mij moeten ze dan aan allerlei regelgeving voldoen. Dus dan heb je het over de medical device regulation. En daar is eigenlijk volgens mij dan zeg maar in afgedekt. Daar zou je dan het vertrouwen in moeten hebben. En maakt het mij zelf niet zoveel uit welke bronnen en hoe iemand tot een besluit is gekomen. als hij het maar aan mij heel duidelijk kan uitleggen waarom het op mij past en waarom het een goed idee is om met dat besluit verder te gaan. Dat zijn die punten die ik bedoel. Wat zijn dan die beslissingen? Maar ik hoef niet te weten of het met AI gedaan is of niet. Nee. Ik zou het zelf op z'n minst interessant vinden. Ja, dat is wat anders. Dat vind ik ook. Uiteindelijk vind ik dat een mens verantwoordelijk blijft voor alle beslissingen. Maar ik zou het wel heel interessant vinden om te weten hoe dingen zitten. Ik zou het misschien wel willen weten, want als het niet in overweging is genomen, die technologie die misschien wel enorm kan helpen, dat het juist zoiets is van, maar waarom niet? Als een mond draaien. Wat je eigenlijk tegen de radioloog gaat zeggen van, joh, ik heb hier een model. Maar waarom wordt deze technologie nog niet ingezet om dit soort ondersteuning te doen? Als we dat dan nou doortrekken naar jouw sector, waar je nu in bezig bent, die energie sector. Waar is het eigenlijk misschien wel bizar dat er nog geen AI machine learning gebruikt wordt? Ik wil geen collega's voor de voeten schoppen. Maar je hebt heel veel dingen die nog handmatig gebeuren bij bedrijven. En dat is niet uniek per bedrijf. Maar heel veel mensen die handmatig waardes aan het checken zijn. Die handmatig andere dingen aan het checken zijn. Heel veel dat gewoon handmatig gebeurt. Waarvan ik denk, daar kan AI supergoed in assisteren. en je daar misschien de outliers in meegeven of een rapportje van dingen, dat je daar zelf nog de laatste hamerslag op geeft. Maar heel veel dingen die gewoon in die zin weggeautomatiseerd kunnen worden. Veel dingen die ook logisch zijn, dus als je kijkt naar die forecast, dan gaan mensen ook nog zelf even kijken met hun eigen pet op. Ja, maar hier zit het model misschien naast, want het is weer een bepaalde feestdag en die is niet iedere vijf jaar. Of we weten dat een centrale toevallig uit is voor onderhoud, dat soort dingen. Maar heel veel dingen kunnen gewoon geautomatiseerd worden. En dat gebeurt niet genoeg. Heb ik ook, dat is dan akelig specifiek, maar bij een zeker energiebedrijf de afdeling die mij als IT'er moet helpen om dingen binnen de grote organisatie en groepen regel te krijgen. Daar ben ik niet altijd even enthousiast over. Omdat het gaat om een loket en die gaat bij andere loketjes weer informatie aanleveren. Maar ik moet eigenlijk al weten wat ze bij het laatste loketje moeten hebben om bij dat eerste loketje een aanvraag te kunnen doen. Laten ze mij helpen om dat samen in te vullen. Dat denk ik ook. Daar kan AI best wel flink in helpen. Om daar dingen in te verbeteren. Zo niet te vervangen. Maar ik moet mensen te vriend houden. Nee, maar procesoptimalisatie hoor ik hier. Ja, dat is mooi verwoord. Dat helpt enorm. En wat in je huidige werk hoop je dat dat nooit vervangen gaat worden door AI? Ik hoop zelf nog in een forum een eigen baan te houden. Dat is ik me soms ook heel erg af te vragen. Maar dat kan alles zijn. Dat kan ook zijn het aanvegen van de straat. Kan ook. Of we in de mijn op zoek gaan naar mineralen die nodig zijn om chips te bouwen. Het kan van alles zijn. Maar even afhankelijk van hoe ver je hem dystopisch doortrekt. Maar ik zou het leuk vonden om iets van werk te hebben en dingen te kunnen doen. En zelf nog een soort van menselijke expertise te kunnen hebben ergens over. En mee te kunnen sparren. En niet blind te volgen wat er uit modellen komt. En daar volledig op te vertrouwen. En zelf nog die set ogen zijn. En die hersenen om goede beslissingen te maken. En klanten daarbij te helpen. Welke risico's zie je erin? Als mensen het wel gewoon volledig op de uitkomst van een model aan de slag gaan? Een model heeft het niet per se goed. Dus je kan volledig de plank misslaan natuurlijk. Het kan ook zijn dat je zelf helemaal niet meer creatief bent daardoor. Als je altijd maar volgt wat er uit een model komt. Dat je een soort van slaaf wordt van het model. Maar dan wel met een hart en hersenen en dat soort zaken. Je moet zelf gewoon heel kritisch blijven. Er worden fouten gemaakt en er wordt je een bepaalde set aan opties gegeven. Stel je zou volledig leven in je Netflix, YouTube, Spotify filterbubbel. Dan zie je altijd alleen maar de recommendations. Dan ben je altijd maar de TikTok feed aan het swipen die je toegewezen krijgt. Dan heb je zelf helemaal geen initiatief of autonomie meer over de dingen die je aan het doen bent. En als je klakkeloos alle generalistische AI-modellen gaat volgen, dan zie ik dat wel als een grote valkuil. Dat je zelf niet meer nadenkt, maar volledig eigenlijk een pionnetje bent van de AI bedrijven, van de andere tech corporates en je daar maar in meegaat. Ik zie daar wel een relatie met ML Ops, het vertrouwen van het model, maar het toetsen van het model. Wat voor karakteristieken neem je mee in het geautomatiseerd testen van de machine learning modellen die je maakt? Want daar moet je ook kritisch zijn, is het beter, is het niet beter? Wat komt daar zo al bij kijken? Ja, meerdere dingen. Voor een groot deel gewoon op software niveau. Alle tests. Werken daar dingen? Werken al je integraties? Maar qua model komen er voorspellingen uit. Die gegeven een vaste dataset. En nog binnen de bandbreedte zitten die je meegegeven hebt. Dus je ziet het er vrij sensible uit wat er uit een model komt. Zijn er niet opeens grote outliers die ontstaan. Als een model altijd een waarde van 6 voorspelt. En op een andere dag opeens min 2. Dan is er toch iets aan de hand. Dus dan moet er een alarmbel afgaan. Dan moet je kijken wat er aan de hand is. Dus dat soort dingen geef je mee. Dus de technische dingen en de modelperformance criteria. Dan hoop je dat daar zinnige dingen uitkomen. En de uitlegbaarheid moet je zelf maar naar kijken. En dat is ten tijde van het model verder opbouwen, testen en dat soort zaken. Maar in productie, het model wordt gebruikt. Monitor je dat dan ook continu? Zeker, ja zeker. Dus bij de teams waar ik nu dingen voor doe, Dan heb je iedere dag wel iets van een stand-up of een daily, dat soort dingen. Eerst gaat het P&L-bord erop. Wat dat? De profit en loss. En dan zie je van, gaat het goed? Werkt het model goed? Je doet voorspellingen. Je weet al wat er daadwerkelijk gebeurd is. Een dag later, twee dagen later, wat dan ook. En dan kun je gewoon zien van hoe goed waren we aan het performen. Waren de voorspellingen goed of zien we opeens een grote afwijking? En dat kan van alles zijn. Het kan zijn dat er opeens iets bij de weerdataprovider mis is. En dat je op een snel een andere weerdataprovider moet gebruiken. Dat gebeurt. En dan zie je dat heel snel als je op die bal blijft zitten. Of dat je bent aan het sturen met zonneparken. Dus gewoon zon, windparken en dergelijke die je aanstuurt. En je ziet er opeens een heel grote piek of een heel groot dal. Dan is er misschien iets mis met een sensor. Of er is misschien iets van onderhoud dat plaatsvindt. Of er is iets anders aan de hand waar je snel op moet ingrijpen en dingen moet aanpassen. Dus ja, zeker. Die dingen worden gemonitord. Juist om te zien of ze goed blijven werken of dat er aanpassingen gemaakt moeten worden. En doordat het goed gemonitord wordt, zijn er al heel wat dingen die heel erg mis hadden kunnen lopen, heel goed voorkomen. En heb je ook te maken met fairness, barriers? Dat je daar op moet letten bij het maken van die modellen? In mijn projecten in de energiesector niet. In andere situaties zou je dat natuurlijk wel hebben. Als je bijvoorbeeld in de zorg zou zitten. Is dat misschien al iets dat sneller voorbij komt. Of wanneer je hypotheken verstrekt. Leningen verstrekt. Dingen doet rondom uitkeringen. Dan is het veel logischer om daar dingen mee te doen. In dit geval eigenlijk niet. Allemaal gewoon dingen met machine data. Medata. Dat soort dingen. Duidelijk. We zijn eigenlijk ook wel benieuwd. Dat als je helemaal vrij zou mogen denken. Wat jouw ultieme droom zou zijn. wat AI zou kunnen betekenen voor jezelf. Of misschien voor de maatschappij. Of misschien voor anderen. En dan geven we je eventjes wat de denktijd. Ja, eigenlijk weet ik hem wel. Want het is iets wat ik jaren geleden ook al had, dat idee. En toen leek het volledig onhaalbaar. En nu is het opeens super haalbaar. Oh, interessant. Maar dat zit wel een beetje in de clichés. Dus dat gaat toch de AGI kant op. Het hebben van een persoonlijk assistent die business cases kan bedenken, kan uitwerken. Die bedrijfjes kan managen met honderden agents eronder die allemaal dingen aan het doen zijn. Toch de one man unicorn. Zonder te focussen op het geld erbij. Maar in je eentje echt wel veel impact kunnen maken door een gaaf bedrijf met gave producten. Dat ze dingen op te zetten. Maar dan dingen volledig AI geautomatiseerd. In mijn auto zitten. Lekker sparren met AI. Dus AI als sparringspartner. Echt volledig de AGI kant. Hoe moet ik dat zien met de straks zijde van. Ik wil nog wel werken. En nu zeg je ja. Je hebt een andere rol. Je bent minder de techneut die bezig is. En misschien meer de baas van een bedrijf. Die een legertje AI agents aan het handen sturen is. Met samen je AI sparringspartner. aan je zijde. Een beetje als in de film Heur, dat iemand een relatie opbouwt met in wezen Siri. Maar dat je op zo'n manier ermee aan het sparren bent. Nadenken, wat kunnen we doen? Zie je nog gave business opportunities? Oké, bouw maar. Hier heb je mijn creditcard. Ga maar doen. Toch een beetje die kant. De keerzijde is, als het dubbeltje de andere kant opvalt, dan kom je in een volledige dystopie terecht. En hebben wij geen baan meer. En wat voegen we dan nog toe? Omdat AI alle white collar jobs, alle kantoorbanen, makkelijk kan automatiseren. Of met een een generalistisch model heel makkelijk specifieke modellen kan maken. Of features en daar dingen mee doen. Ook een scenario waarbij ik denk van... Of een ander scenario. Het is nu heel makkelijk geworden om een of andere gave start-up te bedenken. Misschien een soort van wrapper. Een laagje om Chagip-T-achtige modellen heen. Maar dat kunnen anderen ook. Dus als ik nu denk, ik kan nu heel makkelijk een tool maken... die architecten helpt om samen de architectuur over een project te brainstormen. En alles te helpen. Vastleggen en documentatie. Kan ik nu bouwen? Dus dat is gedemocratiseerd. Maar dat kan iedereen. Dus wat is dan nog mijn unique selling point? Blijven wij dan wel in controle? Of zijn het toch de Antropic, de OpenAI en de andere techbedrijven... die daar nu marktleider in zijn... die uiteindelijk daar de zak met geld mee vangen en in controle blijven? Waarbij wij als mensheid verder toch een beetje het onderspit delven. Dus ik vind het echt... Het kan alle kanten op gaan en ik weet het niet. En de ene half van mijn hoofd zit in de dystopische modus. En de andere denkt, we kunnen nu allemaal super gaaf. Ik weet het niet. Maar ik zou het zelf heel vet vinden. Om toch volledig AI assistenten om me heen te hebben. Die ook echt dingen kunnen uitwerken. Volledig de agent modus inslaan. Dat ik zelf duizend van die AI's heb zitten. In een mixture of experts. Die allemaal gave dingen aan het doen zijn. Een beetje een goed cliché. Hartstikke goed. Het is jouw droom. Welke ontwikkelingen vind je hoopvol of zorgwekkend op het gebied van AI en de energiesector? Alle dingen die op de hele maatschappij van toepassing zijn, dat sowieso. Maar verder in de energiesector vind ik het heel hoopvol dat er steeds meer geautomatiseerd en voorspeld kan worden. Als je kijkt naar de uitdagingen binnen het energienet nu, dan heb je dingen als netcongestie, veel meer duurzame energie. Maar die zorgt ook weer natuurlijk voor grilligere opwekpatronen. Want alleen als je zon hebt, heb je stroom. Of als je wind hebt, heb je stroom. Dat soort zaken. Net congestie is dat... Het net zit vol qua capaciteit. En je moet er slimmer mee omgaan. Om toch te zorgen dat het net in balans blijft. Dus dat er stroom is voor iedereen. En dat we dat kunnen gebruiken. Dus dat betekent keuzes maken voor het wel terug kunnen leveren van de zonnepanelen. Maar ook mensen geen stroom kunnen leveren om andere dingen wel stroom te faciliteren. Bijvoorbeeld of op momenten misschien een batterij in een wijk gaan opladen. Of een springveer indrukken. Of wat waterstofgas van overproductie maken. Dus tig dingen die je kan doen. Maar allemaal dingen die zorgen dat we een veel slimmer energienet moeten krijgen. En bij dat slimme kan AI heel erg helpen. Dus dat je over het hele land heen of juist per regio, per wijk gaat kijken. Waar moeten we energie instoppen? Waar moeten we energie uithalen? Welke energie moeten we opslaan? Om te zorgen dat alles in balans blijft en dat alles blijft werken. En dat zijn dingen. Ga er zelf maar eens met pen en papier aanstaan. Dat gaat niet lukken. Als je nou allerlei AI-modellen hebt die daarbij helpen en die alles meenemen, dan geef ik dat best veel kans om veel meer uit het huidige net te halen dan dat nu kan. Dus dat vind ik heel erg hoopvol. Wat is dan minder hoopvol? Het kost allemaal meer stroom, dus in die zin leeft het ook weer een potentieel. Maar dat misschien terzijde. Die bedrijven gaan uiteindelijk zelf wel kerncentrales bouwen. Dan los je dat ook weer een beetje op. Misschien is dat wel. Er zit een rare tegenstelling in. Dat je heel veel energie zo direct nodig hebt. Om misschien het energieprobleem op te lossen. Ja, inderdaad. En hopelijk doet hij dan meer dan het energieprobleem oplossen. Anders gaat er heel wat energie tegenaan. Maar ik zie vooral voordelen eigenlijk. En minder nadelen. Heel goed. Wat zou je iemand mee willen geven die aan het luisteren is? En die zou bijvoorbeeld willen starten met machine learning. Ga ermee aan de slag. En waar begin je dan? Dat is een goede vraag. Zit ik over na te denken. Want van oudsher leer je al die kennis in de studieboeken. Dus bij een studie bijvoorbeeld. En dat is nog steeds een super goede basis. En dat kan heel goed. Maar je kan tegenwoordig ook met een AI-assistent gaan sparren. Wat zijn alle ins en outs van machine learning tegenwoordig? Hoe begin ik daarmee? Help me. En dan samen interactief een dialoog aangaan. en AI gebruiken om jouw AI te leren. Of machine learning in dit geval. Wat goed. Dus dat werkt tegenwoordig heel goed. Je hebt een soort van persoonlijke tutor. Je persoonlijke studentassistent die zit naast je aan de andere kant van de chat. En die kun je vragen stellen en die helpt je met vakgebieden. En ga dan ook lekker aan de slag. Dus echt hands-on dingen programmeren of uit laten programmeren door de AI-assistent. Lekker vibe-coden. Dus zelf geen regelcode programmeren. Maar kijk wat eruit komt. Maar ga er echt hands-on mee aan de slag. probeer dingen. Je hebt allerlei wedstrijden online. Bijvoorbeeld een website die heet Kaggle. Daar kun je data science wedstrijden doen tegen elkaar. Machine learning wedstrijden. Je probeert het beste model te bouwen. Kun je nog geld winnen ook. Daar staan ook superveel tutorials op. Daar zijn allemaal gaaf challenges die je kan proberen. En juist door echt mee aan de slag te gaan, zie je ook waar de valkuilen zitten. En de dingen waar je beter in moet worden. Maar eigenlijk zou ik zeggen dat het tegenwoordig ook niet uitmaakt wat voor achtergrond je hebt. Of het nou een AI-achtergrond is. Of dat je een achtergrond hebt in natuurkunde misschien. Voordat het liggend. Maar misschien heb je kunstgeschiedenis gedaan. Ook dan kun je met machine learning aan de slag. Kun je met AI aan de slag. Met de hulp die er tegenwoordig is. Op het programmeervlak of het uitlegvak. Ga het gewoon doen. Super goede podcast. Luister jullie podcast. Dat is sowieso een goede tip. Een andere podcast. Ja, er is heel veel. Heb je nog een tip voor de luisteraars voor een boek? Of iemand die je bewondert. om eens verder in te duiken om kennis op te doen op dit vak. Oeh. Ja, dat is specifiek een boek. Ja, of een rolmodel waar je naar kijkt, waar jij dan veel kennis van opdoet binnen de omgeving. Ja, maar dat zijn er eigenlijk heel veel. Dus je hebt heel veel mensen die heel gave dingen aan het doen zijn. En sommigen zijn het heel erg aan het doen in het bedrijfsleven. Anderen zijn het aan het doen voor de agent kant. Als ik zelf wat meer de diepte in wil gaan qua podcast bijvoorbeeld, dan luister ik naar de Dwarcash podcast. Iemand uit Silicon Valley die allemaal andere nerds interviewt. Die bijvoorbeeld echt werken aan Claude of dat soort modellen. En daar gaan ze heel erg de technische diepte in. Maar het kan ook weer zoiets zijn dat meer helpt in het bedrijfsleven. Zoals dat boek waar Alexander Klubing het voorwoord voor gemaakt heeft. Co-intelligence. Dat zou bijvoorbeeld één kunnen zijn om mee te beginnen. Het boek over de generative adversarial networks is een goede om mee te starten. Maar eigenlijk stom, het is veel te breed. En het is veel te veel mensen die gave dingen doen. En je verdrinkt in alle gave materie die er is. Maar kijk vanuit jouw perspectief dan inderdaad. Want ik hoor eigenlijk technisch heb je bepaalde bronnen. In het bedrijfsleven heb je bronnen allemaal op deze technologie en mogelijkheden. En kijk welke past bij jou. Ja, voor mij zijn dat een handjevol podcast. Een handjevol YouTube tutorials. Een handje gewoon sparren met Claude. Ja, van alles passeert er even. Super. Hé, hartstikke bedankt dat je je inzichten wilde delen. Ik denk dat we heel mooi het hebben afgepeild. Van wat is nou machine learning ten opzichte van de generatieve AI? Wat komt er allemaal bij kijken? En hoe zou je ermee kunnen starten? Dus ja, heel erg bedankt dat je weer in de studio wilde zijn. Dank voor de uitdaging. Ja, graag gedaan. Nou, dat was hem weer. Zorg dat je je abonneert via je favoriete podcast app. En er staat een linkje in de show notes. Kan je je aanmelden voor onze nieuwsbrief. krijg je ook een kijkje achter de schermen. Altijd leuk. Zeker. Tot de volgende keer. Tot de volgende keer.