Hoe schaal je grote ML modellen - Yannick Maltha

Zie, daar gingen we bijna. Het was bijna de tweede keer dat de podcast niet opgenomen zou worden. Daar gaat ie. We zijn zo blij dat ik de grote recordkanaal heb gedrukt. Luisteraars, je luistert naar de AIToday podcast. Fijn weer dat je luistert. De podcast over AI voor Business & IT. Mijn naam is Joop Snijder, CTO bij Aigency. En mijn naam is Niels Naglé, Chapter Lead Data & AI bij Info Support. We praten vandaag met Yannick Maltha van UbiOps. Yannick, fijn dat je gekomen bent. Dankjewel. Zou je jezelf aan de luisteraars even willen introduceren? Zeker. Ik ben dus Yannick Maltha. Ik woon in Utrecht, maar ons kantoor zit in Den Haag, Ik ben oprichter en CEO van UbiOps. Wij zijn een bedrijf wat in de AI-sfeer behoorlijk actief is. Ik heb zelf een technische achtergrond. Ik heb ooit in Delft gestudeerd. Niet de meest technische studie gedaan. Technische bestuurskunde, daar word ik soms nog steeds een beetje door gepest. - Zet er nu wat technisch in. - Precies, dus dat was het compromis. En ik heb twee compagnons oprichters, Jorik en Victor. Die hebben het iets meer hardcore gedaan. Die hebben aerospace gedaan, dus die maken het goed. En ik vind het ontzettend leuk om hier te zijn. Ja, welkom. En ja, we hadden jouw naam doorgekregen van Daniel Kapitan. En Niels en ik keken natuurlijk van, ja, wat doet Yannick? En wat doet UbiOps? En dat zag er echt heel interessant uit. Grootschalige AI, trainer en productie. Dus daar gaan we het vandaag over hebben. Dat is het hoofdthema vandaag. Maar waar wij allebei benieuwd naar waren, we hebben heel kort even voorbesproken. Soms doen we dat helemaal niet. Vandaag heel kort eventjes. En wij waren benieuwd hoe jij denkt over de nieuwe grote modellen die er op dit moment zijn. Op het gebied van image processing dingen als DALI 2, Stable Diffusion, dat soort modellen. Hoe kijk jij daarna vanuit jouw vakgebied? Ik moet eerlijk zeggen, ik ben niet de technische expert, maar ik kijk vooral naar de toepassing daarvan. Wat ik zie is dat, ik denk toen wij vijf jaar geleden begonnen met, en toen heette het nog niet Ubiops, maar toen heette het Dutch Analytics, waren wij vooral bezig met het ontwerpen en trainen van modellen. Dat zat wat meer aan de tijdreeksanalyse, maar ook af en toe deden we ook Ik denk vandaag de dag dat je veel meer naar de type foundation models gaat, dus waar je enorme compute power voor nodig hebt. En daar zie je toch wel een enorme maturity in ontstaan. Dus ik zie heel veel bedrijven en organisaties om me heen die dit soort modellen kunnen gaan gebruiken, inzetten. En dat kunnen gaan, nou, kundig inzetten om met eigen gelabelde data dan het model zodanig te herstellen. met eigen gelabelde data dan het model zodanig te hertrainen... dat dat inzetbaar wordt. Wat ik ook leuk vind om te zien is dat zowel de vakgebieden... aan de vision kant, maar ook ontzettend veel kruisbestuivingen hebben... bijvoorbeeld National Language Processing. Dus dat je daar ook weer, eigenlijk doordat we weer wat doorbraak hebben gehad in NLP... dat we nu weer kunnen zien in Computer Vision. Ja, want juist deze modellen, voor degenen die misschien nieuw zijn... want ik noem die termen, al die twee, Stable Diffusion en zo. Dus je geeft een tekst op, prompt noemen ze dat, en die tekst die wordt omgezet en daar wordt dan uiteindelijk een image van gebakken. Of wat ik afgelopen week zag, Meta, die had zelfs dat je hele video's kan produceren. Dan zeiden ze van, doe maar een Superman hond en dan zie je een hond met een cape, zie je vliegen. En dan hebben ze een korte video gemaakt van taal, NLP omzetten uiteindelijk naar of kunst, foto's of zelfs video's. Ja. Ja, dat is natuurlijk eigenlijk waanzinnig, technisch gezien. Kijk, de vraag is natuurlijk wel, dit soort type modellen worden natuurlijk steeds meer en meer gemaakt... bij de partijen die dat nog steeds kunnen. Dat is natuurlijk een beetje meer een ethisch en een moreel debat, zou je kunnen zeggen. Dus de computational power die je tegenwoordig nodig hebt... om dit soort modellen te trainen, volgens mij hebben we tegenwoordig over 100 biljoen parameters in één model. Absoluut. - Ik bedoel, een jaar geleden... had het nog één biljoen en nu alweer een factor honderd. Dus dat is natuurlijk bizar. En je ziet ook natuurlijk bij Google, volgens mij Google Brain... is dat dit soort type foundation models... kunnen op een gegeven moment zeshonderd verschillende dingen tegelijkertijd. Dus dat is, ja... Ik vind dat qua technologie waanzinnig... maar waar we denk ik wel over moeten nadenken vandaag de dag is... ja, hoe gaat zich dat verder ontwikkelen? En aan de fundamentele researchkant... hebben we daar dan zelf voldoende middelen voor om dat nog te kunnen doen? Of hoeft dat niet meer? Dus dat is een hele interessante vraag. Ik ben ook benieuwd hoe jullie daar zelf naar kijken. Maar... - Nou ja, ik ben daar in zekere zin wel kritisch op. Juist wat jij zegt, van kijk, als je uiteindelijk op geen enkele wijze... hier concurrentie meer aan kan bieden, dan moet je er dus op vertrouwen... dat die foundational models veilig genoeg zijn qua fairness, qua robuustheid. Uiteindelijk is het wel een hele... Hoe zeg ik dat? Ja, ik denk dat het juist goed is dat we die foundational models hebben, met inderdaad de kanttekening natuurlijk van hoe gaat het met ethics, maar hoe ga je er grip op krijgen of inzicht op krijgen? Maar ik vind het voor ecologische footprint is natuurlijk absurd als we alles continu opnieuw blijven doen. Dus dit is een beetje een soort van balans zelf, zet ik erin. Als we dat open source goed gecontroleerd met invloed... goed kunnen beheren als een gemeenschap met z'n allen. Dat is wel heel utopisch gedacht als ik het zo nu eigenlijk uitspreek... maar dat zou ik wel heel mooi vinden. Dat dat open is, dat je daarop door kan bouwen. Niet dat we allemaal echt alle energie zitten te wasten... om allemaal ongeveer hetzelfde te willen bereiken. Dus dat vind ik het mooie eraan. Met de kanttekeningen daar gelaten natuurlijk. Nou, als je inderdaad het hebt over open... Dan ben ik ervoor. Het probleem is alleen dat zelfs OpenAI, de organisatie die zo heet, heeft alles gewoon closed source. Ik denk dat dat meer het probleem is dan die grote modellen inderdaad. Want het zou toch zonde zijn dat we dat allemaal weer opnieuw moeten gaan doen. Dat zou ik wel even kijken. - Helemaal meenemend. Nou, ik denk dat daar zeg je wel iets. Wij gaan er natuurlijk vanuit dat de modellen die in Amerika ontwikkeld worden... dat dat volgens precies hetzelfde moreel etisch kader gebeurt als bijvoorbeeld hier in Europa. Maar ga je praten met psychologen en antropologen... dan houden mensen er toch nog verschillende dingen op na. Dus wat dingen die wij misschien belangrijk vinden hier... kunnen misschien elders anders geïnterpreteerd worden. En hoe hou je daar ook grip op? En dat tweede punt wat je zegt, dat is een heel terecht punt. Ik denk dat dat debat steeds belangrijker gaat worden. We kunnen wel alles trainen en we kunnen al die GPU's, et cetera, er tegenaan gooien, maar is het dan nog steeds waardevol om dat überhaupt te doen? En moeten we daar op een gegeven moment ook niet bepaalde standaarden in gaan vinden... om te kijken, oké, voordat we met zo'n groot experiment beginnen of dat gaan doen, wat is de waarde van die case er eigenlijk achter? is die case wel groot genoeg. Dat kan je uitdrukken in monetaire waarde, maar dat kan je ook uitdrukken in maatschappelijke waarde. En ik denk dat dat wel steeds belangrijker gaat worden. -Geen makkelijk vraagstuk natuurlijk. Wat ik ook wel vind, foundational models, dat suggereert alsof het een fundament is. En wat doen wij? Analogie is natuurlijk altijd gevaarlijk, maar je fundament voor je huis, daar bouw je op omdat je weet dat die heel stevig is. Wij kunnen best wel heel weinig zeggen op dit moment over die foundational models, om dat echt als fundament te gebruiken. Dat vind ik nog wel lastig. En tuurlijk, als je voor je bedrijf of organisatie nu iets kan maken, of je kan hier een propositie opmaken wat voor je werkt, dan lijkt me dat dat je dat doet. Maar maar je loopt wel bepaalde risico's met bouwen, bouwen, bouwen. En waar zitten straks, als je problemen hebt, waar zitten die dan? En kan je daar dan nog naartoe terug? En kan je pinpointen waar je probleem zit? En daar heb je weer die open... Die lagen moet je transparant kunnen maken en eventueel kunnen verwisselen. Zoals in de IT-arts je natuurlijk ook steeds meer microservices, laagjes hebt... die je kan oppakken, kan aanpassen en weer verder kan gaan. Maar wat je zegt, die foundational models. Ja, is het een foundation of is het een deel van een foundation? Is die scheef? Dat soort inzichten heb je niet. Dus als het huis omvalt, lag het dan daar aan of ergens anders aan? Ja, dat is lastig om te zeggen. - Spannend. Ja. - Ja, dat deel ik volledig. Ik denk dat, kijk, wat wel een belangrijk bruggetje is... en dat moeten we, denk ik, niet onderschatten, is dat... als je bijvoorbeeld kijkt naar computer vision en NLP... en dat zijn wel de twee gebieden waar wij zelf veel actief in zijn... heel veel computer vision op dit moment... is dat daardoor heeft het wel natuurlijk een enorme leap forward gekregen. Dus je ziet bijvoorbeeld, we zitten in de medische sector, fantastische innovaties die daar plaatsvinden, mede ook vanwege die foundation models. En dat is het grappige, of het grappige, het tegenstrijd is misschien dat aan de trainingskant... de vraagstukken steeds groter en complexer worden en de parameters steeds meer. Maar als we aan de inference kant kijken, zien we daar wel, en dan bedoel ik... Dat inference voor de luisteraars, dat bedoel ik mee, dus de modellen naar productie, zeg maar, en echt gaan draaien en van input data output data maken, is dat we daar wel een ontwikkeling in zien. Dus je zag vijf jaar geleden was het nog extreem moeilijk om een... ja, een neuraal netwerk zo goed te krijgen... om dat überhaupt naar productie te krijgen. En ja, vandaag de dag, om een wat kleiner voorbeeld te geven, Je pakt een YOLO V5-model off the shelf om maar even te zeggen... je hertraint het en je hebt iets wat theoretisch gezien... in ieder geval heel krachtig is. En ja, dat is een beetje de... Dus ik denk dat we wel moeten gaan nadenken over die kaders... en dat we heel goed moeten beseffen hoe die modellen zijn opgebouwd. Maar tegelijkertijd heeft het wel een enorme leap vooruitgeven. Absoluut, ja. Nee, en het grappige is, hè, want kijk... Wij zijn helemaal into this technologie. En toch komen we bij bijna bij iedere aflevering uit op dilemma's en vraagstukken. Die misschien iets minder met de technologie te maken hebben, maar meer hoe willen we ermee omgaan. Dat is eigenlijk wel grappig dat we daar vrij snel weer in belanden. Maar om toch nog even dan wel naar die techniek te gaan. Jullie hebben te maken ook met grote modellen. Waar hebben we het dan over? Dat gaat niet over 100 biljoen parameters, features. Nee, kijk, wij zijn... Om misschien even een beeld te geven voor jullie en de luisteraars. Wij zijn als platform ooit begonnen eerst aan de inference kant. Dus je hebt eigenlijk twee schaalvormen. Je hebt de trainingskant van de modellen, die worden steeds groter. En dan hebben we net een hele discussie over die foundation models gehad. Maar dat zie je natuurlijk ook aan de inference kant. Dus als wij het over schaal hebben, hebben we het vaak ook over... Je hebt een model in productie. En hoe ga ik er nu voor zorgen dat ik dat niet voor één taak kan doen of één ding, maar hoe ga ik dat voor misschien wel een global bedrijf doen, wat net uit R&D komt? En daar zien we steeds meer van dat soort bedrijven die dat aan het doen zijn. Ik zal even een voorbeeld geven om het even wat meer te illustreren. Graag. Wij werken bijvoorbeeld met een klant zoals Bayer. Dat is een Duitse farmaceutisch bedrijf. Wat weinig mensen weten is dat ze ook een enorme crop science afdeling hebben. Dat is een van de drie poten. Wat is crop science? Crop science, ja. Dat is de wetenschap van crops. Dus, hoe zeg je dat? Harvest, oogst, de plantjes. -Zwaaien, grote telen. -Ja. Dus wat zij doen, zij detecteren bijvoorbeeld ziektes in gewassen. En dat doen ze bijvoorbeeld met allerlei beeldmodellen. Wat dan typisch is, is dat de training die ze doen, ze pakken daar waarschijnlijk ook een aantal off the shelf modellen voor en daar bouwen ze op verder. En dan heb je het vaak over de training cycle zelf, dat zit meer aan de A100's en tegenwoordig de H100's. En ze willen mogelijk van die kasten er tegenaan gooien, maar zo te zeggen, daar moet je dan aan denken. Voor de luisteraars een A100, dat was twee jaar geleden een beetje de top-notch kast van Nvidia voor het trainen van modellen. En dat is nu de H100 geworden. Dus dat zie je ongelooflijk snel gaan. En dat zie je niet alleen bij dit soort grote bedrijven, maar dat zie je bijvoorbeeld ook bij universiteiten. En dus over, als je nu dit soort hardware inkoopt, over twee of drie jaar kan je het al bijna weer weggooien, want dan voldoet het al niet meer. - Ja, bizar is dat. - Dat is echt bizar. Dus je ziet aan beide kanten, zowel aan de trainingskant, wordt dat steeds groter. En dan heb ik het nog niet eens over het maken van een volledig van scratch, een nieuw model, maar gewoon puur dat alleen al en alleen al de retraining cycles die modellen tegenwoordig doorlopen. Jullie zitten alles weten over model en data drift, et cetera. Maar aan de andere kant zie je dus ook een explosie ontstaan in oké, maar als we dan die modellen echt gaan opschalen in het voorbeeld van Bayer, ja dan heb je het niet over één land. Je hebt het waar ze dit soort modellen voor inzetten, nee, het is voor potentieel de hele en dat wordt wel groot. En hoe ga je zo'n systeem managen en hoe krijg je early warnings in dat systeem? En dat heeft zowel aan de modelkant te maken als aan de systeemkant. Want wat we soms vergeten als we een model naar productie brengen, is dat er soms ook requirements zijn van latency, van availability. Soms zijn de resources er gewoon eenvoudig niet. Als ik een trainingsjob wil doen en ik heb morgen een paar A100's nodig in de cloud... om mij even een voorbeeld te geven, dan kan ik wel een dag wachten. Maar als ik realtime informatie moet geven over of er wel of niet een soort gewasepidemie... aan het aankomen is voor boeren, want je hebt van die enorme pestmigraties bijvoorbeeld. Dat moet realtime of near realtime, want anders is je oogst mislukt. Dus dan heb je die resources wel nodig. En daar denken we ook over, nou, hoe zorg je dan voor dat je die availability van resources hebt? En hoe kan je dat maximaliseren? En hoe kan je die uptime zo hoog mogelijk houden? Dus je hebt echt wel verschil tussen trainen en productie. Je had het net over die hardware. Is dat schalen van dat hardware... Gaat dat over grootte van de modellen... of gaat het ook over het terugdringen van de trainingscycle? Ja, ik denk dat overal zie je dat de training cycles sowieso een stuk kleiner worden. Maar dat is meer vanuit een praktisch oogpunt, omdat de loads ook steeds groter worden. Dus ook vanuit hun economisch... En het is ook niet meer... Ik was laatst op een evenement en moest ik wat presenteren... of zat ik in een soort panel discussie. En daar was ook, ik geloof, Max Welling, een bekende prof. Van de UvA. - Van de UvA. En er was ook iemand in het publiek die zei ook van, ja, maar hoe vaak komt het nou nog voor dat je modellen twee weken lang aan het trainen bent? Ja, dat komt eigenlijk bijna niet meer voor. Een dag is een beetje de max tegenwoordig of misschien een paar dagen. Ja. Los van natuurlijk de extreem grote modellen als we het weer over het foundation niveau hebben. Zeker. Maar dat zie je wel. En ja, terugkomend op je vraag, wat was je... Of je inderdaad zegt van, heeft het niet... Dat schalen gaat het om en het kunnen behappen van grotere modellen... of ook het terugdringen van de trainingstijd? Ja, ik denk beide. Dus ik denk dat je naar beide facetten moet kijken. Dus toch snel... Als je kijkt naar volgens mij... Ik heb daar ook wat artikelen over gelezen. Als je nu kijkt, is toch proberen zo snel mogelijk... naar een eerste soort conceptmodel te gaan. en daar ook even aan vast te houden. En vooral de data te verbeteren voordat je weer zo'n trainingscycle ingaat... in plaats van dat je 10.000 verschillende dingen probeert te doen op dezelfde data. Dus dat zijn ook trucjes om die trainingscycles te verkleinen... en daarop in te zetten. We zien dat ook hoor, misschien met minder grotere modellen... maar wat je ziet is dat je... We hebben veel meer ervaring nu waarvan je weet van... met dit algoritme komen we gewoon al een hele eind. Dus is het veel handiger om inderdaad je data verbeteren, feature selection uit te voeren, voordat je gaat zoeken naar een ander algoritme. - Exact. - Het kost je gewoon veel meer tijd en resources. - Ik was me wel benieuwd voor het thema 'Hoe dan?' Wat ook het thema van seizoen 4 is van de podcast. Wat zijn dan de tactieken die je vaak in de praktijk nu ziet voor die data verbetering? Ik ben wel nieuwsgierig, wat kom jij tegen in de praktijk? Dat is een goede vraag en daar durf ik niet helemaal een uitsluitend antwoord op te geven. Omdat wij zitten niet aan die kant. Kijk, misschien ook wel even goed om te schetsen waar wij beginnen en ophouden. In de training heb je natuurlijk de totale experimentatie kant. En dat zit veel meer aan de kant van hyperparameter optimization en al die dingen, feature engineering, et cetera. En daar heb je ook fantastische tools voor die dat steeds meer open source en proprietary steeds beter worden. Waar wij als bedrijf ons op focussen, is eigenlijk... op het moment dat je zo'n trainingsrun moet doen, of een inference run... hoe kan ik dan ervoor zorgen dat ik zo schaalbaar en ook kostenefficiënt... en efficiënt mogelijk die computational power op dat moment kan aanbieden? Dus dat is eigenlijk de split tussen... Dus er vindt eigenlijk een hele keten van tevoren plaats... waar wij eigenlijk veel minder zicht op hebben. En dat is natuurlijk ook soms een beetje de secret sauce van bedrijven... die ze hebben. Maar dat is wat ik, zo'n voorbeeld, als het over data gaat, is wel wat ik meekrijg. Dus dat wordt steeds belangrijker. En via wat voor platformen doen jullie dat? Heb je een eigen platform? Gebruik je daar cloud providers voor? Hoe moet ik dat zien? Ja, we zijn een laag gebouwd bovenop Kubernetes. Dus een welbekende orgistratielaag on top of cloud. Wij zijn niet gebonden aan een cloud, dus wij draaien in principe in heel veel verschillende cloudomgevingen, of zelfs hybride, of als het noodzakelijk is lokaal. En dat kunnen we ook op een dynamische manier doen. Dus dat betekent ook dat wij dynamisch uit verschillende omgevingen resources kunnen poelen, als dat nodig is om die berekening op tijd te kunnen voldoen. En dat kan zowel aan de trainingskant zijn, maar dat kan ook zeker aan de inferencekant zijn, als je het hebt over bijvoorbeeld de uptime. Dus om even een voorbeeld te geven, we werken bijvoorbeeld met een bedrijf die hebben grote visionmodellen, ook in productie. Dat moet continu draaien. En op het moment dat ergens de resources eruit klappen, bijvoorbeeld, ik noem maar even wat, bij Google, dan kunnen wij met Ubiofts kijken, oké, kunnen wij zeg maar on the spot kijken of we dat ergens anders vandaan kunnen halen. Het kan in een cloud-regio zijn, want een cloud bestaat uit heel veel verschillende regio's. Je hebt natuurlijk de regio Europa-West bijvoorbeeld, maar ja, ook de dag, et cetera. Maar dat kan ook buiten de cloud. En we gaan zelfs een stap verder dan dat, en dat is wel weer interessant. Misschien een beetje het cirkeltje rond te maken. We zijn ook in gesprek met partijen die in Europa bijvoorbeeld clouds bouwen, speciaal voor GPU, waar het met name gaat om het trainen van hele grote modellen, maar ook weer het draaien daarvan, om daar ook op te draaien. En die zijn vaak ook een stuk duurzamer en Europees. En dat is een belangrijk debat in onderzoek op dit moment. - Jazeker. Hebben we het dan over Gaia-X die je bedoelt? - Nou, nee, dat niet. Nee. Kijk, iedereen denkt dat Gaia-X echt een cloud is. Dat is het eigenlijk niet. Daar ben ik ook pas niet zo lang achter. Maar in Europa heb je bijvoorbeeld in Scandinavië, IJsland, Duitsland... en zelfs in Nederland initiatieven lopen van grote spelers... of ja, midden grote spelers die beginnen echt op te komen... en daar echt op beginnen te focussen. Want hoe kunnen wij duurzaam, ondemand... cloud compute resources geven... voor bijvoorbeeld hele complexe berekeningen... als het gaat voor onderzoek, maar ook voor het bedrijfsleven. En ik denk dat over een x-aantal jaar, en dan hebben we het over vijf jaar, er wel een aantal van dat soort hele dominante partijen zijn. En ik denk dat dat ook heel goed is in Europa, dat dat gaat gebeuren. Ja, zeker. Want we kunnen er altijd over praten, maar we moeten ook iets doen. En dat stimuleren we als bedrijf ook. Dus ik weet niet inmiddels in hoeveel omgevingen wij operationeel zijn, maar het zijn er wel veel. En dat is ook het mooie. Dus wij zien ook klanten die bijvoorbeeld eerst in een Amerikaanse cloud draaien... en dan denken, hé, ik zou toch graag eigenlijk echt workloads willen draaien... in een Europese cloud. En dan kan dat. En dat heeft soms te maken met sustainability. Soms heeft dat ook te maken met data privacy... en natuurlijk ook de geopolitieke spanningen soms die kunnen oplopen. Maar mensen zijn zich daar wel steeds meer bewust van. Dus wij moeten soms een beetje lachen als een bedrijf zegt... ja, we hebben een soort cloud-first policy... en dan zit je al je eieren in één mandje, zeg maar. Maar je ziet dat de partijen die net een stap verder zijn, die beginnen na te denken, oké, ja, maar ik wil sowieso een... Ja, misschien zo'n dooddoener qua term, maar zo'n multi-cloud-strategie. Maar dat is wel heel relevant op dit moment. En soms heeft dat ook gewoon puur te maken met de availability van resources. Dat vooral. En als je dat, wat jij zegt, gewoon zo kan schalen... over de verschillende providers, all of need cloud. Ja, krachtig lijkt me. Een dingetje die bij mij gelijk helemaal achteraf opkomt is security. Hoe doen jullie dat? Of hoe hebben jullie die uitdaging getackled? Want je noemt het zelf, in Amerika draaien ze dataprivacy, dan gaan we in Europa draaien. Hoe pakken jullie dat dan aan? Ja, ik vind, om misschien daar gelijk een onderscheiding mee te maken, ik vind privacy echt iets anders dan security. Dus wij werken bijvoorbeeld, een grote klant van ons bijvoorbeeld, het National Cyber Security Centrum van Nederland. Dus de modellen die ze daar ontwikkelen en draaien, die draaien op ons platform. Dat gebeurt allemaal in een zogenaamde air-gapped omgeving. Dus dat zit helemaal niet in de cloud. Dus ik kan wel vertellen dat we aan de security kant redelijk gehardend zijn. [GELACH] Dus we lopen niet weg van een pentest. Als je kijkt naar de privacy, ja, dat is een heel ander verhaal. Je hebt natuurlijk het SRAMs2 en je hebt de, ja, het zijn wat vaktermen, maar je hebt de Europese privacy wetgeving die staat eigenlijk niet, die is niet volledig congruent met de Amerikaanse Cloud Act op dit moment. Dus we denken altijd, we zeggen altijd, ja Joe Biden zou dan eventueel bij je data kunnen, ook al is het een Amerikaanse data, een Amerikaanse partij die toch een datacentrum heeft in bijvoorbeeld Nederland of Duitsland, dan geldt de Cloud Act ook. Maar dat is niet alleen Joe Biden, maar dat kan ook je lokale boswachter zijn die dat kan opvragen. Dus bij wijze van spreken. En die privacy die komt met name toch voort uit wat dat bedrijf wil. Dus er zijn bij ons bedrijven die zeggen, dat maakt mij niet uit. Het maakt me niet uit of ik in een Amerikaanse cloud draai of... Dan bedoel ik eigenlijk, het eigenaarschap ligt in Amerikaanse handen. Maar er zijn ook degelijk bedrijven die daar heel zwaar aan trekken. En dus ook niet zomaar willen dat als zij bepaalde workloads hebben draaien... in een Nederlandse omgeving, dat dat in één keer ergens anders kan gaan draaien. Daar willen ze volledig grip op hebben. Die granulariteit, die bieden we ze aan. Dus ze hebben zelf volledig de tools en de knoppen in handen op ons platform... om dat zelf te kunnen doen. Die lift en shiften, zoals we dat noemen van workloads. Dus dat is denk ik het... Maar ja, dat is echt vanuit de praktijk geredeneerd. Dus kijk, ik denk wel dat als wij meer Europese alternatieven hebben... dat daar ook een grotere vraag naar zou komen vanuit partijen. Het is soms een beetje ook het kip-en-ei verhaal. Iedereen zegt, ik wil gewoon naar een hele goede cloud-opgeving. En ja, als dat er is, dan ga ik dat doen, want dat is gewoon veel efficiënter. Maar op het moment dat het alternatiever is... Ja, dan heb je ook echt iets te bieden. En wat wij vinden, is waar Europa in achterloopt, is als je het hebt over de middlewarelagen. Dus heel veel partijen... En interropeer me ook als ik teveel praat, hè. Nee, nee, nee. Het gaat hartstikke goed. Ik ben heel benieuwd waar je met de middleware naar toe gaat. Nou, wat je natuurlijk ziet, is dat je in Europa best wel veel datacenters al hebt. En het zijn fantastische datacenters. Alleen die zijn nog in de ontwikkeling van die middlewarelaag. En dat zie je natuurlijk heel veel bij nieuw bedrijven. Ze zijn al heel erg gewend aan de tools die je hebt in bijvoorbeeld een Amerikaanse cloud. Je kan SageMaker gebruiken of Lambda tot Azure Services, etc. Google Vertex. - En dat is wat je de middleware noemt? - Dat noem ik de middleware. Dus eigenlijk de interactie tussen je AI workloads, zeg ik maar even, En de serverless laag die dan weer de servers zelf verder down aanstuurt. En zo denken die teams ook. Teams denken tegenwoordig niet meer in termen van servers. Ik heb zoveel bakken nodig. Nee, die denken in termen van workloads. Dus dat is iets heel anders. En daar zit een mismatch tussen. En dat proberen we ook daar in ieder geval in te helpen. Want wij kennen die taal namelijk heel goed van die bedrijven of organisaties. en soms zijn het ook onderzoeksorganisaties, maar ook van de datacentrum kant. Dus, ja. En hoe zorg je, ja, ik kan me zo voorstellen... dat je niet dat helemaal in detail kan vertellen. Maar er zit natuurlijk een heel verschil tussen die workloads... over die verschillende cloudleveranciers. Je zegt van, wij doen dat kostenefficiënt. Dat lijkt me vrij lastig, om dat allemaal uitgezocht te hebben... waar en hoe het dan zo kostenefficiënt mogelijk is... over de verschillende cloudleveranciers. Dat is het zeker, ja. Nou ja, als je het hebt over kostenefficiëntie bijvoorbeeld. Het hangt er bijvoorbeeld al af wanneer je een workload moet draaien. Om even een voorbeeld te geven. We hebben partijen die bijvoorbeeld veel in de weekenden moeten draaien. Dan kan je ook gebruik maken van zogenaamde spot instances. Dat zijn de hoeveelheid ongebruikte capaciteit... die eigenlijk voor, ik wil niet zeggen voor een prikkie weg gaat, maar wel voor een flink... - Een spotprijs. [GELACH] En dan is het vooral heel erg belangrijk, oké, als je daar gebruik van maakt, dan kan je dus de kosten effectiever zijn, maar dan moet je ook wel technologie hebben om ervoor te zorgen dat, mocht zo'n instance worden afgeschakeld, wat dan ook kan, iemand die daar dan de hoofdprijs voor wil betalen, dan ben je hem kwijt. En hoe zorg je ervoor dat je in de meantime een andere instance hebt opgesponnen, of opgespint. Dus, kijk, wij gaan nog niet zo ver dat wij, dat wij continu aan het kijken zijn, want availability is vaak nog belangrijker voor heel veel gevallen dan alleen prijs. Maar wat we wel proberen te doen is over het gemiddelde genomen, heel erg met een klant mee te denken van, oké, we kunnen dit en dit en dit, deze optimalisaties doen, waarbij je dan zo kostefficiënt mogelijk kan draaien. - Ja, precies. Hebben jullie ook eigen modellen gebouwd voor het runnen van je platform? Ja, nou ja, we hebben zeker algoritmes. Ik kan dat misschien niet volledig AI noemen, maar we hebben natuurlijk bijvoorbeeld... Waarom niet? Want dit hoor ik, waarom ik dit vraag, dat is een beetje een pestvraag. Dat krijgen wij namelijk ook best wel heel vaak vanuit klanten terug en zo. Is dit wel of geen AI? Ja. Wat is jouw criterium? Nou, in ieder geval dat er toch een soort self-learning component in zit. Dus wij schrijven wel algoritmes, maar die zijn veel meer deterministisch in de platform. Wel net iets verder dan if-then-else, maar het zijn wel degelijk statistische... Hoe zeg je dat? Dat zeg ik niet helemaal goed. goed. Analytische... - Modellen. - Nou, het zijn niet echt modellen. Het is gewoon deterministische code. - Oké, rekenregels. - Ja, exact. Ik zoek het juiste woord ervoor, want het is misschien iets meer dan dat. Maar rekenregels. - Ja, oké. - Dus even heel plat gezegd. Dus bijvoorbeeld, we hebben een... En bijvoorbeeld de zogenaamde autoscalers natuurlijk, die we ook zelf bouwen. En ja, dat zijn wel degelijk soort van algoritmes. En als dit gebeurt, dan gebeurt dat. Maar dat is niet self-learning. Het is niet zo, als ik daar nog meer data doorheen ga, dat dat ding zichzelf verbetert. Om het maar zo te zeggen. Wellicht dat dat iets is voor de toekomst, dat sluit ik niet uit. Maar misschien durven we daar nog niet helemaal op te bouwen. - Oh ja. Ja, grappig. Nee, maar deze vragen krijgen wij heel vaak. En soms, zelflerend, dat hoeft niet per se. Onder AI wordt meer verstaan dan machine learning alleen. Dat wordt nog wel eens vergeten. De oude expert systemen, wat uiteindelijk ook een ruw beest was, op basis van heuristiek en weet ik wat allemaal, valt ook nog steeds onder de AI. Ja, er zijn in die zin best wel multi-agency systemen kunnen... Klinkt heel stoer, kunnen met hele eenvoudige rekenagents zijn, waar je hele slimme dingen mee kan doen. Dus er wordt nog wel eens iets meer science fiction gedacht, dan dat het daadwerkelijk is. Je bedoelt de robot, die was weer echt gepresenteerd. Heb je dat gezien, Tesla? Ja, ik heb alleen een stukje van de opening gezien. Wat vond je ervan? Ik denk dat Boston Dynamics wel even een shiver had. Nou ja, kijk, de sprong die ze gemaakt hebben is groot. Want vorig jaar was het nog een acteur of een danser in een pakje. En nu hebben we een zwaaiende robot die ongeveer net zoiets komt als Pepper ofzo. Ik bedoel, heel muziek is het niet. Het zag er wel wat anders uit dan Pepper hoor. Ik had eigenlijk wel memes verwacht dat ze de hond van Boston Dynamics gingen uitlaten. Ik heb ze nog niet voorbij zien komen. Ik was er ook niet heel erg van onder de indruk. Maar hij heeft het gezegd, er staat wel een versie. Ik vind het wel een leap, zeg maar. Ja, ik zie het wel geloven. Ik was er niet heel erg van onder de indruk. Ik zag wel weer een stapje voor de toekomst, inderdaad. Maar wereldschokkend vond ik het ook niet. Maar het intrigeert me wel. Er kwamen filmpjes voorbij van robots van 20 jaar geleden van Honda. Die serveren daadwerkelijk drank uit waarbij dat van een blad werd gegeven aan iemand. Dat soort dingen. Dat ging iets verder dan zwaaien naar het publiek. Maar goed, even sidestep. Hoe kwamen we hier? Goeie vraag. Science fiction. Science fiction, ja precies. Toch nog iets, ja. Ja, en misschien jouw punt natuurlijk. Dat AI misschien wel breder is dan alleen maar dat zelflerende. en dat dat ook meer deterministische of heuristische rekenregels kunnen zijn. Kijk, wat je wel ziet is dat bijvoorbeeld aan de kant ook van... Dat is wel een interessante ontwikkeling die we nu zien. Als je bijvoorbeeld kijkt in de genetica en de physics en de astrophysics, daar gaat natuurlijk enorm veel data over lijnen. We vergeten soms hoeveel dat is. Correct me if I'm wrong, maar wat ik heb gelezen is dat bijvoorbeeld als we het hebben over wat er aan data uit de ruimte wordt gehaald, dan is dat al tientallen keren meer straks in 2030... dan heel Facebook, inclusief Instagram, et cetera, aan data produceert. Dus dat is enorm. En daar heb je het echt over big data, kan je zeggen, of hele grote volumes data. En dan zie je ook, dat is wel grappig, als je het nou hebt over training en inference, Dat betekent dus eigenlijk dat je een machine learning model aan het draaien bent... om een bepaalde data processing-model te kunnen gebruiken. En dat is eigenlijk een heel belangrijk punt. En dat is ook een van de redenen waarom we dat zo'n belangrijk onderzoek hebben... is omdat we eigenlijk niet meer in de data processing-model gaan. We gaan meer in de data processing-model gaan. En dat is eigenlijk een van de redenen waarom we dat zo'n belangrijk onderzoek hebben. En dat is eigenlijk een van de redenen waarom we dat zo'n belangrijk onderzoek hebben. En dat is eigenlijk een van de redenen waarom we dat zo'n belangrijk onderzoek hebben. En dat is eigenlijk een van de redenen waarom we dat zo'n belangrijk onderzoek hebben. om een bepaalde dataprocessing stap te doen, die uiteindelijk noodzakelijk is voor je training. Dus... -Heel herkenbaar. Ja. -Ja. Dat komen wij ook steeds meer tegen. Een van de dingen... Ik heb toevallig vanochtend een presentatie gegeven aan Radboud UMC. Wij zijn daar mee bezig rondom Parkinson prediagnose. Daar heb ik al iets vaker ook wat kleine stukjes over verteld in deze podcast. Maar we hebben daar inderdaad modellen gebouwd om uiteindelijk feature extraction te doen. Dat je inderdaad data uit de video's haalt of uit de audio haalt, die je kan gebruiken om zo direct een voorspellend model te maken. Dus je krijgt eigenlijk van alles door elkaar. En soms ook gewoon ook weer rekenregels. Als dit gebeurt, dan betekent het dat. Dus je krijgt een combinatie van om uiteindelijk tot een resultaat te komen. Daar wil je uiteindelijk naartoe. Precies. Dan komen we toch weer op de laagjes die we net ook bespraken. Je ziet ook weer een laagje bovenop je dataschild of je extra creatie. En hoe goed is die? Dat kunnen testen. En open kunnen zijn, wat gebeurt daar? Dat is wel een ontwikkeling die van belang is. Ja, en die herhaalbaarheid is dan uiteindelijk heel belangrijk. Hoe zit dat bij jullie op het platform? Ja, herhaalbaarheid in de zin van? Van kunnen hertrainen, zaken... Maar ook, nou laten we het misschien zelfs over herleidbaarheid ook hebben. Weet je, kijk je, wij hebben in ieder geval heel veel te maken met modellen... waarbij vanuit het besluit moet je redelijk terug kunnen redeneren... naar op basis van welke data het besluit genomen is. En zelfs wij moeten ook redelijk het model in kunnen kijken... om te zeggen van, ja, op basis van deze deze gegevens is dit besluit genomen. Ja, wij doen dat deels, maar ook deels niet... omdat de gebruikers van ons daar zelf een eigen vrijheid in willen hebben. Dus als wij het hebben over pipelines, dan hebben we het eigenlijk over... de data pipelines, dus echt het processen. En dat kunnen ook retrainingstappen zijn, trainingstappen... of uiteindelijk inference-stappen. In die pipelines zien we dat er heel veel conditionele logica wordt gebouwd. Als dit gebeurt in een pipeline, dan zou je back terug kunnen gaan... naar een retrainingstap, et cetera. En natuurlijk is dan, ik weet niet wat de umbrella term is, maar dan is het ontzettend belangrijk dat je data versioning op orde is. Kijk, en daar zijn ook alweer tools voor die daar heel krachtig in zijn. Gisteren toevallig hadden we ook een discussie over intern, dat we twee jaar geleden hadden het nog over een tool als DVC. En toen hadden we dat getest en dat vonden we... Maar vandaag de dag ziet het er al veel belovender uit. Dus je ziet ook, wat wij wel zien, is dat veel gebruikers daar ook weer eigen toolsets omheen bouwen. En waarom doen we dat? Omdat wij heel veel met de AI-specialisten samen werken. En die AI-specialisten hebben best wel een goed idee... hoe ze die straat willen inrichten. Dus als wij gaan voorschrijven, je moet dit of dat... ja, dan is het al hetzelfde als we het hebben over de keuze tussen... ga je in je training gebruik maken van een MLflow, om maar even iets te noemen... of ga je met een proprietary tool werken als een weights and biases, wat ook veel in de, of dat zit wel veel meer aan de experimentatie kant. Maar die vrijheid willen ze wel geven. Dus ja, het kan in de platform, maar ze richten het zelf in. Kijk, waar wij wel veel meer op letten is de checks en balances... die dan gebeuren in zo'n pipeline. En de operators, zoals we dat noemen, en de conditionele logica daaromheen. zodat we eigenlijk het proces helpen faciliteren in te richten. Heb je een voorbeeld? Nou ja, dat kan al heel simpel zijn als bijvoorbeeld een real-time AB-test. Dat is al een conditioneel punt, zeg maar, of logica. Of het hopswappen van een versie gebeurt natuurlijk ook wel eens. Dus ja, dat betekent een versie is toch minder optimaal dan verwacht. En we kunnen in één keer terug naar de andere versie waarvan we weten dat die... Ja, waarvan we wel eerst dachten dat het de tweede was, maar nu weer de eerste, zeg maar. En we gebruiken het zelfs andersom soms. Dus we laten de nieuwe versie schaduwdraaien. En dat je inderdaad ziet van, hé, maar die doet het beter. Dat is dan gevalideerd. En dan kan je hem inderdaad ook swoppen. En dan gaat alles door op de nieuwe versie. Exact, ja. - En andersom inderdaad. En andersom. Dat zijn kleine dingen, maar dat zijn wel... Die pipelines kunnen op een gegeven moment heel complex worden. En dat heeft soms ook al te maken met dat je bepaalde processing stappen doet... waar je weer bepaalde data bij elkaar wil kunnen mergen. En wat we ook proberen te doen in die pipelines is dat zo... Al die componenten moeten niet van elkaar afhankelijk zijn. Dus wij noemen dat in onze pipelines deployments. Dat is misschien niet helemaal de juiste term, maar het zijn soort operators, zeg maar. Dus het zijn eigenlijk allemaal individuele microservices. En daar kan je ieder type Python of ondersteunen bijvoorbeeld ook R, en dat soort, zo'n taal, kun je aan elkaar verbinden. Maar die zijn in de compute, zeg maar, om het even zo te zeggen, niet van elkaar afhankelijk. Dus ze schalen allemaal individueel. En dat betekent ook dat je hele efficiënte pipelines kan maken. En dat heeft weer alles te maken met tijd. en als je het hebt over retrainen, of trainen of inference, of een combinatie van die drie. Wat wij nog wel eens in de praktijk zien, is dat er gezien de historie, dat er wat minder aandacht is bij organisaties rondom het testen van de dataprocessing, van de pipelines die je nu zegt. Hoe zie jij dat? Zie je dat in de praktijk terugkomen? Nou, ik denk dat bedrijven die echt productiedraaien... daar wel veel over nadenken bij ons. Je hebt natuurlijk steeds meer tools die... Als je het hebt over datadrift... en wij praten ook weer met tools aan de achterkant van de keten. Dus bijvoorbeeld als je het hebt over modeldrift en dat soort dingen... en daar ook weer logica in bouwen in zo'n pipeline. Wij zien de gebruikers dat zeker doen. Want op het moment dat zij... Als je het hebt over het voorspellen van of een patiënt wel of geen... een ernstige ziekte heeft, dan moet je wel donders goed zeker weten... dat dat daadwerkelijk ook echt zo is. Dus de repercussies kunnen groot worden. Dus in de praktijk zien we juist wel... Wij werken vaak wel met organisaties die vaak iets verder zijn in die maturity... omdat ze ook een bepaalde verantwoordelijkheid hebben... om ervoor te zorgen dat die pipeline die in productie is... van de juiste kwaliteit te houden en te voorzien. Misschien al juist door de schaalgroten. Dus er komen natuurlijk bij jullie als de schaalgroten... zodanig zijn dat je moet gaan schalen. Wij zitten ook nog best wel bij veel bedrijven die starten. En daar is dit echt wel iets waar wij veel op moeten hameren. Dat je echt begint bij je ETL-processen testen. Dat je je machine learning pipeline test. Dat je... - Dat je datacwaliteit... Dat je datacwaliteit, precies. Dat je je experimenten versioneert. Dat je echt alles voor tot achter goed in elkaar hebt zitten. Ik hoorde je zeggen, we praten vaak met tools. Als de luisteraar in je luistert zegt van, hier wil ik mee aan de slag... Wat zijn de tools die jij in de markt ziet die gebruikt worden? Ja, dat is een hele goede vraag. Als we zien, naar de experimentatie kant zie ik dus heel veel bijvoorbeeld dingen als MLflow terugkomen. Natuurlijk Git wordt extreem veel gebruikt. Gitflows of GitHub Actions heb je ook bijvoorbeeld, dat soort dingen. Aan de achterkant werken we ook wel samen met aan de monitoring kant, zie je wat meer proprietary tools die het beter doen. In Amerika heb je bijvoorbeeld werkzaam, bijvoorbeeld een Arise-achtige. Ik weet niet of jullie dat kennen, maar dat zit puur op model monitoring... en allerlei type drift. En we hebben ook klanten die daar dan een integratie mee maken. En ik denk dat dat soms ook nog wel een challenge is. We hebben het hier heel erg over het ML Ops, Machine Learning Operations aspect. En wij doen niet de totale keten. En daar is ook altijd een discussie over. Dus in de communities. Want er zijn natuurlijk partijen die proberen alles te bouwen, van A tot Z, en die hele keten gesloten te krijgen. Maar dan zie je vaak dat er toch hele erg suboptimale componenten in zitten. Daar waar je ook partijen en open source tools hebben, die wat meer de best of breed, dus eigenlijk proberen het beste in het klasje te worden, op dat stukje. Maar hoe zorg je er dan voor dat dat een natural flow is? En ik moet zeggen, soms kijk ik wel eens naar architectuurplaatjes, Dan schrik ik me echt helemaal dood. Want dan denk ik echt, nou ja, UbiOpps, dat covert het grootste deel. Maar als je ziet wat erachter of ervoor zit, dat is echt een heel arsenaal. En ja, dus ik ben daar misschien ook een beetje ongekleurd in. Maar het is niet zo dat wij zeggen, ja, kies die tool of die tool. Het is wel zo dat wij ook op onze docspagina hebben we allerlei integraties. Aan de dataversion kant hebben we bijvoorbeeld ook weer tools als PackyDurm... en dat soort dingen, misschien was er wel gehoord. Maar vaak hebben onze type gebruikers daar wel al een idee bij. Dus, en even terugkomend op maturity. Ik zie ook bijvoorbeeld wel maturity ontstaan bij techbedrijven op dit moment. Dus niet alleen de grote corporates waar we het net over hebben gehad, zoals Unbuyer, fantastische teams, hè. En die hebben ook echt de mensen en de brainpower. Maar wij werken ook wel met startups en scale-ups samen, die daar niet echt voor onder doen, om maar zo te zeggen. en dat is wel impressive om te zien. Vaak zijn dat dan wel bedrijven die een volledig AI-product in de markt proberen te zetten en daar ook een heel bedrijf omheen bouwen. Maar we zien wel dat dat bedrijven zijn die enorm aan het accelereren zijn, en soms ook acceleren. En we zien dat ook aan de researchkant, maar dat zit dan wat meer vaak op training. Maar ook daar heb je ontzettend goede wetenschappers die... - Absoluut. En we hebben het geluk dat we in Nederland echt goede universiteiten hebben... die hier serieus mee bezig zijn. - Ja. - Ik had een tijdje terug een Duitse student, die studeerde dan in Amsterdam. Die kwam bij ons praten. En daar schrok ik van. Die zei, ja, in Duitsland hebben we eigenlijk gewoon geen specifieke AI-studies aan de universiteit. - Ongelofelijk. - Echt mind-blowing, toch? Hoe kan dat nou in deze tijd nog mogelijk zijn? Dat we in Nederland nog niet zo ver waren. Nee, Nederland heeft de reputatie hoog te houden, hoor. Het gebied van kunstmatige intelligentie, nee zeker. Ja, dat is echt ongelofelijk. En een gemiste kans. Ja. Ik denk dat je daar wel... Ik denk dat Nederland daar echt wel in voorop loopt. En dan is eigenlijk de vraag, hoe zorg je ervoor dat dat talent niet direct wegloopt? Ja, de vraag is groot. Ja, de vraag is heel groot. Zeker, zeker. Hé Yannick, ik denk, ik heb veel geleerd. Niels? Ja, zeker. Dank je wel. Ik ook. Dank jullie ook. Heel fijn dat je wilde komen. Ik denk vooral, nou ja, dingen geleerd over schaalbaarheid, dat soort zaken. Dus, nou, dan sluiten we hierbij af. Dank je wel. Dank je wel. Fijn dat je weer luisterde naar de AI Today Live podcast. Zorg dat je je abonneert. Bij Spotify kan je op een belletje drukken. Bij Apple Music heb je misschien zoiets ook wel. Daar kijk ik iets te weinig naar. Nou, vertel het door. Volg de socials om op de up-to-date te blijven. Berichtjes spammen we er graag op. Dus volg ons en abonneer je. Oké, tot de volgende keer. [Muziek]