Responsible AI agents met GPT-NL

In deze aflevering hoor je Jesse van Oort, Responsible AI Researcher bij TNL, die een unieke inkijk geeft in het GPTNL project voor een soeverein Nederlands taalmodel als alternatief op de Big Tech oplossingen. Jesse deelt zijn expertise over verantwoorde AI agents en legt uit waarom transparantiedatabeheer en doelgericht ontwerp cruciaal zijn bij het ontwikkelen van AI systemen die we kunnen vertrouwen. Dus blijf luisteren! Hoi, leuk dat je weer luistert naar een nieuwe aflevering van AIToday Live. Mijn naam is Joop Snijder, CTO bij Aigency. Mijn naam Nielsen Naglé, RIA Lead, Datingaar bij Info Support. En we hebben in de studio Jesse van Oort van TNO. Jesse, zou je jezelf eerst willen voorstellen aan de luisteraars? Ja, natuurlijk. Hi, ik ben Jesse van Oort. Ik was al gezegd, ik werk bij TNO. Maar het laatste jaar vooral bij GPTNL, een soeverein Nederlands taalmodel als alternatief. op de modellen van Big Tech. Ik werk bij TNO als Responsible AI Researcher. Ja, en we hebben jou uitgenodigd om te praten over wat zijn nou eigenlijk Responsible AI Agents? Dat wordt het thema van dit gesprek. En om eerst even een stapje terug te doen, er zijn heel veel mensen die het best wel lastig vinden, wat is nou het verschil tussen agent en agentic AI? Hoe zie jij dat? Ja, goede vraag. Waarom we het meteen over agents hebben als het gaat over AI op dit moment is, omdat dat eigenlijk een beetje de trend is waar we naartoe gaan als het gaat om AI. Aigency betekent eigenlijk gewoon dat het initiatief steeds meer bij de software komt te liggen, bij het AI systeem, in plaats van bij de mens. waar nu de mens vooral nog degene is die het initiatief neemt, die naar de bijvoorbeeld chatbot gaat of naar het decision system en dan een vraag stelt, is de trend dat we steeds meer willen dat deze software eigenlijk zelf weet wat hij moet doen, gebaseerd op meer abstracte doelen die hij gesteld krijgt. En dat zodat er meer werk naar de agent kan in plaats van naar de mens. En hebben we het dan over een agent of hebben we het over agentic AI? Ja, ook dat is een goede vraag, want er is inderdaad veel verwarring over. Als het gaat over meer Aigency geven aan een systeem. Autonomie. Autonomie, ja. Dan gaat het toch meer om agentic AI. Het verschil tussen AI agents en agentic AI is dat een AI agent wel een beetje de semblance, een beetje de blijk heeft van dat het Aigency heeft, omdat je daarmee praat en het systeem zal terugpraten. En het kan zelfs op een soort van blijkbare proactieve manier. Maar dat zal vaker toch via workflows gaan. Als dit gebeurt, dan gebeurt dit. Terwijl als je meer agentic systems hebt, dan zal zo'n systeem veel meer abstracte doelen en abstracte tools en skills hebben. Dus middelen. En dan zal dat systeem zelf ook moeten beslissen hoe dit systeem het beste zijn middelen inzet om tot zijn doel te komen. Dus dat kunnen ook verschillende systemen zijn. Dus dan is het systeem eigenlijk degene die acties onderneemt om het doel te bereiken. In plaats van dat de mens telkens gaat zeggen wat moet er gebeuren, wat is de volgende stap. Ja, er zit best wel een significant verschil natuurlijk in. Want als je een AI agent hebt of iets wat meer een workflow dus is. Dan moet je dus eigenlijk nog steeds alles in programmeren. En dan weet je eigenlijk precies wat er gaat gebeuren. Dus voor de gebruiker kan het soms als niet veel verschillend overkomen. Maar voor de mogelijke gevolgen en de variantie in gevolgen die kunnen gebeuren, zit er best een groot verschil tussen een AI agent en een agentic AI systeem. Wat op zichzelf ook weer een spectrum is. Dus agentic AI, waar die grens dan ligt, wanneer wordt het agentic? Daar kun je natuurlijk ook weer over discussiëren. Maar als het heel agentic is, dan betekent het waarschijnlijk ook dat dat systeem heel veel verschillende keuzes kan maken, die je niet altijd allemaal van tevoren kunt bedenken. Zou je dat wat kunnen uitdiepen van de gevolgen waar je het over had? Ja, natuurlijk met de huidige techniek die er is. LLMs, chatbots. Daar zien we al best wel veel gevolgen van. Je ziet bijvoorbeeld dat mensen veel LLMs gebruiken als therapist of persoon om mee te praten. Om uit het isolement te komen. Daar kan niet heel veel foutieve informatie in komen natuurlijk. Dat kan heel schadelijk zijn. Het kost best wel veel energie. EI is een van de grootste groeiers als het gaat over emissies over de laatste jaren. Het kan ook aan over misinformatie. Nou ja, als je dus het systeem meer Aigency geeft, dan geef je het ook meer controle. En dan gaat het systeem ook sneller handelen. Het voordeel natuurlijk bij een systeem waar je slechts één persoon hebt, in een LLM, daar is een mens vooral de bottleneck. Een mens is redelijk traag. Een mens moet eerst met een vraag komen, moet eerst bedenken, nou wat wil ik stellen? En dan krijgt hij een antwoord. Moet hij interpreteren. En dan komt er misschien weer een vraag. Dat uit zichzelf is natuurlijk best wel een flinke rem. Maar computers zijn duizenden keren sneller dan tienduizenden keren. Dus als een LLM of een AI-systeem bijvoorbeeld iets wil weten van een ander systeem, dan kan dat heel vaak per seconde met een hele hoge frequentie. En die kunnen weer communiceren met andere bots met hele hoge frequentie. Dat lijkt dus tot hele grote emissies potentieel. Als er een fout is, als hij een antwoord teruggeeft aan een mens, dan kan die mens in ieder geval nog kijken van oké, ik neem een beetje de tijd om dit te analyseren, kijken of er een fout in zit. Voordat ik dit opstuur ergens naartoe, kan ik ergens naar kijken. Maar als een LLM zegt van dit is het goede antwoord en geeft dat door aan een ander LLM. Nou, dan neemt dat LLM dat al aan als waarheid. Want die heeft deze expert LLM gevraagd. Dat is gewoon de input. Ja, dat is mijn input. En daar krijg je dus weer error propagatie van. Garbage in, garbage out. Hoe vaker je dat achter elkaar zet, hoe groter die error propagatie wordt natuurlijk. Dus hoe meer Aigency, hoe meer LLM-problemen ook groter worden natuurlijk. Kan je wat vertellen over het onderzoek wat je uitvoert? Ja, dan moet ik zeggen dat op het moment mijn grootste bezigheid GPT-NL is. Dat is in principe ook onderzoek, maar er is ook veel implementatie. Laten we die dan aan elkaar verbinden. Hoe past het GPT-NL bij het ontwikkelen van Responsible AI Agents? En misschien voor de luisteraars die GPT-NL nog niet kennen, even kort toelichten van wat is het? Wat wil u ermee bereiken? Om even wat context te krijgen. Oh ja, heel goed. Ja, GPT-NL is deels gesubsidieerd door de overheid in 2023. De bedoeling is dat we een taalmodel maken dat voor Nederlandse kritieke infrastructuur zo functioneert dat het de huidige modellen kan vervangen. Zodat we een soeverein alternatief hebben met meer transparantiteit en met meer privacy. Zodat we niet afhankelijk hoeven te zijn van modellen van bijvoorbeeld een open AI. Waar ook veel problemen mee zijn als het gaat over Europese wetgeving. Bijvoorbeeld copyright wetgeving. En modellen waar we sowieso niet compleet afhankelijk van willen zijn. Als wij die modellen integreren in onze kritische infrastructuur. Denk aan defensie. Denk aan de overheid. Denk aan educatie, zorginstellingen. Dan moeten we weten wat dat model doet. En we moeten ervan kunnen uitgaan dat dat model hetzelfde blijft. dat niet zomaar dingen kunnen veranderen. En dat is best wel moeilijk met bijvoorbeeld een chat-GPT of een open-air. Omdat die modellen kunnen veranderen, de guardrails kunnen veranderen. Het zou kunnen dat de prijs verandert, wie weet. Het is goed om digitaal soeverein te zijn. Of Trump die besluit weer iets heel raars en die kan het afsluiten. Ja, dus daar komt dan de noodzaak voor GPT-NL uit voort. En daarom zijn we de laatste anderhalf jaar bezig geweest met heel veel data verzamelen. Software maken om die data te cureren. En vervolgens om het model te trainen. En waar komt die data vandaan? Ja, die data komt uit heel veel verschillende dingen. Ik was de lead op data acquisitie. Dus je kan ik in principe natuurlijk heel veel tijd aanwijden. We hebben veel data, we verzamelden natuurlijk wel uit publieke bronnen. Er is heel veel data beschikbaar die daadwerkelijk permissive is. Dus dat betekent dat we die mogen gebruiken voor elk doeleinde. Sorry voor de interruption, maar is dat dan bibliotheken? Waar moet ik aan denken? Ja, dat is ook weer een hele grote mix aan verschillende dingen. Je hebt bijvoorbeeld de Koninklijke Bibliotheek in Nederland inderdaad, die vooral met data is gekomen, waar geen copyright meer op rust. Dus dat is dan vaak omdat de auteurs al lange tijd dood zijn. Zo heb je dat ook in Engeland public domain books en in Duitsland public domain books. Het model moet Nederlands en Engels kunnen uiteindelijk. Je hebt bijvoorbeeld open source code. Code is heel goed om logica in je systeem in te brengen. Het is grappig hoe dat werkt. Er zijn databronnen zoals Naturalis of de Nederlandse Bank. Sommige van de grootste sets zijn bijvoorbeeld de sets die we samen met de overheid hebben ontsloten. Dat is de operatie informatie. Dus dat is eigenlijk alle data die komt uit lokale overheden. Dus uit alle gemeenten van Nederland. Er gaat heel veel documentatie als er een meeting is geweest. Of als er een voorstel is geweest. Dat wordt allemaal opgeschreven. Dus daar komt heel veel data uit. We hebben ook heel veel data gekregen uit de dataset van NDP. Dat is de umbrella organisatie van vrijwel alle media outlets. Oh, zo. Dus dat is bijvoorbeeld RTL of NRC. Mooi. Ja, allerlei soorten kranten en magazines. En hoe we dit soort partijen aan boord hebben gekregen... ...de meer commerciële partijen is... Omdat wij, niet zoals bijvoorbeeld andere grote bedrijven, de commerciële revenue delen met de mensen die data hebben geleverd. Oké, mooi. Geweldig. Dus dan heb je een getraind model op data die niet gestolen is, laten we het gewoon zo zeggen. Ten opzichte van wat OpenAI doet of wat alle andere grote bedrijven doen. En dus herleidbaar ook. Ja, het mooie is natuurlijk dat we veel beter ook weten wat er precies in de data zit. We hebben bijvoorbeeld ook bewust gekozen om de data niet te kiezen, waar ethisch een grijze lijn in zit. Dan gaat het bijvoorbeeld over Common Crawl. Common Crawl is eigenlijk de scrape van het hele internet. Minus waar een robot.txt file staat, waarin staat deze site mag je niet gebruiken. Nou, als je die set pakt, dat zou in principe permissible kunnen zijn. Maar dan is het niet echt de bedoeling dat je dat gebruikt voor large language model training. En sommige mensen mag gebruiken van de Europese wetgeving, de TDM exception. Dat is de text data mining exception. Maar eigenlijk slaat die niet heel goed aan op dat je daarom al die data kan gebruiken voor LLM training. Bovendien zit er ook heel veel hotline natuurlijk in die data. Want alles wat op het internet staat, het is heel moeilijk herleidbaar vervolgens om te zeggen van oké, zit er enige waarheid in deze data? Welke data is nou goed en welke is nou slecht? En welke data staat nou misschien niet toevallig ergens op de website dat je die mag gebruiken? Dat is ook niet met een machine te lezen. En onder responsibility hoort natuurlijk ook bias. Hoe zit het met de bias zo direct in GPT-NL? Ja, ook weer een goede vraag. Bias is eigenlijk niet uit een model te krijgen natuurlijk. Data is biased, omdat sowieso onze samenleving redelijk biased is. Maar nog veel meer in de data natuurlijk. De data die online is, komt vooral bijvoorbeeld ook van West-Europa en Amerika. Nu is het al voordelig natuurlijk dat wij ons niet een generiek model maken, maar een model dat zich focust op Nederland. Onze databronnen zijn vooral Nederlands, of de helft Nederlands en de helft Engels. Dus dat zorgt er al voor dat het model al beter aansluit bij de doelgroep. Dan heb je verder nog dat het belangrijk is dat je aangeeft en transparant bent over dat er bias is in je model. En het is eigenlijk vooral dus belangrijk om eigenlijk te weten waar is de bias het grootste in je model. En dat is natuurlijk ook nog een hele klus. We doen daar wel activiteiten voor. Bijvoorbeeld tijdens de evaluatie en de benchmarking hebben we een speciale set die we maken voor buyers. En we gaan in gesprek met mensen van gemarginiseerde communities in Nederland. En daar doen we workshops mee. uiteindelijk om te kijken als zij het model uitproberen en ze proberen vragen te stellen waar ze wel vaak negatieve antwoorden op zouden krijgen als ze er misschien een artikel over zouden lezen op het internet of als ze een andere LLM zouden gebruiken en dan gaan we kijken hoe performt ons model erop en we willen die resultaten heel graag publiceren want het grootste nadeel van bias is natuurlijk de negatieve effecten die je niet altijd weet. Dus het weten en vervolgens die eigenlijk open en bloot zetten, dat geeft heel veel kennis aan decision makers en mensen die systemen gaan maken. Waar zit die bias nou eigenlijk? En wanneer moet ik mijn systeem of mijn beslissingssysteem eigenlijk niet in de handen laten van mijn puur GPT-NL. Maar wanneer moet ik er zelf naar kijken? Precies. Wat mooi. Ik was wel nieuwsgierig. Het is een stukje transparantie, wat ik hoor. Je had ook nog een stukje over data. Heel veel data die verzameld wordt natuurlijk om het model te kunnen trainen. Hoe wordt de kwaliteit daarvan bekeken? Wanneer wordt het wel en wanneer wordt het niet opgenomen? Hoe pak je zoiets aan? Ja, heel goed. We doen daar verschillende dingen. qua transparantie sowieso wat we doen is we delen alles wat we kunnen delen. Als het dan gaat over de dataset. Er is heel veel data die relatief open is. Bijvoorbeeld alle data van die operatie informatie is te vinden online in verschillende pdf's. En daar zit geen copyright op. Maar het is misschien moeilijk om die allemaal goed in een zoekbare database te hebben. Wij hebben die nou natuurlijk wel, want we hebben alles moeten extraheren, normaliseren. Dus al die data waar geen copywriter op rust, die zullen wij herpubliceren. Dus daar kun je sowieso naar kijken, je kunt naar de tekst kijken. En daar zullen wij ook metadata van publiceren. Dus dan gaat het bijvoorbeeld naar wat hebben onze detectors kunnen vinden. Dan gaat het over kwaliteit van de tekst bijvoorbeeld. We hebben een aantal juristic filters toegepast op de data. Dan kun je bijvoorbeeld denken aan hoeveel symbolen per zin zitten er gemiddeld in mijn tekst. Of wat is de score van mijn language. Je hebt filters die kunnen detecten van oké, welke taal is dit stuk tekst? Hoe beter de tekst geschreven is en hoe minder spelfouten er ook in zetten bijvoorbeeld. Hoe hoger die score zal zijn voor bijvoorbeeld Nederlands of Engels waar we dan de data van binnen hebben gehouden. En dat is dus onderdeel van de curation pipeline. Een ander deel is harmful language detection. Dan is de harmful languages uitgeblieft uit de data. En een PII filter, dus dat betekent personal data removal. Uiteindelijk dus al die data die dan overblijft en geaugmenteerd is met die PII removal en met die harmful language removal. Voor de permissive data staat het allemaal line op een gegeven moment. Het staat op Huging Face. Dat is dan een publieke repository waar datasets vaak staan. Dan heb je ook nog een deel wat wel copyrighted is. Bijvoorbeeld de dataset van NDP. Die kunnen natuurlijk niet zomaar online zijn. Maar we doen wel interviews met elke dataprovider die geleverd heeft voor GPTNL. Daarna staan vragen van oké, ben je bewust van bepaalde bias? Wie waren de originele auteurs? Wat is het proces van curatie en editing? Dat soort zaken. Dat zal natuurlijk nooit op een artikellevel basis kunnen zijn. En dat zal heel globaal zijn. Maar het is wel een goede stap om eigenlijk te weten. Welke soort data zit er in dit model? En wat voor data zit er niet in dit model? Dus we kunnen ervan uitgaan dat als we hier een vraag over stellen, dat het model waarschijnlijk een slechte antwoord geeft. In Zwitserland hebben ze ook zo'n initiatief. Hoe verhoudt zich dat tot GPTNL? Ja, dat is een goeie. Ik heb niet met de ontwikkelaars kunnen praten van Zwitserland. Ze zijn wel echt een ander model aan het maken, of hebben ze gemaakt. Zij hebben echt een onderzoeksmodel gemaakt. Dus hebben alle data gepakt die ook gebruikt kan worden voor niet commerciële doeleinden. Die restrictie hadden wij wel. We willen een model maken wat uiteindelijk doorontwikkeld kan worden. Oké, dat is echt wel een groot verschil. Ja, en dat betekent voor hen natuurlijk wel dat ze wat vrijer zijn om bijvoorbeeld alle data van Common Crawl te pakken. Daar krijgen ze dus ook meer tokens uit. Dat betekent wel dat ze daar ook meer rotzooi tokens uit krijgen. Dus dat is in principe gewoon een ander model. Die waarschijnlijk bijvoorbeeld meer wereldkennis heeft. In de Common Crawl, in webdata zit heel veel wereldkennis. Maar jij krijgt ook heel veel biases mee. Een soort van ontransparantie, omdat er zoveel data in zit, die niet echt kan managen. Hoorde je dan ook zeggen dat GPTNL dus een kleiner model is? Dus een pootje ook efficiënter? GPTNL is een 24 billion token model. Het is een beetje een mid-range model. Volgens mij heeft Zwitserland eentje van 7 en van 70 B. Dus waarschijnlijk eentje kleiner en eentje groter. Daar heb ik niet peraald inderdaad. Dat maakt er niet zoveel uit. Nou, 24b is... De kleinere modellen zitten dan vaak rond de 7b. De medium range inderdaad. Rond waar wij dus zitten, 24b. En dan heb je de hele grote modellen. Zoals de van Open Air. Dat weten we niet helemaal zeker. Het zal 400 misschien zijn of zo. En dat betekent inderdaad dingen. Dat betekent dat het model dat wij maken in sommige aspecten minder goed zal presteren. En als je kijkt naar alle benchmarks die bestaan, dan zal het op sommige benchmarks niet zo goed presteren als een open AI-model. Maar dat is in principe ook niet waar we voor gaan. We gaan voor dat het model goed kan presteren in de omgeving waar die nodig gaat zijn. Een goed voorbeeld daarvan is, ons model zal niet goed presteren als het gaat over wereldkennis. Want we hebben CommonCral niet meer genomen. Maar wij denken ook niet dat dat eigenlijk het beste gebruik is van een large language model van LLM technologie. Want als je puur kennis of wereldmodel wil hebben, dan wil je eigenlijk herleidbare feiten gebruiken. Misschien verschillende databases. Als je een vraag wil stellen over, ik weet niet, geschiedenis van de NS of zo. Dan wil je misschien een RAC-systeem bouwen waar je als input kunt gebruiken de historie van de NS. Ik weet het niet. In plaats van het LLM direct vragen van, oké, wat weet je van de NS? Ja, dus specifiekere vragen voor een model en het model ook specifiek voor die vraag hebben. En dan met RAG. Ja, dus waar ons model wel dus heel goed in gaat zijn, is dat we, omdat we hooggecureerde datasets hebben, bijvoorbeeld van alle kanten, dat is heel hoog gecureerd, zal ons model redelijk goed zijn in de Nederlandse taal begrijpen. En dat is belangrijk. En ook betere Nederlandse taal schrijven, denk ik. Dus als je nu met de grote taalmodellen, Dan krijgen we wel een soort van verengels Nederlands vaak terug. De zinsopbouw is toch iets meer Engels. Daarvan zeg je van, eigenlijk kan hij veel beter Nederlands zo direct ook. Ja, nou ja, kijk. Ik kan er nu natuurlijk niks over zeggen. Want hij zit nu in zijn laatste trainingsfase. Maar dat is natuurlijk wel het einddoel. Dat het niet overal mee hoeft te competen. Maar op de dingen waar we mee willen competen. En dat is dus inderdaad goed Nederlands spreken. Goed in een RAG-systeem kunnen werken, omdat het de Nederlandse taal goed kan interpreteren. Bijvoorbeeld dingen zoals samenvatten en simplificeren. Wat dus ook een soort van contexttaak is, waar je dus eerst een stukje tekst krijgt. En dan geeft je de LLM de opdracht, maak dit korter of simplificeer dit. Daar moet een LLM goed in zijn, in onze mening. een LLM heel goed is in weten welk deel van de tekst die hij krijgt belangrijk is. Het is een attention network. Het is getraind met een attention network. En daar moet je het dan ook voor gebruiken. Ja. Dat is mijn mening. Als je het gebruikt voor open vragen gebruiken voor een soort van Google on steroids. Dat kan wel en ik denk dat daar ook wel een use case voor zit. Maar dan krijg je automatisch fouten natuurlijk. Want je hebt geleerd van zoveel data met heel veel data die ook conflicterend is aan elkaar. Dus dat je dan rare resultaten krijgt omdat de input data niet goed is of omdat die niet goed geïnterpreteerd is door het model tijdens het trainen. Dat is niet gek natuurlijk. En LLM is juist wel goed in een stukje, een soort van ground truth krijgen. Dit is waar, uit een RAG-systeem bijvoorbeeld. Leg mij maar uit wat hier staat. Geef mij maar de verschillende perspectieven die ik hieruit zou kunnen halen. Dus LLM is erg goed, vind ik, in de lijn zijn in een systeem. van heel veel databonnen pakken, die vervolgens interpreteren, omzetten in taal die ik kan verstaan of iedereen kan verstaan. En dan ook weer de brug terug zijn naar die databonnen. En dat model zijn we eigenlijk aan het maken. Precies. En dat staat ook los van waar OpenAI eigenlijk mee bezig is. Ja, OpenAI wil natuurlijk een model maken die je voor alles in kan zetten en waar je altijd naartoe gaat. de single source of troef is. Daar is misschien ook wel meer geld mee te verdienen. Dat is hun niche dan. Maar wij hebben het idee dat je het beste systemen kan bouwen, en dat kost wat meer tijd en moeite natuurlijk, waar je kennis gebruikt die bestaat en die verifiable is. Dus bijvoorbeeld via RAG. En dan de LLM gebruikt vooral als iets dat interpreteert. In plaats van kennis heeft. Want een LLM heeft in de rente niet veel kennis. Het weet wat het volgende woord moet zijn. Precies, woord voor woord voorspeller. Je begon over geld. Ik moet je eerlijk zeggen dat toen ik van het initiatief in het begin hoorde. Dat ik denk ik ook wel sceptisch was. Dan hoor je wat het bedrag is wat jullie aan subsidie hebben gekregen. En dat staat in geen verhouding tot de miljarden waar Big Tech over beschikt. Hoe kan het dat jullie met zo'n beperkt budget dit voor elkaar gaan krijgen? Ja, een aantal aspecten denk ik. Ten eerste is dat we dus daadwerkelijk ook scopen. En dat we geen model proberen te maken precies zoals OpenAI. Dat zouden we ook gewoon niet winnen. Wij hebben niet het budget om guardrails te gaan maken door duizend mensen de hele tijd op het systeem te laten rammen en kijken wat er gebeurt. Dus weten wat we aan het maken zijn. En ook omdat we al veel ervaring hebben met deze sectoren. We werken heel vaak samen met de overheid. We weten ook veel makkelijker. Wat is nou echt nodig? En ten tweede is het ook wel veel van het geld dat je nodig zou hebben voor ontwikkeling. Dat zijn eigenlijk voor twee dingen. Eén is voor heel veel data krijgen. Als je het op een legale manier moet doen. We hebben best wel, dat doen we dus enerzijds door werkelijk mensen te belonen. als ze meedoen met het GPTNL initiatief. Maar het is ook wel dat TNO als onderzoeks, onafhankelijke onderzoeksinformatie ook wel meer vertrouwen heeft natuurlijk dan een bedrijf zoals OpenAI. Dus we merken ook wel, en we merken ook dat bedrijven in Nederland ook wel zitten te wachten eigenlijk op een oplossing waar ze eigenlijk om OpenAI of de andere big tech providers heen kunnen gaan. Dus dat is wel gewoon support van mensen die data bezitten en mensen die misschien een use case hebben. Dan zou ik zeggen, anders is er verder nog heel veel geld nodig om chips te kopen. Ik moet zeggen dat daar nog wel waarschijnlijk veel te winnen is. Want uiteindelijk hebben we 88 H100 voor drie maanden aangezet. Die zijn nu klaar. Dat zijn GPU's voor degene die luistert. Dat is nodig voor het trainen. Intussen niet meer de laatste generatie GPU, maar redelijk nieuwe GPU's. En dat kost best veel geld. Dat kost best wat miljoenen. Maar dat miljoenen is inderdaad nog een peulenscheel voor een bedrijfsopener. Die hebben echt heel veel meer GPU's. En dat feit maakt het dat het waarschijnlijk ook een sterker model zou zijn. Dat ze meer parameters kunnen gebruiken. Dat is vervelend. En ik denk in de volgende versie die we zouden willen trainen. Dat we ook gewoon wel meer GPU's nodig hebben. Maar ik denk ook dat we sowieso, en dit komen we misschien ook weer terug over op duurzaamheid, dat het soms ook gewoon niet nodig is om het beste, de latest en greatest te hebben. Generatieve AI bestaat relatief kort. En we zijn vooral heel veel bezig met hoe maken we ons model nog sterker en slimmer. Of gooit er nog meer data en nog meer compute in. Maar uiteindelijk, als je luistert naar de problemen die mensen willen die je oplost. Dan zijn ze eigenlijk redelijk simpel. Ik ga heel vaak naar een bedrijf en dan vragen ze van welke LLM moeten we hiervoor gebruiken? Welke oplossing? En dan moeten ze gewoon een simpele samenvatting maken ofzo. Je kunt dan natuurlijk een 400B mega model voor gebruiken. En dan zal het heel goed presteren. Het presteert waarschijnlijk maar net ietsje slechter met een 7B model. Waar je duizend keer minder energie voor kwijt bent. Een 7B moet je bijvoorbeeld denken aan een 4O mini ofzo. Als je het in ChatGPT-achtige termen hebt. Dat zijn echt de kleine modellen die dan prima presteren. Ja, precies. Wat neem ik aan ook steeds belangrijker worden als we naar Agentic gaan. En als we daar allemaal de grote modellen in zetten. En zoals je in het begin vertelde, die gaat van agent naar agent naar agent om het doel te bereiken. Dat gaat wat betekenen voor je emissie, maar ook voor je kosten. Hoe dat snel kan gaan als je de grote modellen voor alles blijft gebruiken. Laten we zo direct even teruggaan naar de agent, de responsible agents. We willen hier heel graag een stelling uit ons kaartspel voorleggen. Is goed. Oh, hij legt een stieker meentje weg. Het zal transparant zijn. We hebben het over Responsible, dus ik zal het ook nog wel even voorlezen. Maar ook zeggen dat we hem niet gaan behandelen. De stelling die ik pakte uit de stapel ging over technologie en innovatie. Ik denk een mooi thema waar we het hier over hebben. De volgende trouwens ook. Maar de stelling luidt, ik weet hoe generatieve AI werkt. Ik denk dat jij dat wel weet. Maar ik pak even de volgende. Wederom uit de technologie en innovatie. En de stelling luidt, bedrijven die generatieve AI integreren in hun bedrijfvoering, zullen een aanzienlijke concurrentievoordeel hebben. Nou ja, ik denk dat het heel compleet ligt aan welk bedrijf je bent. Wat ik veel zie bij bedrijven is, geen AI is er. Dus we moeten er iets mee. Heel technologie gedreven. Iedereen is hyped over geen AI. Ik moet iets doen. Ik heb nog wat geld liggen. Laten we het gebruiken. Maar uiteindelijk gaat het erover. Welk probleem heb je? Wat kun je gebruiken om daarmee op te lossen? En ik heb best wel veel voorbeelden gezien dat mensen een probleem hebben die ze op heel veel verschillende manieren kunnen oplossen. En dan, nou ja, je hebt altijd veel verschillende mogelijkheden om je probleem op te lossen. En net zoals als je iets aan het maken bent, dan heb je heel veel verschillende dingen, gereedschappen in je toolkit. En ik zie generatieve AI en zeker de grotere modellen echt als de grote sledgehammer. Het kan best veel, het is best generiek. Dus dat is heel mooi. Als je dit implementeert dan, de hamer die zal best wel wat kunnen. Maar inherent kost het heel veel. Het kost veel aan transparantie, het kost veel aan sustainability. En dat wordt soms vergeten. Soms zijn er ook heel veel meer gespecialiseerde tools, die soms iets meer kosten om te implementeren. Dus dan gaat het meer over traditionele AI, of zelfs gewoon meer rule-based systeem of een combinatie, die minder energie kost, meer transparant is, maar vooral meer expertise kost, omdat je niet zo mag. een co-pilot van de Plan Kanaal ofzo. En investeren eigenlijk in die meer gespecialiseerde oplossingen is vaak een beter antwoord voor sommige problemen. Dus het ligt er gewoon compleet aan. Wat wil je proberen te doen? Helder. Niet de technologie, maar welk probleem heb je? Helemaal mee eens. Dank je. Als we terug gaan naar de Responsible Agents. Dus we hebben nou een responsible model als het ware eronder. Onder de agents. We weten waarvoor we het maken. Dus het is nodig. Maar wat zijn nog meer elementen waar je aan moet denken. Als je verantwoord met deze technologie aan de slag wil. Nou ja. Dat ligt er een beetje aan. In welke context je er mee aan de gang wil zijn. Van wat ik nu zie met Agentic AI of waar meer Aigency in zit, dan gaat het vooral over bedrijfsvoering. Ik denk dat daar ook het meeste geld in te winnen is. En de meeste generieke systemen zullen daar een oplossing voor bieden. Ik denk niet dat dat verkeerd is. Ik denk dat er best wel veel uit handen genomen kan worden door iedereen. Iedereen is denk ik wel redelijk blij met een assistent als hij redelijk goed kan fungeren. En ik denk ook wel dat, dan gaat het nog steeds over, nou ja, houd de human in de loop. Maar waar ik misschien het wel nog even wil over hebben, is als je het voor persoonlijk gebruik gaat gebruiken. Behalve dat het voor bedrijven agentic systemen worden onderzocht, wordt het ook voor in persoonlijke sferen onderzocht. En soms, of vaak misschien zelfs, zal het zo zijn dat de incentives om een agentic systeem te maken wat goed is voor een persoon, of een individu, niet per se aligned is met wat de economische incentives zijn. Bijvoorbeeld een voorbeeld. Je wil een systeem maken dat een persoon helpt met zijn leven. Suggesties doen van wat kun je doen. De persoon geeft aan wat zijn of haar lange termijn doelen zijn om te bereiken. Het kan van alles zijn. Het kan meer boeken lezen. Het kan wat dan ook zijn, meer sporten. Nou ja Als je een systeem hebt Waar je gewoon aanvraagt Welk boek kan ik lezen Ofzo Dat is dan nog één ding Maar Als dat systeem De Aigency heeft Dan Krijgt dat systeem Natuurlijk ook meer macht over Wat deze persoon Daadwerkelijk kan doen met zijn leven En gebaseerd op bijvoorbeeld heel veel data dat er is, bijvoorbeeld op welke locatie van de persoon of wat het weer is op dat moment, kan dat systeem best goede suggesties doen. Als je dus een systeem zou gaan maken wat goed is voor dat persoon, dan zou je graag je felbaarheid aan willen geven, bijvoorbeeld, als dat systeem. Of je zou bijvoorbeeld daadwerkelijk de beste suggestie willen doen voor die persoon. Het boek is dan redelijk onschuldig. Maar misschien ook als het gaat over wat je zou moeten doen met je leven. Maar als je een bedrijf bent die deze software maakt. Dan zou je liever eigenlijk hebben dat het systeem wat je maakt voor deze persoon een beetje als onfeilbaar wordt gezien. Dat je de agent gebruikt als een soort van single source of truth. Waar je naartoe gaat met je problemen of als je met iets zit. En dan vooral ook dat je het systeem suggesties laat doen waar je iets aan hebt. Omdat adverteerders bijvoorbeeld vanuit een bepaalde boekenwinkel of vanuit een bepaald boek weten van, nou ja, dit soort mensen wil ik mijn boek hebben en zo. Dus ik geef geld aan de systeemontwikkelaar om vaker die suggesties te doen bijvoorbeeld. Hebben we dat nu niet in de advertentiemarkt ook al? Ja, klopt. En daarom is het ook niet zo'n leap om te maken. Dat het, wat nu bijvoorbeeld op social media heel veel gebeurt. Dat dat ook kan gebeuren met deze meer agentic systemen. En met social media is nog één ding, is ook best insidious. Maar in ieder geval ga je zelf nog eerst naar Instagram ofzo. Om daar iets te doen. En dan weet je al een soort van, ik krijg jullie persoonlijke advertenties. Maar als dat systeem eigenlijk altijd aanstaat, dus niet alleen wanneer je achter je computer zit of achter je telefoon, maar altijd. Het kan op een gegeven moment ook in een soort van Google Glasses of Metaglasses zitten. En dat systeem in plaats van dat hij jou bijvoorbeeld vraagt of kan ik je storen ofzo, maar ook gewoon eigen initiatief neemt, dan is die schaal natuurlijk veel groter. En we merken dat mensen heel afhankelijk worden van deze systemen. En dat maakt ze ook best wel zwak. Dus voor die systemen. Bijvoorbeeld, we merken dus inderdaad uit onderzoek dat steeds meer mensen AI gebruiken als companionship. Omdat ze in het sociaal isolement raken. Allerlei factoren in onze huidige samenleving. En dan een AI is heel fijn als vervanging, in ieder geval op korte termijn, voor echte interactie. Omdat een AI is het vrijwel altijd met jou eens. Zegt af en toe slimme dingen. Dus het is niet zo heel gek dat mensen soms verslaafd kunnen raken aan praten met AI's. En als die AI reactief is, dan voelt het nog wel alsof je in controle bent. En alsof het niet helemaal alsof het een andere persoon is. Maar als die AI eigenlijk op eigen initiatief volledig kan, conversaties met je kan houden, dan kan het echt voelen als een ander digitaal mens die daar staat. En als er achter dat systeem slechte incentives zijn, zoals economische... Mensen willen zoveel mogelijk geld uiteindelijk van je willen ontsluiten of je attentie willen controleren. Dan kan dat best eng zijn natuurlijk. Ja, als ik het over me zo even vertelde. Je hebt eigenlijk de stap naar waar ga ik eigenlijk met mijn vraag heen. Is dat Instagram? Is dat een andere? Dan weet je nog dat je daarheen gaat. Dat wordt weggeabstraat. Dat gaat in de systemen vast liggen. Het ligt ook verder weg voor iets van fact-checking te kunnen doen. Maar wat kunnen we daarvoor responsable AI of stel die systemen worden nu door mensen gebouwd. Wat moeten die meenemen om te voorkomen of safeguards in te bouwen om die systemen zo in te richten dat die kans kleiner is? Ja, het hangt compleet natuurlijk af van je design en wat je doel is van deze systemen bouwen. Of je deze effecten gaat zien. Ten eerste moet je natuurlijk researchen. Wat gebeurt er nou met deze verschillende systemen. Dat kun je alleen maar door ze daadwerkelijk te bouwen. Het is heel interactief natuurlijk deze technologie. Maar uiteindelijk is het van. Als ontwikkelaar heb ik het beste met mijn users voor. Dat mag in principe best wel geld verdiend worden. Maar dat moet dan heel duidelijk zijn. Op welke manier dat is. En dat mag niet door mensen te manipuleren. Dat is onethisch. En dat kan eigenlijk alleen maar door zelf alternatieven te bouwen. En gebruik te maken van technologie die in event meer transparant is. Met bijvoorbeeld social media in 2005 of wanneer dat een beetje opkwam. Vond iedereen social media heel leuk en heel cool. Je kunt er van alles mee. En toen waren er vast ook al mensen die dachten van, in de lange termijn kan hier wel iets fout gaan. Nu zijn we twintig jaar later en weten we gewoon dat er heel veel schade aangericht is aan mensen die gewoon heel erg vaak online zijn en vaak op social media zitten. En als je dan kijkt naar de toekomst, Want Responsible Eye is natuurlijk echt wel in ontwikkeling. Zeker hoe je ermee moet omgaan. Ook met de vraag van Niels. Hoe zie jij, wat zie jij aankomen? Wat zijn de ontwikkelingen hierin? Ja, ik hoop dus dat als Europa, waar ik toch vind dat we vaak onze normen en waarden wat strenger hebben. en waar we iets minder de mentaliteit hebben van move fast and break things, waar we toch het beste willen hebben voor de Europese bevolking, dat we veel meer onze eigen technologie gaan bouwen en dat we ook weten wat deze technologie doet. Ik denk dat daarom GPTNL een heel goed initiatief is, omdat het ervoor zorgt dat we meer weten over deze technologie En het kan, hopelijk is het in versie 1 al dat we alles kunnen vervangen. Waarschijnlijk gaat het natuurlijk niet zo, het is niet creatief. Maar het is heel goed dat we beginnen met techniek te ontwikkelen. Maar uiteindelijk is het nog steeds een project waar we nu 13 miljoen aan subsidie voor gekregen hebben. En daar zit gewoon veel minder geld in dan bij Silicon Valley. En dat betekent niet dat wij een tweede Silicon Valley moeten gaan maken. En dan dezelfde problemen hier alsnog gaan zien. En er hoeft ook niet zoveel geld in. Maar we moeten wel genoeg investeren en genoeg in deze techniek doen. Zodat we alternatieven kunnen bieden waar we gewoon meer controle over hebben zelf. Ik zie dat wel gebeuren. Mensen lijken wel meer wakker te worden over dat. Zeker. Geopolitiek helpt natuurlijk. Die wind hebben jullie nu mee. En wat ik ook hoor zeggen. Wat denk ik heel erg belangrijk is. Wil ik nog even extra gezegd hebben. De kennis die we opdoen. Door dit initiatief op te zetten. En te gaan leren wat er mogelijk is. Naast de producten die we hebben. Het betekent ook de kennisopbouw. Die je gewoon in Europa doet. Om dit soort technologie verder voor te gaan brengen. ook gewoon meer in huis is, in plaats van dat het allemaal gecentraliseerd is op andere stukken van de wereld. Dus complimenten inderdaad voor het aanpakken. Ja, Jasse, dankjewel dat je een tipje van de sluier wil oplichten van waar jullie mee bezig zijn bij TNO op dit gebied, zowel de Responsible AI Agents als GPTNL. Dankjewel voor de komst naar onze studio. Ja, dankjewel. Het was heel leuk. Leuk dat je er weer luisterde naar deze aflevering. Vergeet je niet te abonneren op onze nieuwsbrief. Linkje staat in de show notes. Krijg je exclusieve content, ook iets met achter de schermen. We hebben echt een hele leuke nieuwsbrief. Eens in de maand. Gewoon doen. Tot de volgende keer.