Voorbij media-aandacht: de techniek achter DeepSeek ontleed

We duiken vandaag diep in de technische innovaties achter DeepSeek, voorbij de krantenkoppen en social media-hype. Samen met Willem Meints, Chief AI Architect bij Aigency, ontleden wij samen hoe dit Chinese taalmodel met slimme technische keuzes de trainingskosten drastisch wist te verlagen. En in plaats van de gebruikelijke nieuwsberichten over investeringen en beurskoersen, gaan wij stap voor stap door de technologie die DeepSeek zo bijzonder maakt. Hoi, leuk dat je weer luistert naar een nieuwe aflevering van AIToday Live. En vandaag gaan we kijken naar de diepte van DeepSeek. En Willem Meints is te gast. Niels is helaas verhinderd. Maar vanwege de actualiteit wilden we dit toch opnemen. Dus vandaar dat je dit gaat doen met mij en Willem. Willem, voor de luisteraar zou je je eerst heel even kort willen voorstellen. Ja, voor de vaste luisteraars, die kennen me al. Zeker. Voor de rest, ik ben Chief AI Architect bij Aigency en onderdeel van Info Support. Ik zit de hele dag in AI. Voornamelijk gpt-achtige modellen. En ik heb dit keer de kans gehad om DeepSeek binnenstebuiten te keren. Ja, en wat we gaan doen, want zeg maar om je meteen te laten merken. Er wordt natuurlijk al heel veel nieuws gedeeld. En alles over beursinformatie en dat soort dingen. Daar gaan wij het vandaag niet over hebben. Wij zijn typisch een podcast die veel meer kijkt naar de diepte van technologie of op lange termijn. En we willen je vooral laten begrijpen hoe de technologie werkt. En daar gaat het vandaag over. Dus ik wil een tip geven dat als je wel het laatste nieuws wil volgen en dat ook op een genuanceerde manier tot je krijgen, raad ik de nieuwsbrief aan je als luisteraar aan van Jarno Duursma. Die komt dan heel snel met een genuanceerd beeld van wat op dat moment beschikbaar is. Maar wat wij vandaag gaan doen, we hebben samen papers uitgezocht. Die gaat over DeepSeek. We hebben er heel veel over gelezen. We hebben er zelf ervaring nu mee op gedaan. En dat is wat we vandaag gaan doen voor je. Willem, zou jij eerst eigenlijk even willen uitleggen van wat is eigenlijk DeepSeek en die modellen waar nu zoveel hype over is? Ja, Deep Seek is een nieuw large language model en een nieuwe website. Dit is wel een beetje bijzonder dat ze net als OpenAI hebben een chatbot beschikbaar gesteld. Die hebben ze DeepSeek.com genoemd. Die komt trouwens ook in drie varianten, maar daar kom ik zo meteen nog wel even op terug. Daar kun je mee chatten, net als met ChatGPT. En daarachter zit een nieuw taalmodel. Deep Seek heet die. Nou, DeepSeek is door een Chinees bedrijf getraind. En daar hebben ze tjokvol nieuwe innovatie gestopt. Ja, het is toch echt een nieuw en bijzonder geval. Ja, en eigenlijk zou je het moeten zien. Dus je hebt chatgpt.com. En daaronder zitten de modellen van OpenAI, bijvoorbeeld GPT4o. Ja, de naamgeving van al dit soort bedrijven is verschrikkelijk. Wij kunnen er ook niks aan doen. Sorry voor dat. Maar zo moet je dat zien. Dus DeepSeek heeft DeepSeek versie 3. Net zo'n model als GPT4o. En waar nu zoveel over te doen is, is de DeepSeek. Versie 3. Ja, sorry. R1. En dat is een reasoning model. Zou je kunnen uitleggen wat is het verschil tussen een reasoning model en zo'n standaard taalmodel? Ja, ik denk dat ik dat het beste uit kan leggen aan de hand van een voorbeeld. Als je chatgpt.com, als je daar vraagt om een rekensom voor je uit te rekenen, dan zal die in heel veel gevallen een heel rare antwoord geven. Als je 14 en 16 appels bij elkaar wil optellen, dan zal die 35 of zo roepen. Is heel vaars. Dat je denkt, kan dat dan? Maar als je hem vervolgens vraagt, doe dat nou eens stap voor stap. Ga dus eens reasonen, nadenken. Dan gaat hij dat beredeneren. Nou ja, beredeneren tussen aanhalingstekens. En dan komt hij in heel veel gevallen wel met het goede antwoord. En wat hebben ze nou gedaan met DeepSeek-V3-R1? Die hebben ze speciaal getraind om dit soort taken uit te voeren. Dus die is heel erg goed in verhaaltjes sommen volgen, wiskundige redenaties, natuurkundige redenaties te volgen. Ja, dat is toch wel heel anders dan GPT-4o. Als je het zou moeten vergelijken met wat meer bekende modellen die mensen gebruiken. Op chatgpt.com kun je bijvoorbeeld kiezen voor o1 of o3. Dat zijn dus ook reasoning modellen. Die doen dat ook. Ja. En wat ik best wel fascinerend vond, is dat je bij die DeepSeek, bij dat reasoning model, dat je de zogenaamde denkstappen, eigenlijk de promptverbetering is het meer, dus de stappenplan die die uitgenereert, dat je die kan zien in tegenstelling tot de o1 of de o3 modellen van OpenAI. Die houden dat heel erg tegen de borst. In het begin was het zelfs zo dat als jij als gebruiker die reasoning, of dat stappenplan wilde achterhalen, kon je zelfs je account ingetrokken worden. Zo erg zaten ze erop dat ze dat geheim wilden houden. Bij DeepSeek kan je dat volgen. En wat ik daar heel erg mooi aan vond, is dat je precies ziet in dat stappenplan van, hé maar, begrijpt die de prompt? Gaat die de goede kant op? En als dat niet zo is, kan ik bijsturen? Ja, je kan dan echt naar één specifieke stap ook verwijzen. Kun je zeggen, hé, ik zie dat je op deze en deze plek, soms kun je verwijzen naar een nummer van de stap zelfs, zie ik dat je dat doet, maar dat klopt eigenlijk niet. En dan zegt hij, oh, sorry. En dan gaat hij weer opnieuw nadenken en dan corrigeert hij dat plan ook weer. En dan vaak komt hij wel op de goede plek uit. Ja, dat vond ik zelf ook wel heel erg opvallend. Ik vond dat, een tijdje geleden is die o1 uitgekomen en o3, vond ik dat ook heel irritant dat je dat niet kon zien. Ze hebben ook bijna mijn account afgesloten omdat ik dat per se wilde uitzoeken. Ja, dat is gewoon, ja, dat is toch wel vrij jammer, want juist als je die redenatie kan corrigeren, dan krijg je gewoon betere resultaten. Ja, en nou is er ook heel veel te doen om, dat gezegd wordt, het trainen van het model, vooral van die V3 en die V3-R1, dat dat zoveel goedkoper is dan wat OpenAI of Anthropic doet. Dus in de paper geven ze ook aan dat ze ongeveer 5,6 miljoen dollar hebben besteed voor het trainen van dat model. Laten we het daar eens over hebben. Laten we eens, voordat we beginnen bij dat bedrag, hoe kan het nou dat zij zo'n stap hebben gemaakt dat het ook daadwerkelijk goedkoper is? Want dat is wel een feit. De vraag is of het ook die 5,6 miljoen is. Maar laten we beginnen met, want dat hebben we uitgezocht. Hoe kan het nou dat het zoveel goedkoper zou kunnen? Wat mij het meeste daaraan opviel, want ik ben echt in de details gedoken, de wiskunde, de trainingsprocessen, van hoe doen ze dat nou? Dat zijn er behoorlijk wat trouwens. Het zijn allemaal kleinere innovaties geweest die bij elkaar opgeteld ervoor zorgen dat je een flinke slag maakt. En dat begint al bij de trainingsdata. Dat is de eerste stap al waar zij het slim hebben aangepakt. Wat zij namelijk hebben gedaan, zij hebben met een beperkte dataset, die ze heel erg goed hebben uitgezocht, hebben ze vervolgens synthetische data erbij gegenereerd, om daarmee dan het pretrainingsstuk te doen. En voor de mensen die niet in een neurale netwerk zitten, het trainen van dit soort modellen gebeurt eigenlijk in twee hele grote fases. Pretraining en posttraining, waarbij pretraining zoveel is als ik pak een stuk tekst, een zin, en dan ga ik één woord, dan pak ik Tippex, de ouderwetse Tippex van vroeger, en die veeg ik weg. En dan vraag ik aan hem, doe dat ene woord even weer terug. Voorspel dat ene woord. Ja, dan vul die even weer in, en als die dat dan goed doet, dan geef je een positieve beloning, en dan doet die het beter. Wat je hier dus ziet, is dat daar heb je normaal gesproken gigantische hoeveelheden data van dat. Dan hebben we het over triljoenen, trillions of tokens. Dat zijn biljoenen tokens in het Nederlands. Maar bij DeepSeek, hebben zij daar eigenlijk iets heel slims gedaan. Dan hebben ze gezegd, we pakken een kleine dataset, en vervolgens pakken wij de grote broer, GPT-4o, en dan vragen we aan de GPT-4o, aan de hand van onze kleine dataset, genereer nou eens meer. Dat noemen ze knowledge distillation. Dus ze hebben eigenlijk GPT-4o laten praten, en daar hebben ze dat model mee getraind. Maar dat alleen al op zichzelf, is een hele mooie innovatie, die al veel vaker wordt toegepast, in open source modellen. Dus die zul je vaker tegen gaan komen. De andere truc die ze hebben gedaan, op dit moment mogen er geen high-end chips worden verkocht aan China. Dus de allernieuwste GPU's, die we in Europa en Amerika mee kunnen trainen, van Nvidia, die worden niet verkocht aan China, want dat mag namelijk niet. Zij zijn daardoor gedwongen om met oudere hardware, minder complexe chips te rekenen. En dat hebben ze heel slim gedaan. Ze hebben bijvoorbeeld ervoor gezorgd, dat ze vier keer meer getallen, in dezelfde hoeveelheid geheugen kwijt kunnen. Hoe kan dat? Want het geheugen is het geheugen. Ja, alvast waarschuwing, dit is echt heel erg technisch, dus ik zal het heel kort houden. Maar normaal gesproken, zijn neurale netwerken van binnen, worden die wiskundig uitgedrukt als matrixen, dus tabellen eigenlijk, met floating point getallen. En dat zijn getallen met 32 bits. Dus 32 posities in dat getal kunnen we aangeven, wat dat getal eigenlijk betekent. Dus je hebt eigenlijk 32... Eenden en nullen. Ja, getallen achter de komma eigenlijk. Ja, daar kun je het wel mee vergelijken. Dus die zijn heel precies. En dat is ook nodig, omdat taal nou eenmaal heel complex is. Maar, wat blijkt nu, dat als je zoveel miljard verschillende getallen bij elkaar hebt, dan kun je ook die precisie wel een beetje laten zakken. Dat doen ze al. Nvidia, die heeft op dit moment 16 bitjes in gebruik, in heel veel gevallen. Open in Ja, je maakt daar ook gebruik van. maar je kan ook naar 8. En dat is nog weer de helft kleiner. Dus je kan, ja, in totaal ten opzichte van de volledige breedte die je daarvoor had, vier keer zoveel data kwijt. En dat scheelt gewoon heel erg. Dus dat betekent dat je uiteindelijk getrainde model ook daadwerkelijk kleiner wordt? Die, nou, dat hoeft niet per se. Daar hebben ze ook wel weer een trucje op toegepast, om uiteindelijk toch weer die precisie te krijgen die je nodig hebt. Dat noemen ze dan weer opschalen. Ja. Maar in principe wordt die kleiner. Ja, je kan ook met minder parameters toe door deze truc. Ja. Dus je moet rekenen dat GPT-4o een paar biljoen parameters heeft. Terwijl DeepSeek heeft de 685 miljard daar in die buurt. Nou, dat is toch wel een heel stukje kleiner. Dat is een heel stukje kleiner, ja. En dat is dus ook één van de redenen waarom dus het trainen goedkoper is. En waarom uiteindelijk ook het draaien van het model ook goedkoper is. Gewoon omdat die kleiner is, minder hoeft te rekenen. Dus de rekenkracht wordt gewoon minder. Ja. Ja. Het leuke is, ze hebben eigenlijk een opeenstapeling gedaan. Want wij noemen het nu innovaties. Maar eigenlijk waren het allemaal al bestaande technieken. En de grote innovatie is dat zij als een spekkoek, laagje op laagje van bestaande technieken, dat zij die allemaal gebruikt hebben. En daardoor het kleiner hebben kunnen maken. Heb je nog een voorbeeld van een van die laagjes? Ja, absoluut. Kijk, omdat zij dus beperkt zijn in de middelen, zij hebben minder chips, minder geld ook om daaraan uit te geven, hebben zij ook, zelfs tot op netwerkniveau, hoe de videokaarten met elkaar praten, hebben zij ook... Ja, want die zijn allemaal aan elkaar geknoopt. Het zijn allemaal gestapelde GPU's, het zijn speciale chips, zeg maar, om die berekeningen te doen. Die stapelen ze letterlijk. Ja, dus je moet je voorstellen dat zo'n plek waar ze dit bouwen en trainen, dat is, zeg maar, ja, gewoon allemaal pizzadoos, hoge machines op elkaar gestapeld, racks en racks achter elkaar, in een grote fabriekshal feitelijk. Dat is waar we het over hebben. En die moeten allemaal met elkaar communiceren. En normaal gesproken is er dus één centrale computer in die hele fabriek die bepaalt hoe dat proces van het trainen loopt. En hij doet dan taakverdeling, dus hij zegt dan vervolgens van, nou, ik heb allemaal parameters bedacht, allemaal getallen, 32 bitjes of 8 in dit geval. En die moeten allemaal verdeeld worden, zodat iedereen een klein stukje gaat maken van het taalmodel. En daarna, als die allemaal een klein stukje hebben uitgerekend, dan komt het allemaal weer op de centrale plek terug. Dat is ontzettend duur. En dat veroorzaakt ontzettend veel netwerkverkeer. Daar is Netflix helemaal niks bij, bij de hoeveelheid data die we dan genereren. Maar wat je ook kan doen is dan zeggen, hé joh, praat even met je buren. Dat zie je ook in een klaslokaal. Als je als leerkracht alle leerlingen vraagt om iets uit te rekenen en dan met z'n allen het antwoord te roepen, dat gaat niet. Maar als je nou zegt, ga nou eens met z'n tweeën praten en wissel dan het antwoord uit, dat is heel efficiënt. En dat doet DeepSeek dus ook. Die hebben groepen van computers gemaakt met GPU's en die praten onderling. En uiteindelijk weet iedereen van elkaar wat er gaat gebeuren. Maar dat is wel een heel stuk efficiënter. Dus het is weer zo'n innovatie. Ze hebben daarna gekeken en gedacht, dat kan wel wat slimmer. En dat helpt. Ja, mooi. De kosten flink naar beneden. Wat ik ook een hele mooie vond, is dat de taalmodellen nu worden heel veel met wat genoemd wordt reinforcement from human feedback getraind. En dat wil zeggen dat er heel veel mensenwerk zit. Dus je geeft een prompt in een vraag aan zo'n taalmodel. Je krijgt antwoord terug. En de mens geeft aan of het een goed antwoord is of niet. Misschien heb je het zelfs wel eens voor je neus gehad, dat je twee antwoorden kreeg. En dat je moest zeggen van, de een bevalt me beter dan de ander. Dat is eigenlijk wat er gebeurt met dat reinforcement learning from human feedback. Het is als... Ik heb een hele tijd, in mijn vrije tijd, hondentraining gegeven. En wat je daar doet, is als je als een goed gedrag, als een hond goed gedrag vertoont, beloon je die bijvoorbeeld met een brokje of een aai. En datzelfde doen we eigenlijk wiskundige zien met zo'n algoritme. zeggen van, oh ja, maar als je het zo uitrekent, dan krijg je daar een zogenaamde beloning voor. Maar die beloningen kwamen dus de hele tijd van mensen. En wat hebben ze bij DeepSeek gedaan, is dat ze ook heel veel hebben geautomatiseerd. Dus wat ik interessant vond, is dat ze bijvoorbeeld wiskundige problemen, daar had je het net al over, wat ze daar gedaan hebben, is, daarvan weet je eigenlijk wat het antwoord is. die hebben ze niet door mensen laten interpreteren, de feedback, maar gewoon gezegd, ja, maar er is gewoon één goed antwoord. En als je daarop uitkomt, dan krijg je de beloning. Ze hebben eigenlijk best wel heel veel geautomatiseerd. Ja, en ook nog weer heel erg slim. Ja. Want ze hebben niet alleen punten gegeven voor het uiteindelijke antwoord, kwam ik gisteravond achter. Wat ze ook nog doen, is dat ze dan zeggen, ja, maar voor de tussenstappen krijg je ook deelpunten. En het is alsof je het model een wiskunde examen geeft, en tegen hem zegt van, nou, je krijgt ook, als je hem voor de helft goed hebt, de redenering heb je goed, maar het eindantwoord is jammer, ja, dan krijg je in ieder geval nog de helft van de punten. Oh ja, dat vond ik vroeger ook wel fijn. Dat scheelde ook wel. En daardoor, zeg maar, wordt de redenatie ook beter, want ze vinden het heel erg belangrijk bij DeepSeek, dat de redenatie, dat die niet alleen je helpt, maar dat die ook leesbaar is en begrijpelijk. Dus is het ook handig inderdaad, dat je al die tussenstappen, dat je die ook beloont, of juist zegt van, nee, dat is niet goed. Ja, en waar ze erachter kwamen ook was dat, door juist die tussenstappen te gaan belonen, werd die ook beter in het eindantwoord. Ja. Want uiteindelijk, dat is wel belangrijk om te blijven onthouden, het maakt namelijk niet uit welke innovaties je loslaten, het blijft stap voor stap woorden voorspellen. Ja. Dat is wat we doen. Alleen nu door heel slim daarmee om te gaan, met die reinforcement learning, kunnen we ervoor zorgen, dat die voorspelling heel intelligent wordt. Ja. Dat dat steeds, net een stukje beter wordt. Ja. Richting het einde. Ja, en naast die wiskunde, doen ze dat ook, hebben ze dat ook gedaan met code, dat vond ik ook wel slim. Dan zeggen ze van, ja, maar we hebben gewoon compilers. Dus als die code genereert, gaan we eerst eens kijken van, of die ook daadwerkelijk compileert. Dus zo hebben ze, dus dat je geautomatiseerd test, of überhaupt de code werkt. En dat is nog de vraag, of het hele goede code is of niet. Maar gewoon het feit, dat die werkende code, dat kan je gewoon automatiseren, in plaats van, dat je mensen daarnaar laat kijken. Dus dat proces, is daardoor ook heel veel goedkoper geworden. Ja. Absoluut. En, maar, dan houden we natuurlijk ook nog over, hebben we, hebben we, voor een deel, heb je te maken met vragen, antwoorden, die niet geautomatiseerd kunnen checken. Kan je daar wat over vertellen, hoe ze dat hebben gedaan? Ja, ik heb me daar niet heel erg in verdiept. Ik was vooral heel erg benieuwd, naar die wiskundige kant van het verhaal. Oh, nou, dan weet ik, dan zal ik je antwoord geven, op mijn gevraagd. Dat scheelt, dan worden we met z'n tweeën naar gekeken. Nee, wat daar gebeurt, is dat is echt wel een hele mooie stap, in dit verhaal. Dus jij hebt al uitgelegd, van, hoe ze zeg maar, door de cold start heen gaan. En dus, hoe start je nou? Dus met die, met die begindata. Dan is er dus die geautomatiseerde, reinforcement learning, stap is geweest. En wat ze vervolgens hebben gedaan, is gezegd van, ja, maar we gaan, een set creëren, van 600.000, voorbeelden, waarvan wij eigenlijk, het antwoord al weten. Oh. Maar, ze hebben een veelvoud, daarvan, regenereerd. Daar zijn mensen doorheen gegaan, dat noemen ze, ik pak het er even bij, rejection sampling, heet het dan. Oh ja. Dus je gaat dingen afwijzen. Dus ze zijn daar met de hand, zeg maar, doorheen gegaan, en gezegd dan, dit is geen goed voorbeeld, die wijzen we af, rejection. Dit is geen goed voorbeeld. En zo zijn ze, zeg maar, op die 600.000, hele goede, kwalitatief goede, voorbeelden gekomen. Ja, dus eigenlijk hebben ze heel erg geïnvesteerd, in veel betere data. Precies, wat zij snapte is niet, meer data is beter, betere data is beter. Ja, cool. En zo zijn ze met, ook weer, want 600.000, klinkt als heel veel, maar is natuurlijk relatief weinig, voor zo'n taalmodel, om daarop te leren. maar omdat het dus zo nette, gecureerde data is, krijg je weer, dus en een kleine model, beter, sneller. Ja, want als we één ding hebben geleerd, over wat OpenAI aan het doen is, die denken, op dit moment vooral, groter is beter. Ja. Het is het beetje, het Amerikaanse model. Maar, als we één ding hebben geleerd, over de afgelopen, nou, wij doen dit al 12 jaar ondertussen, dan is eigenlijk, dat datakwaliteit, boven alles staat. Als je dat maar voor elkaar krijgt, en er zit een duidelijk patroon in, want ja, dat moet dan wel, dan lukt het wel, om een goed model te maken, dat kun je zelfs, met hele kleine modelletjes, kun je heel goed werk leveren. Ja, nou, dat blijkt. Ja. Ja, en wat ze vervolgens hebben gedaan, want, dit zorgt eigenlijk, het zorgt eigenlijk voor, dat je heel goed wordt in, in die wiskunde, in, in code schrijven, in, in feitelijk, feitelijkheden, want die zitten dan in die, eh, bias daar gelaten, maar daar gaan we het straks nog wel even over hebben. Eh, maar ze wilden, dat reasoning model, wilden ze ook, dat die, zeg maar, een beetje algemene vragen, ook kan beantwoorden. Ja, precies. Dat je wel ook het creatief schrijven, bijvoorbeeld, kan doen, dat soort zaken. En daar hebben ze 200.000, ook weer, eh, maar, maar die hebben ze wel, zeg maar, met, met human feedback, hebben ze die hier samengesteld, om het model, of de data te verrijken, zodat die ook, creatief kan schrijven, bijvoorbeeld. Ja. nou, en dat, dat zorgde dus ook, ook dat is zo'n laagje van die spekkoek, van hoe kan het nou? En dat zijn allemaal stapjes, die ervoor zorgen, dat die goedkoper is. Ja, en wat ook wel goed is om hier nog te vermelden, we zeggen dus DeepSeek-V3, maar dat betekent dus ook al, dit is de derde generatie DeepSeek model, waar we het al over hebben. Dus deze mensen, die beginnen ook niet sinds gisteren, die zijn nou wel een hele tijd bezig. Ik weet niet precies hoe lang, dat kon ik niet af. Ja, ze zeiden een jaar, maar goed. Ja, misschien met de V3 variant, dat ze daar een jaar mee bezig zijn. Nee, nee, dat DeepSeq echt, vorig jaar is begonnen, dat ze toen de investeringen hebben gehaald, kapitaalinjectie, dat ze begonnen zijn met het trainen van modellen. Maar goed, zij staan natuurlijk wel op de schouders van, wat een Google, een Antropic, wat een OpenAI gedaan heeft. Dus dat moeten we niet vergeten. Ja, dat moet ook wel. Je begint niet vanaf nul. Maar goed, dus zo hebben we een heel aantal van die laagjes. En we zeiden al, ik denk dat je dit bedrag, Die heb je denk ik zo vaak gehoord. Daar moeten we denk ik een kleine kanttekening bij plaatsen. Ja, want toen ik in het paper ging lezen over dat bedrag, dan stond er een hele mooie uitleg onder. En die uitleg, zij hebben met equivalenten gerekend. Dat wil zeggen, ze hebben dus aangenomen dat een GPU huren, En ze hebben daar tegenover gezet, dat zij een behoorlijk fors getal, die ik niet meer uit mijn hoofd weet, aantal GPU hours erin moesten steken, om het te trainen. Dat zijn GPU hours op Blackwell GPU's. Dus de allernieuwste Nvidia GPU's. Het zat ergens in de 1,1 miljoen uur of zoiets. Ja, echt bizarre getallen waren het. Dus, ze hebben geen Blackwell GPU's gebruikt, want dat kan namelijk niet in China. Die zijn daar niet. Ze betalen ook echt geen 2 euro per uur voor een GPU huren. Maar, als je het zo omrekent, dan kom je dus op die 5,6 miljoen dollars, aan kosten die ze voor één trainingsrun hebben gedraaid. Dus, het zijn niet die echte getallen. Eén trainingsrun geloof ik ook echt niet, want we hadden het over die spekkoek aan innovaties. En ja, je kan nog zo goed zijn in programmeren, je doet het niet in één keer goed. Dus je moet wel een aantal keren moet je dit draaien. Dus laten we zeggen, dat ze wel een veelvoud hiervan hebben uitgegeven. Alleen, als je dit vergelijkt met OpenAI, dan zijn ze nog steeds heel veel goedkoper, omdat OpenAI moet ditzelfde patroon door. Dezelfde innovaties moeten ze doen. Gewoon vaker trainen. Je moet eerst uitproberen inderdaad, of iets werkt of niet. Daarom. Dus ja, die zijn gewoon veel duurder uit. Dus het is veel goedkoper. Ja, dat is één ding dat zeker is. We lazen ook nog een artikel van, nou moet ik zo'n naam naar boven halen. Dario nog wat, sorry daarvoor. de CEO van Anthropic. Oh ja. Dus die trainen natuurlijk ook dit soort modellen. En die gaf ook aan van, er wordt natuurlijk heel erg gekeken naar wat GPT-4o gekost heeft, omdat die, en die o1, zeg maar, dat die die benadert qua prestaties. En die zijn heel erg terecht, ja, maar dat is een beetje appels met peren vergelijken. want de stand van een jaar geleden, want daar hebben we het over, toen werden die modellen ontwikkeld, ten opzichte van nu, is niet een eerlijke vergelijking. Bij Antropic zei hij ook, hebben wij ook innovaties doorgevoerd. Ja, precies. Maar zei het trainen van hun zit nog, hij wilde er niet heel precies over zijn, maar in de tientallen miljoenen. Dus hij gaf wel aan, dus we zijn niet van 100 miljoen naar 5,6 gegaan, maar DeepSeek heeft wel serieus echt een stap gemaakt in dat het goedkoper is om te trainen. En dat is denk ik wel heel erg inspirerend. Nou, dat vind ik ook wel. Het is vooral heel inspirerend om te zien dat alle ontwikkelingen die de afgelopen jaar, we hebben het over een jaar ontwikkeling ook in papers, namelijk alle papers die genoemd worden door DeepSeek zijn van 2024. Dus dat betekent ook wel dat we behoorlijke snelheid hebben in research rondom dit onderwerp. En dat is heel mooi om te zien, dat dat al heel erg helpt om het goedkoper te maken. En ik vind dat ook heel mooi, dat we, ja, het is gewoon cool eigenlijk. Ja toch? Ja. Nou, en kijk, je vertelde al in het begin, we hebben een verschil tussen deepseek.com, die website, deepseek, het model, het taalmodel en het reasoning model. En het mooie is dat ze het taalmodel en het reasoning model hebben open source gemaakt, waardoor we het ook juist over die modellen nu hebben. en dat haalt ook een deel, zeg maar, van mogelijke privacyzorgen weg. Dus er wordt op social media, in de media zelf, wordt die deepseek.com en die modellen worden eigenlijk in één verstrengeld en het loopt allemaal door elkaar. Ja. Weet je, van welke problemen er eventueel zijn qua bias, qua privacy, dat soort zaken. Kijk, die privacyproblemen, die zitten aan die deepseek.com kant. Dus ik zou ook geen voorstander zijn om dat te gebruiken. Dan heb je gewoon te maken met Chinese wetgeving. Er is niet eens een privacy statement. Dus alles wat daarover gezegd is, klopt, nou, ik weet niet of alles klopt, maar veel klopt. Maar hij dat hoort bij deepseek.com. Ja, dat is echt wel heel erg belangrijk. Ik kwam op die website en dacht, oh, er is één voordeel. Ik heb geen cookie banner. Ja, dat soort dingen. Ja. Maar het mooie is, het model staat ook op Hugging Face. Dat is een plek waar zo'n beetje alle open source modellen beschikbaar zijn. Meta, met de Lama modellen, publiceert daar Microsoft. Andere Chinese modellen, je hebt nog veel meer Chinese modellen. We doen nu net alsof DeepSeek het eerste is wat uit China komt. Dat is niet zo. Maar dat betekent ook dat je dus zelf dit model kan draaien. Hebben wij ook gedaan. Ja, we hebben... Dit model hebben we dus op mijn machine thuis. Dus de Beast machine 2.0 noem ik hem. Dat is mijn tweede variant die ik hiervan heb. Daar heb ik hem gedraaid en dat ging best goed. Wat wel mooi is om daarover te vertellen is dat... Dus je hebt een hele grote variant. Die is echt mega groot. Daar heb je zes videokaarten voor nodig. Om hem te kunnen draaien. Ja, alleen draaien. Ik heb de kleinere variant geprobeerd van 13 miljard parameters. En dat ging heel prima. Daar was ik zeer over te spreken. In het Engels doet hij het echt heel goed. Hij is mooi vlot, ook op de videokaart. Dus dat zeker als je zelf dat wil gaan doen. Hij draaide heel goed op mijn MacBook M1. Dus die is van vier jaar geleden. Ja, dat is het voordeel van Apple hardware. Die kunnen dat echt wel heel erg goed zelfs. Dus ik denk als je nu gewoon een goede machine hebt. Op kantoor of thuis. Dan kun je hem gewoon zelf draaien. En wat ik dan van de week nog zag. Was dat er... Er is een applicatie. Jan heet die. En dat is een soort desktop GPT gebeuren. Daar kun je verschillende open source modellen instoppen. En die heeft een chat interface. En daar zit hij ook in inmiddels. Dus je kan hem één programma installeren, model downloaden en je kan hem lokaal proberen. Want ik zei net van al die privacy problemen die zitten bij deepseek.com. Waarom zitten die dan nu niet zeg maar als wij hem lokaal hebben? Nou, het model wordt dus op Hugging Face gepubliceerd. Dat is een website waar ze de gewichten van modellen opslaan. Kan je dan wat over zeggen? Wat zijn gewichten? Ja, een neuraal netwerk hebben we het hier dus over. Dat is een large language model. Die bestaat uit een stuk code die uitgevoerd moet worden om de wiskundige berekeningen te doen. En dan heeft die parameters waar ik het even eerder over had. Dat zijn eigenlijk de gewichten. Die hebben waardes. Dat zijn die achtbit getallen in dit geval. En dat is opgeslagen op Hugging Face. Verder zit daar niks in. Het zijn uitgerekende formules. Daar hebben we het over. Het is hartstikke statisch geworden. En daar zit ook geen code meer in. Er zit geen lettercode in zo'n model. De code die gebruikt wordt om het model te draaien is 100% transparant. Die staat namelijk ook op Hugging Face. Die kun je gewoon downloaden. Kun je zelf nakijken van wat staat er eigenlijk. En ik heb dus mijn wireless uitgezet op mijn machine om te kijken wat er gebeurt. En dan doet die het gewoon. En zonder wireless of netwerkkabel gaat natuurlijk helemaal niks naar het internet toe. Dus dat is goed. Maar daar kan ook niks ingestopt worden in gewichten. Dat die ergens code uitvoert. Of ik heb zulke rare doemscenarios. Weet je. Het is. Ja. Een model zeg maar kan alleen maar rekenen. Dat is het enige. Dat is alles wat het doet. Dus als je dat zelf lokaal draait. Heb je geen last van de privacy zaken. Het is zelfs zo. Bijvoorbeeld Microsoft biedt het nu in hun cloud diensten. Bieden ze ook dit model aan. Nou die hebben daar ook. Dus die kijken security wise. Kijken ze daarna. Dus die hebben gezegd. Het model is technisch veilig te gebruiken. Ja dat doen al die providers. Dus Microsoft biedt hem aan. Google biedt hem inmiddels aan op Google Cloud. AWS biedt hem aan inmiddels. Perplexity zelfs. Je kan hem echt overal inmiddels krijgen. Perplexity wist ik trouwens niet eens dat die het inmiddels ook al doen. Dat wordt gescand. Dat wordt allemaal nagekeken. Met de hand ook nog heel vaak. Dus je kan er vanuit gaan dat daar zit niks in. En bias. Ja dat is wel een hele mooie. Daar is ook heel veel over geschreven op social media natuurlijk. Ja dat zit er zeker in. In een hele obvious vorm. Hij kan alleen Engels en Chinees. Zodra je in de Nederlands begint is het ook klaar. Dan snapt hij er niks meer van. Want dan begint de Chinese tekens door erin te gooien bijvoorbeeld. Dat is de hang dus. Want bias komt in heel veel varianten voor. Maar dit is dus een vorm waarbij je zegt van. Oké. Hij heeft een sterke hang naar het Chinees en het Engels. Daar zijn ze heel transparant over. Staat in de technische beschrijving. Dat ze alleen Chinees en Engels kunnen. Daarnaast is er nog iets anders heel bijzonders aan de hand. Als je namelijk vraagt naar het plein van de hemelse vrede. Dan geeft hij in eerste instantie geen antwoord. Want dan zegt hij. Ja nee sorry. Maar daar wil ik het niet over hebben. En dat is natuurlijk wel opvallend. Dat bepaalde onderwerpen zijn echt off limits voor hem. Daar wil hij het niet over hebben. En dat zijn toch wel de gevoelige onderwerpen voor de Chinese overheid in dit geval. Ik heb het voor elkaar gekregen naar enig aandringen. Om dat toch over te laten praten. Dus het is niet zo dat hij die data niet gezien heeft. Alleen ja. Als jij daarmee te maken hebt. Dan is dat wel handig om te weten dat dat er ook in zit. Ja. En ik denk dat we vooral niet moeten vergeten. Dus geen enkel model zonder bias. Wij zijn gewend. En wij noem ik eventjes zeg maar de huidige gebruikers van dit soort taalmodellen. Om Amerikaanse taalmodellen te gebruiken. Of dat nou ChatGPT is. Of een open source model als Llama. Uiteindelijk is die heel erg getraind op westerse data. En krijg je daar het westers wereldbeeld. Krijg je daar terug. Terwijl ja logischerwijs als het vanuit China komt. Krijg je een Chinees wereldbeeld. Hopelijk komt er ergens ook een keer bijvoorbeeld een Afrikaans taalmodel. En daar zullen ook andere zeg maar cultuurverschillen in zitten. Een ander wereldbeeld zal daarin zitten. Ja en laten we wel eens. Dus ik zei net van als je er mee te maken krijgt. Maar in verre weg de meeste gevallen heb je hier geen last van. Tenminste in een zakelijke context niet. Dus als jij gewoon brieven moet samenvatten. Of gewoon creatief wilt schrijven. Dan blijf je daar toch al wel uit de buurt. Of een applicatie maken op basis van het taalmodel. Dan heb je het vaak helemaal niet over politieke vraagstukken. Of je moet misschien in de journalistiek zitten. Ja precies. Dan kan ik mij voorstellen dat je daar mee te maken krijgt. Maar wees je er in ieder geval bewust van. Dan kun je daar een keuze in maken. Precies. Nou zei jij van hij is niet in het Nederlands te gebruiken. Dat wil ik een beetje nuanceren. Ik heb daar een aantal dingen in gedaan. Een van de dingen die ik geprobeerd had. Bijvoorbeeld is. Ik had drie afleveringen rondom AI leiderschap. Die zijn ook allemaal uitgekomen. En er is gevraagd of ik een vijf minuten video wilde maken over dit onderwerp. Nou je moet je voorstellen. Zeg maar de tekst die er ligt gaat dan van. Het zit ergens tussen de 25 en 30 minuten. Dus dat is een heel mooi. Mooie case voor een reasoning model. Dus dat gaat wat verder dan. Maak je hier een samenvatting van. Dus je zegt dan van ja ik wil de belangrijkste punten erin. Dus weet je voor o1 of voor zo'n DeepSeek reasoning model was dat echt een mooie case. Dat ging eigenlijk best wel goed. Zelfs in het Nederlands. Dus ik kreeg ook echt wel Nederlandse teksten eruit. Maar net als wat jij had met Chinese tekens. Kreeg ik wat Griekse letters erin. Bijvoorbeeld. Dus weet je zo'n teken van delta. In plaats van de D. Ja waarom? Geen idee. En wat mij opviel is. Want wat zo'n taalmodel doet. Het is eigenlijk niet eens woord voor woord. Voorspellen. Het is delen van woorden die hij voorspelt. Dus daar zaten hele rare dingen in. Dus in plaats van iets in de logistiek. Zei hij logities. Waarbij ties ook ties was. Dus het werd een hele rare verbastering. En in de context kon ik wel lezen dat het eigenlijk logistiek zou moeten zijn. Maar zo had hij best wel. Zeg maar laten we zeggen. Een op de vijftig woorden. Wat best wel veel is in zo'n ding. Had hij woorden verbasterd. Maar hij deed het wel. Maar ik zou het zelf niet gebruiken. Omdat het gewoon te veel fouten maakte. Dus ik ben ook overgestapt naar o1. Daar heb ik het gedaan. Die deed prima. Maar het was wel een mooie case om te testen. Ja. Ja. En ik denk dat daar ook een beetje mijn eigen beroepsdeformatie in naar voren komt. Dat ik denk van. Als die één op de vijftig tokens of zo rare dingen begint te doen. Dan begin ik mij toch wel. Dan zit die onder de grens zeg maar. Van wat mijn gebruikers prettig vinden. Maar het reasoning stuk werkt dus nog steeds. Blijkbaar zit er voldoende Nederlandse data in de dataset. Om dit mogelijk te maken. Ja. Zeker. En wat ik op een gegeven moment ook gedaan had. Dus de input was Nederlands. En vervolgens gezegd van. Weet je. Schrijf gewoon in het Engels. Oh natuurlijk. En dat deed hij echt heel veel beter. En dat vond ik wel weer bijzonder. En toen dacht ik van. Nou ja weet je. Dan vertaal ik het later wel. Maar op een gegeven moment was het zo'n gedoe. Ik had ook gewoon een tijdsdruk. Dus ik ben op een gegeven moment over gegaan. Ik denk van. Oh ja. Test is even over. Ik moet even in de operationele modus. Heb jij eigenlijk nog andere ervaringen opgedaan? Tijdens dat. Ja nou. Is dat lokaal draaien. Ik zit. Ik zit natuurlijk heel erg diep in de techniek. En ik ben bezig met een nieuw boek te maken. En ik dacht. Oh dat is leuk. Dan ga ik ook even zitten knutselen. Ik heb een hele bijzondere truc uitgeprobeerd. Namelijk. Ik ben helemaal op de reasoning gaan zitten. Ik heb alles wat tekst moest genereren. Heb ik met GPT-4o gedaan. Maar. Als het gaat om een plan bedenken. Om die tekst te genereren. Dan had ik die R1 ingezet. Dus. In mijn geval wilde ik proberen. Om een hoofdstuk voor mijn boek. Te genereren. Heb ik een keer eerder geprobeerd. Is niet heel succesvol. Maar. Ik was toch benieuwd. Dan had ik in R1. Had ik gezegd. Van schrijf nou. Is een hoofdstuk. Over een topic. Waar ik mee bezig ben. En maak er eerst eens even een plan voor. Nou. Dan komt hij dus terug. Dat hij eerst een outline gemaakt moet worden. En dan wil je key talking points. Wil je hebben. En dan moet er aan het einde. Samenvatting. En een introductie. Enzovoort. Enzovoort. Dus best wel een structuur. En vervolgens zei ik. Nou. Bedankt voor dit plan. Ik ga nu even naar GPT-4o. En GPT-4o vroeg ik. Om ieder stapje als losse prompt. Uit te voeren. Oh cool. En dat werkt. Dat is echt fantastisch. Dat komt niet terug in mijn boek. Want uiteindelijk moet je toch nog heel veel reviseren. Maar het is wel. Ja. Dat toont ook wel aan. Hoe krachtig dit kan zijn. En hoe slim je eigenlijk meerdere taalmodellen ook weer kan combineren. Dus lukt het niet met het een. Dan kun je het altijd nog met het ander doen. Ja. Dat lijkt me een hele mooie. Ja. Ik denk niet dat heel veel mensen gewoon zomaar dit gaan doen. Wat ik nog vergeten was. Want je kan dit soort dingen ook echt zelf proberen. Het klinkt heel technisch om het lokaal te zetten. Maar dat valt wel mee. Er is een tool die heet Ollama. En die kun je gewoon installeren. Gewoon op een Windows machine. Op een Mac. En dan kan je vrij eenvoudig. Dat model kan je downloaden. En dan kan je zelf kiezen. Of je in een DeepSeek. Of een Llama. Welke versie kun je downloaden. Dan heb je zeg maar. Heb je die lokaal staan. Dan heb je nog wel iets nodig. Zodat je ermee kan chatten. Jij gaf net. Kan je nog een keer noemen? Ja. Jan heet die tool. Echt? J-A-N? Ja. Oké. Dat is zo simpel. Dat is zo simpel. Dat is zo simpel. Dat kan het zijn. Ik heb Open WebUI. We zullen de linkjes ook in de show notes opnemen. Ik heb Open WebUI gebruikt. En dat ziet er nagenoeg hetzelfde uit. Als je user interface van ChatGPT. En dan kies je gewoon dat model wat Ollama ter beschikking stelt. Dus het is iets meer aan elkaar knopen. Maar het is ook niet dat je dieptechnische kennis nodig hebt om dit voor elkaar te krijgen. Dus ik moedig je ook aan om dit gewoon eens te doen. Dus als je de hardware ergens ter beschikking hebt. Doe het eens. Proef eraan. Kijk eens weet je. Ja. Werkt het model voor jou wel of niet? Ja. En de gouden tip hier is ook wel. Dus we zeiden al van je hebt die DeepSeek en andere modellen in grotere varianten en in kleinere varianten. Heb je nou helemaal geen videokaart tot je beschikking. Dus heb je een huis, tuin en keukenlaptop. Dan moet je een heel klein model kiezen met 3 miljard parameters. En dan nog eens de snelheid wel redelijk slecht hoor. Maar dat kan. Heb je een videokaart tot je beschikking. Dan kun je al snel tot die 13 miljard komen. En zul je ook merken dat de snelheid wat hoger ligt. Dus zelfs al heb je niet helemaal de ideale situatie. Het gaat wel werken. Ja precies. En... We hebben het net over die kosten gehad. Van dat zij dat echt wel hebben teruggebracht. Belangrijk daarvan is ook nog wel van de investering. Om uiteindelijk zeg maar zoiets helemaal op te zetten. Is echt nog wel een honderden miljoenen investering. Voordat je dit soort dingen kan doen. Maar ik denk dat... Ik weet niet of het echt op korte termijn is. Maar misschien op middellange termijn. Gaat er natuurlijk wel iets veranderen. Ten opzichte van... Want eerst was het natuurlijk alleen Big Tech. Die dit kon maken. Want dan hadden we het over een multimiljarden investering. We gaan nu naar misschien wel onder de miljard. Dus dat betekent dat... Ook bedrijven die onder de Big Tech zitten. Deze stap kunnen gaan nemen. En misschien binnen een aantal jaar. Zelfs... Nou wel multinationals. Maar ook modellen kunnen gaan bouwen. En ter beschikking gaan stellen. En ik denk dat dat ook nog wel een hele grote verandering is. Waarom het zo belangrijk is. Maar dat wij nu DeepSeek behandelen. Ja dat denk ik ook. Vanmorgen las ik zelfs nog een artikel. Dat er nu een samenwerkingsverband ontstaat. Tussen universiteiten en bedrijven. Om dus meer van dit soort modellen te gaan trainen. En dat vind ik dan wel interessant. Want dan kom je in het publieke domein terecht. Omdat universiteiten natuurlijk ook worden gesponsord door overheden. En dergelijke. Ja en dan breekt het speelveld wel open. Er gaan dan wel dingen gebeuren. En ik denk dat dat ook heel fijn is. Want uiteindelijk... De OpenAI's van deze wereld. De Googles. Die moeten nu ook. Wat je ziet is. OpenAI heeft heel snel in een keer. Die o3. Dat model. Dat reasoning model. Hebben ze ook live gezet. Dus we dachten van. Ho. Weet je. Ja wacht eens even. Hier is wat aan de hand. Dus. Ik weet niet of wij het over twee, drie jaar nog over DeepSeek hebben. Maar dit is wel een kantelpunt. In wat het betekent. Voor big tech. Voor de investeringen. Voor het hele idee van. We moeten nog meer data. Meer, meer, meer. Daar zal vanaf nu anders naar gekeken worden. En ik denk dat dat zeg maar de allergrootste. Nou ja. Sprong vooruit is. Waarom het zo interessant is. Om juist naar deze. Dit model. Wat zij gedaan hebben. Om daar naar te kijken. Ja absoluut. Dat lijkt me een hele mooie afsluiter. Willem. Ja dankjewel. Ik heb de afgelopen weken wel genoten. Zeg maar. Om hier zo diep weer in te duiken. Mocht je nog vragen hebben. Ik kan me zo voorstellen dat er vragen zijn. Waar wij niet opgekomen zijn. Laat ze ons dan even weten. Via. Nou je vindt ons heel makkelijk via LinkedIn. Geef even een comment onder de post. Dat we deze hebben aangekondigd. Je kan tegenwoordig via Spotify. Kan je zelfs vragen stellen. Opmerkingen plaatsen. Dus doe dat gerust. Komen we er zeker op terug. Willem. Dankjewel. Graag gedaan. En ja. Abonneer je via je favoriete podcast app. Dan mis je geen aflevering. En dan krijg je automatisch een seintje. Als er weer een nieuwe aflevering beschikbaar komt. Eigenlijk altijd op de maandag. Altijd op de donderdag. Tot de volgende keer. [Muziek]