Is jouw kennis over AI al op temperatuur? Ontdek het geheim van LLMs

Hoi, welkom bij een nieuwe aflevering van AIToday Live waar we vandaag op een toegankelijke manier uitleggen hoe Large Language Models, of LLM's, technisch werken. Daarom leg ik je vandaag de techniek van Transformers uit. Als we de technologie goed begrijpen, weten we namelijk wat we mogen verwachten van LLM's en weten we wat deze wel en niet kunnen. Dus als je je ooit hebt afgevraagd hoe Chad, GPT en soortgelijke AI's precies hun kunstje doen, blijf dan zeker luisteren. Laten we beginnen bij de basis. Wat zijn Large Language Models? Eerst maar eens even kijken naar de term zelf. Een Large Language Model klinkt misschien intimiderend, maar eigenlijk is het een stuk simpeler dan je denkt. Zie je het als een super intelligente versie van de tekstvoorspelling die je gebruikt op je smartphone, maar dan met veel meer data en rekenkracht erachter. Deze modellen kunnen teksten genereren, vragen beantwoorden en zelfs creatieve verhalen schrijven, maar daar hoef ik je waarschijnlijk niet meer te vertellen. Stel je voor dat je een vriend hebt die zoveel boeken, artikelen en webpagina's heeft gelezen dat hij bijna overal wel iets over weet. Die vriend weet misschien niet alles perfect, maar kan goed gokken wat je volgende vraag zal zijn of wat een logisch antwoord is op jouw vraag. Dat is eigenlijk wat een LLM doet, maar dan op veel grotere schaal. Maar hoe leert zo'n Large Language Model? Het is net een enorme bibliotheek met miljoenen boeken. En de Large Language Model wordt getraind door al deze boeken te lezen, maar in plaats van dat het elk boek van begin tot eind leest, leert het meer patronen in de tekst te kennen. Het model leert bijvoorbeeld dat op de zin "de hond ligt in de" vaak het woord "mand" volgt. Deze patronen helpen het model om woorden te voorspellen en zo zinnen te vormen die grammaticaal correct zijn en logisch klinken. Om je een beeld te geven. Stel je maakt een puzzel, maar je hebt alleen de randstukjes. Door de patronen in de randstukken te herkennen kun je een hele goede gok doen waar de binnenstukken moeten komen. Een LLM doet iets vergelijkbaars. Hij begint met de randen, de meest duidelijke patronen, en vult de rest in op basis van wat het heeft geleerd. Nu vraag je je misschien af, hoe zet een LLM al die kennis om in zo'n slimme tekstgenerator? Hier komt het concept van transformers om de hoek kijken. Transformers zijn als een soort van super-brain voor een Large Language Model. Ze breken tekst op in kleinere stukjes die we tokens noemen en verwerken die in een bepaalde volgorde. Elke token krijgt een klein beetje context mee van de tokens ervoor en ernaar waardoor het model begrijpt wat de tekst betekent. Laat ik dat uitleggen met een analogie. Stel we krijgen een geheim bericht waarin de woorden door elkaar staan. Maar elke keer als je een woord leest probeer je de betekenis te achterhalen door te kijken naar de woorden ervoor en ernaar. Dit is precies wat een transformer doet. Het kijkt naar de omringende woorden om de juiste betekenis te geven aan elk woord en om de tekst als geheel tussen aanhalingstekens te begrijpen. Een transformer werkt in lagen vergelijkbaar met hoe je in een videogame steeds moeilijkere levels tegenkomt. Hoe dieper je in het model gaat, hoe complexer het verbanden worden die het legt tussen deze woorden. Daardoor kan het model niet alleen simpele zinnen begrijpen, maar ook complexe teksten die vol nuances zitten. Wat een LLM zo krachtig maakt is dat het context kan gebruiken om betere antwoorden te geven. Dit betekent dat het model onthoudt wat er eerder in een tekst of gesprek is gezegd en deze informatie gebruikt om relevantere en zinvollere antwoorden te geven. Als je bijvoorbeeld vraagt wie was de president van de VS in 2020? Hij vraagt later in het gesprek en wat deed hij tijdens de pandemie? Dan begrijpt het model dat hij verwijst naar dezelfde persoon. Donald Trump. Context is dus cruciaal omdat het ervoor zorgt dat de antwoorden die een large language model geeft niet alleen correct zijn, maar ook eerder passen bij de informatie die eerder in het gesprek is gegeven. Dit kan de LLM doen omdat het zowel met woorden in eerdere zinnen als met woorden in latere zinnen rekent. Rekent? Vraag je je misschien af? Ja, een LLM noemen we een taalmachine, maar is feitelijk een grote rekenmachine. Het zetten woorden die we invoeren in het large language model om in getallen. Hoe? Zo'n large language model heeft als het ware een woordenboek en het eerste woord krijgt het getal 1, het tweede woord het getal 2, enzovoort enzovoort. Die getallen gaan in een zogenaamd 'neuraal netwerk' en deze vormt de basis van LLMs. Een 'neuraal netwerk' bestaat uit lagen van knooppunten, neuronen worden die genoemd, die elk een stukje informatie verwerken door een berekening uit te voeren. De uitkomst van één laag wordt de invoer voor de volgende laag, waardoor de informatie steeds complexer en gedetailleerder wordt. Weet je nog, de game levels, waarbij je iedere level steeds complexer wordt? Maar hoe komt dan het volgende woord uit dat large language model? De berekeningen van de grote rekenmachine leiden tot een flinke lijst aan getallen. Misschien zou je verwachten dat er één getal uitkomt en dat dit getal dan omgekeerd opgezocht kan worden in het large language model woordenboek. Maar dat is het niet. Het neurale netwerk levert namelijk een lijst van mogelijke getallen. Zeg woorden op met een score van waarschijnlijkheid dat dit het volgende woord is. En daaruit kan het large language model een woord kiezen als het volgende woord en haalt het hele spel zich weer om te komen tot weer een volgend woord. En die lijst van mogelijke volgende woorden maakt het gebruik van large language models zo interessant. Want een fascinerend aspect van hoe een large language model variatie geeft in de volgende woordvoorspelling is met een temperatuurinstelling. En nee, dat heeft niets te maken met de temperatuur in de kamer, maar met een instelling in het model die bepaalt hoe, ook weer tussen aanhalingstekens, creatief of conservatief het model is bij het genereren van tekst. Temperatuur is een instelling die bepaalt hoe willekeurig het model mag zijn in het kiezen van het volgende woord uit die lijst van getallen woorden die we als uitvoer hadden. Een lagere temperatuur zorgt ervoor dat het model minder variatie biedt en vaker voor de meest waarschijnlijke woorden kiest. Stel, we hebben ze op volgorde van het meest waarschijnlijk naar het minst waarschijnlijk gesorteerd, dan kiest hij een beetje uit de bovenkant van de mogelijke woorden. En dit leidt dan tot voorspelbare en best wel consistente antwoorden. Dus stel je voor dat je wilt een tekst schrijven en je wilt ook op save spelen. Dan kies je dus voor een lagere temperatuur instelling zodat het voor de meest gebruikelijke woorden wordt gekozen. Aan de andere kant, als de temperatuur hoog is ingesteld, wordt het model meer wat mensen dan noemen creatief. Maar wat dat betekent is dat het dan kiest voor minder voorspelbare woorden. Dus het mag uit een veel grotere lijst, een veel grotere set moet ik zeggen, als we die van boven naar beneden hebben, mag hij nu in een keer nog veel lager gaan in de lijst van minder waarschijnlijke woorden. Dat kan leiden tot meer gevarieerde en soms juist onverwachte antwoorden. Dus de temperatuurinstelling, welke je kiest, hangt af van het doel van je interactie. Als je betrouwbare feitelijke informatie wilt, zou je lager geschikt zijn. Maar als je juist op zoek bent naar creatieve ideeën of unieke teksten, kan een hogere temperatuur nuttig zijn. Met deze kennis in het achterhoofd kunnen we vragen nu beter beantwoorden, zoals; zijn large language models slim? Wat zijn de beperkingen van large language models? En waarom is dat zo? Want je hebt misschien wel eens gehoord dat mensen zeggen dat AI's zoals ChatGPT slim zijn. Maar is dat ook echt zo? Hmm, ja, nee. Slim zijn betekent vaak dat je zelfstandig kunt nadenken en beslissingen kunt nemen. Maar een LLM is zoals we gezien hebben, een krachtige machine die heel snel en efficiënt kan rekenen en patronen kan erkennen. Het is een tool die goed is in het voorspellen van wat een goede reactie zou kunnen zijn op basis van alles wat het heeft geleerd. Een LLM heeft geen eigen wil, geen eigen intentie. Het probeert simpelweg de meest waarschijnlijke volgende woorden te voorspellen. En ze hebben natuurlijk ook beperkingen. Een probleem is dat het model niet altijd feitelijk juiste informatie geeft. Maar met wat we tot nu toe gezien hebben is dit best wel logisch toch? Het rekent de kans van een volgend woord uit. En afhankelijk van de instelling kan het kiezen voor minder waarschijnlijke woorden. Het is een opeenstapeling van kans op kans op kans. Zinnen die eruit komen zijn dan grammaticaal correct, alleen niet feitelijk juist. Het neurale netwerk heeft gerekend met de context, maar begrijpt deze niet. Samenvattend kunnen we zeggen dat LLM's zoals ChatGPT, echt krachtige technologie, die op een in die zin slimme manier met taal omgaan. Ze maken gebruik van complexe architecturen zoals transformers, een neurale netwerker, om zinnen te begrijpen, te genereren en aan te passen op basis van context. Waarbij de temperatuurinstelling een belangrijke rol speelt in hoe conservatief of creatief het model is in zijn antwoorden. Of het kiezen van het volgende woord. En hoewel er nog steeds uitdagingen en beperkingen zijn, biedt deze technologie natuurlijk enorme mogelijkheden voor allerlei toepassingen. Maar dat hoef ik de meeste mensen niet meer te vertellen. Bedankt weer voor het luisteren naar deze aflevering van AIToday Live. Als je meer wilt weten over achtergronden, over de podcast en wat er aan gaat komen, dan kun je je aanmelden voor een hele leuke nieuwsbrief die maandelijks uitkomt. Dank je wel weer voor het luisteren! [Muziek]