Context engineering: de onzichtbare motor achter betrouwbare AI

Hoi, leuk dat je weer luistert naar deze korte aflevering van AIToday Live. Mijn naam, Joop Snijder, CTO bij Aigency. En picture this, Barcelona 2025. Je ziet jezelf een reis maken door deze prachtige stad. Je hebt een overzicht met bezienswaardigheden, restaurants, activiteiten. De mooiste plekken om over de stad uit te kijken. En het meest geweldige, je hebt deze route uit laten stippelen door een AI-assistent. Maar er is één probleem. De AI weet niet dat je rolstoelgebonden bent, dat je vegetariër bent of dat je vorige week al in Barcelona was voor je werk. Het resultaat een volledig irrelevant advies. En dit is precies waarom context engineering misschien wel het belangrijkste onderdeel van AI ontwikkeling is geworden. En toch verwarren veel mensen het nog steeds met prompt engineering. Daarom vertel ik je vandaag over context engineering. Want zonder goede context kan de beste AI agent ter wereld niets voor je betekenen. Maar goed, laten we eerst dan beginnen bij wat is context engineering eigenlijk? Deze context engineering, het is wel veel van herhalen van dit woord, maar goed, daar gaat het vandaag ook over. Het gaat veel verder dan een slimme vraag stellen aan ChatGPT. Het is het ontwerpen en bouwen van complete informatiesystemen die AI modellen precies de juiste informatie geven op het juiste moment. Het zorgt ervoor dat AI systemen niet alleen weten wat ze moeten doen, maar ook beschikken over alle informatie die ze nodig hebben om het goed te doen. Met context engineering bouw je dynamische systemen die informatie uit verschillende bronnen samenbrengt. Dat kan zijn gebruikersinput, gespreksgeschiedenis, externe databases, daar data uit, tools die je ter beschikking stelt, APIs, programmeren interfaces naar SaaS producten. En die worden allemaal georganiseerd en gepresenteerd op het moment dat de AI ze nodig heeft. Het is een holistische benadering die zich constant aanpast aan veranderende omstandigheden. Dat is een veranderende situatie moet ik zeggen. Maar als we het hebben over deze vorm van engineering, dan moeten we het ook hebben over de context window limieten. Want hier stuiten we namelijk op een beperking. AI-modellen kunnen namelijk niet oneindig veel informatie tegelijkertijd verwerken. Ze hebben een context window, dat is een limiet aan het aantal woorden, tokens eigenlijk, dat ze in één keer kunnen begrijpen. En dat betekent dat context engineering niet alleen gaat over het verzamelen van informatie, maar vooral over het slim selecteren ervan. En je kunt niet alles wat potentieel relevant is in de context stoppen. Dus je moet kiezen. En welke informatie is dan het belangrijkste voor deze specifieke taak? Wat kan worden samengevat? Wat kan worden weggelaten? En dit is dus waar context engineering echt een vaardigheid wordt. Het gaat over het maken van slimme keuzes binnen de beperkingen. Maar goed, wat is dan het verschil met prompt engineering? En dat gaat verder. Het is geen semantisch verschil. Veel mensen denken dat context engineering gewoon een fancy naam is voor prompt engineering. Maar ik denk dat de verschillen goed te begrijpen zijn als ze het een beetje afbellen. De verschillen zitten bijvoorbeeld in de focus. Bij prompt engineering richt je je op het schrijven van een hele specifieke instructie. En context engineering bouwt complete informatiesystemen die dynamisch reageren. Wat ik net al zei. Je hebt een verschil in scope. Dus een prompt is een enkele zin-tekenreeks. Maar de context engineering omvat alle relevante data, tools, documenten en doorlopende status van het systeem. Er is een verschil in de aanpasbaarheid. De prompt is een grotendeels statisch. Die schrijf je eenmaal en die gebruik je vaker. Terwijl bij context engineering dat is veel dynamischer. Dus per taak, per gebruiker, per sessie kan je aanpassen wat uiteindelijk samen met die prompt opgestuurd wordt naar het taalmodel. En je hebt verschil qua impact op de kwaliteit van de uitkomst. Dus een goede prompt heeft laten we zeggen een medium impact. Omdat het beperkt afhankelijk is van de context die gegeven wordt. Bij context engineering die heeft een hele hoge impact op de kwaliteit van de uitkomst. Omdat het direct verantwoordelijk is voor het geheugen, meer stapsmogelijkheden van de AI. Alle data die je geeft. Dus dit verklaart waarom organisaties die succesvol met AI zijn vaak meer tijd besteden. Juist aan die context engineering dan aan de prompt engineering. Context engineering bepaalt uiteindelijk wat een AI systeem kan en niet kan. Ik wil je zeven manieren vertellen hoe je context kan toevoegen. En dat is niet volledig, maar dit zijn wel hele belangrijke, denk ik. Nou, het begint eigenlijk al bij die prompt zelf. Hier begint alles. Dus dit zijn de instructies en die instructies moeten helder zijn. En de AI kan bijvoorbeeld ook vertellen wat dan de rol is. Dat is eigenlijk al een klein beetje context geven. Maar ook systeeminstructies, die bepalen ook hoe de AI zich gedraagt en welke stijl het hanteert. En zo kun je een duidelijk doel meegeven, rol beschrijven. Of zelfs een placeholder gebruiken waar je de huidige datum in mee kan geven. Dus daar loopt de prompt en de context al een beetje door elkaar. Een andere is, misschien heb je dat al heel vaak gedaan, is gewoon een web URL meegeven. En een link naar een webpagina. En daarmee geef je de AI toegang tot actuele informatie. En dit zorgt ervoor dat je AI niet vast zit aan verouderde trainingsdata. Maar juist realtime informatie kan ophalen. Simpel, maar wel heel krachtig. Je kan documenten uploaden. Misschien ook al gedaan. Bedrijfsdocumenten, handleidingen, specifieke kennisbronnen. Die kun je dan direct beschikbaar maken. Je geeft daarmee de AI letterlijk jouw kennis mee. Ook een manier van context engineering. Dan hebben we nog de aangepaste AI-assistenten. Dus denk hier aan de CustomGPT. In ChatGPT. Waar je een complete kennisbank kan uploaden. Wel beperkt, maar je kan echt al heel wat context meegeven. Dus de AI heeft dan altijd toegang tot die specifieke informatie en werkwijze die je mee hebt gegeven. Volgende stap zijn de RAG-systems. RAG staat voor Retrieval Augmented Generation. Dat zijn systemen die slim informatie opzoeken uit meestal best wel grote databases. En alleen die relevante stukjes aan de AI geven. En dit is eigenlijk de professionele manier om kennis te beheren binnen een context window. Die de beperking heeft. Omdat je alleen maar namelijk relevante stukjes opzoekt. In die hele grote pak aan data die er is. Wat ik al eerder noemde is bijvoorbeeld de API toegang. Dus je geeft de AI programmatisch toegang tot externe systemen. Dat kan een CRM zijn, je agenda of andere bedrijfssystemen. En hiermee wordt de AI een echte digitale collega, zou je kunnen zeggen, die data op kan halen en echt jouw context kent. En in de wereld van de ontwikkelaars, waar ik ook zelf uitkom, daar zie je heel erg dat je met Cloud Projects of GitHub Copilot, dat je die kan configureren, bijvoorbeeld met je eigen codingstandard, je projectstructuur. Maar die kan dus ook kijken in de code en daar de context uithalen. De AI begrijpt op die manier dan de manier van werken en past zich dan aan jouw stijl eventueel aan. Nou, en heb ik dan nu vooral gesproken over wat je toevoegt als in de context engineering. Maar in de context engineering hoort ook bij dat je keuzes maakt in wat juist niet in de context thuis hoort. Er is een keerzijde, want we moeten namelijk ook kijken van wat past binnen die beperkingen. En hier wordt het ook extra interessant voor agents. Want net zo belangrijk als wat er wel in staat, moet je ook kijken wat er niet in hoort. En ik haal dat namelijk omdat je best wel heel snel te maken krijgt met zogenaamde context pollution, context vervuiling. En dat is echt een probleem aan het worden, vooral met die beperkte context windows. Dus als je te veel informatie geeft, dan kan dat zo'n AI agent afleiden of verwarren. verouderde informatie kan tot verkeerde beslissingen leiden. En gevoelige informatie die niet thuis hoort, die kan juist weer veiligheidsrisico's opleveren. Dus het betekent echt wel dat je slim moet filteren, eventueel wat moet comprimeren. En vragen stellen als welke informatie is relevant voor deze specifieke taak? Welke gespreksgeschiedenis hoeft niet bewaard te worden? Welke systemen mag de AI agent wel en niet benaderen? En wat kan worden samengevat zonder belangrijke details te verliezen? De kwaliteit van deze context bepaalt direct hoe betrouwbaar je AI systeem is. In vorige afleveringen over de toekomst van AI agents. Kijk maar even in de show notes. Hebben we het gehad over hoe deze systemen steeds meer taken van ons gaan overnemen. Maar dat kan dus alleen als we de juiste context hebben om die taken goed uit te voeren. voor de technische realiteit en de limieten van de context qua woorden en tokens. Wat mij betreft is context engineering daarom misschien wel de belangrijkste vaardigheid om te ontwikkelen als je echt wil profiteren van AI. Maar bedenk zoals altijd, AI is niet de oplossing van elk probleem, maar onmisbaar waar het past. Dank je wel weer voor het luisteren. Vind je deze aflevering nou interessant? Delen we ook eens met vrienden, collega's, familie. Dat we het erg leuk vinden. Tot de volgende keer. [Muziek]