Observability voor AI-agents: zie wat je agent doet

Hoi, welkom bij een nieuwe aflevering van AIToday Live, de korte aflevering. En vandaag wil ik een technische term met je bespreken die belangrijk is voor het ontwikkelen en beheren van AI agents. En die term is observability. En in het Nederlands zou je het observeerbaarheid kunnen noemen. Een woord dat je niet zo vaak hoort. En het staat simpelweg voor dat je kunt zien wat je AI agent doet. Dus je kunt observeren wat er gebeurt. observability is wat anders dan monitoring. Veel mensen halen dit door elkaar, dus laat me even het verschil uitleggen. Stel je voor dat je 's nachts op de snelweg rijdt met een blinddoek op. Dat is wat kan gebeuren als je AI agents inzet zonder observability. Je kan dan niet zien wat er gebeurt, waarom beslissingen worden genomen of waar het misgaat. En monitoring, dat is eigenlijk meer als een brandmelder thuis. Die gaat af wanneer er rook is. Observability daarentegen is als een complete bewakingscamera. Met warmtebeeld, rookdetector en een systeem dat je vertelt waar de brand ontstond. Hoe die zich verspreidt en wat je moet doen om hem te blussen. En voor AI agent is dit een wezenlijk verschil. Stel je hebt een AI klantenservice agent en die geeft plotseling verkeerde productinformatie. Traditionele monitoring ziet alleen er komen klachten binnen. Maar observability toont je de complete keten van de vraag van de klant via het redeneerproces van de AI, de database die oude informatie opleverde tot het foute antwoord. Dus je ziet niet alleen dat het misging, maar ook welke dataset verouderd was en waarom de agent juist die dataset dan koos. Om goed te begrijpen waarom het observeren van AI agents zo belangrijk is, moet ik eerst toch weer gewoon even uitleggen hoe AI agents werken. Het hart van de AI agents waar we het tegenwoordig over hebben bestaat uit een taalmodel. Dezelfde modellen die gebruikt worden door ChatGPT of Cloth. En met een prompt kun je de agent een opdracht geven die complexer is dan het beantwoorden van een vraag. En je geeft de agent een doel, maar ook gereedschappen, tools, die de agent kan gebruiken om dat doel te halen. Een taalmodel kan namelijk zelf niet op het internet browsen of gegevens, bijvoorbeeld uit een database halen. Hiervoor heeft het model dus gereedschappen nodig en die geef je mee. Wat de agent dan doet is een plan maken om het doel te bereiken. Het bepaalt welke tools in welke volgorde aangeroepen moeten worden en welke gegevens er aan die gereedschappen wordt meegegeven. En met de prompt die je aan de AI agent geeft, heb je hier wat invloed op. Maar de kracht zit juist in dat de agent vrijheid heeft om zelf de volgorde en die gegevens te bepalen. Anders kun je net zo goed een workflow maken met een vaste volgorde van stappen. Met voorop gedefinieerde data hoe die dat moet gebruiken. Dus de agent bepaalt dus welke gereedschappen, volgorde en data. En als de agent in productie niet doet wat je verwacht. Dan is het wel belangrijk dat je juist die elementen moet kunnen terugvinden. Wat was de invoer? Wat was het plan? Welke gereedschappen zijn en welke volgen er uitgevoerd? En welke data is meegegeven? Laat me een concreet voorbeeld geven van een AI agent die we hebben gebouwd voor juist onze podcast. We hebben een agent gemaakt die automatisch nieuwe gasten zoekt. We krijgen echt wel goede gasten aanbevolen en aangedragen. Maar een agent is voor ons een mooie manier om buiten ons netwerk juist te zoeken. Buiten wat ik zelf over al deze technologie lees. Deze, wat we dan noemen, moet natuurlijk in het Engels zijn, guest search agent, die werkt in fases. En in de eerste fase maakt de agent een zoekstrategie. Het taalmodel analyseert wat er deze week actueel is in de Nederlandse AI wereld en bedenkt welke onderwerpen en sectoren belangrijk zijn. En net als een onderzoeker die eerst nadenkt over waar hij moet gaan zoeken, maakt de agent een lijst van slimme zoekopdrachten. De agent gebruikt ook nog eens kennis uit eerdere zoeksessies. Het bekijkt welke zoekopdrachten en bronnen voorheen succesvol waren en past daar de strategie op aan. De agent krijgt de opdracht om na te denken over welke bronnen relevant zijn, vakmedia, universiteiten, conferenties en welke onderwerpen aandacht verdienen, zoals bijvoorbeeld AI-wetgeving, ethiek, verzin het. En in de tweede fase gaat die agent daadwerkelijk op zoek. Dus het taalmodel voert de zoekopdrachten één voor één uit met behulp van de gereedschappen die het kan aanroepen. De agent heeft bijvoorbeeld een zoekgereedschap om het web te zoeken en een ander gereedschap om complete webpagina's op te halen. En tijdens het zoeken past de agent zijn strategie aan. Dus wanneer bepaalde zoekrichtingen succesvol blijken, onderzoekt het meer variaties daarop. Minder productieve paden worden overgeslagen. Dus wanneer de agent interessante resultaten vindt, zoals een congresprogramma of een persbericht, gebruikt het het gereedschap om de volledige inhoud van die pagina dus dan op te halen. En zo vindt het dan concrete namen van sprekers, onderzoekers of professionals. En voor elk gevonden persoon controleert de agent eerst of deze persoon niet al recent is aangeboden aan me. En als alles klopt, slaat het de kandidaat op met alle relevante informatie. Na afloop reflecteert de agent ook nog eens een keer op de zoeksessie en documenteert wat goed werkte voor toekomstige zoekopdrachten. Dus de agent blijft zoeken totdat het genoeg geschikte kandidaat heeft gevonden. Je ziet dat er behoorlijk wat autonomie gegeven wordt aan deze agent. En het observeren van wat hij doet, welke volgorde, welke data, welke zoekacties er worden uitgevoerd, is dan geen overbodige luxe om na te kijken of de agent ook werkt zoals we dat willen en of er geen fouten ontstaan. Voor deze agent heb ik het product Ortkey geprobeerd. Voor de observability. Gewoon om uit te zoeken hoe goed het werkt. Een linkje staat in de show notes. Maar dat even terzijde. Kijk de grote vraag is nu natuurlijk. Ja maar hoe zorg je dat jouw agent. Als jij agents gaat bouwen. Dat die ook observability krijgt. Wanneer je kiest voor maatwerk. Het klinkt misschien wat tegenstrijdig. Maar dat is eigenlijk het meest eenvoudige. Want bij maatwerk bouw je alles. Dan ontwerp je alles zelf. En voor de observability van AI agents. En het aanroepen van die taalmodellen. Zijn er echt gewoon allerlei standaard. Programmeerbibliotheken. Cloudprofiders zijn beschikbaar. En die zijn eigenlijk best wel heel eenvoudig te gebruiken. Dus je programmeert dat dan zelf erbij. Waar je dan wel even op moet letten. Is dat als je een cloudproduct gebruikt. Is dat er dus ook alle data. Die wordt dus ook naar die cloudprovider gestuurd. Dus alle input. Alles wat hij gevonden heeft. eventuele bedrijfsgegevens gaat er ook allemaal naartoe met alle vraagstukken rondom data delen van dienen maar gebruik je bijvoorbeeld Copilot Studio voor het maken van AI agents dan biedt bijvoorbeeld Microsoft die noemt het dan activiteitenkaarten ik moet je eerlijk zeggen dat ik dit nog niet heb uitgeprobeerd en niet kan aangeven hoe goed het werkt maar de documentatie beschrijft wel dat je automatisch agent sessies kunt volgen NETN ken je misschien is een populair platform waar je AI agents in kunt bouwen. Kijk, zij hebben op dit moment geen standaard optie voor observability. Ik verwacht dat dat wel gaat komen, want op dit moment is het er nog niet. En ja, eerlijk gezegd voor persoonlijke workflows of persoonlijke agents is dat niet zo erg. Maar als je de agents wil gaan inzetten in bedrijfskritische processen en in grotere volumes, dan wordt het toch wel lastig. Ik zie wel dat de community zelf wat tools heeft gebouwd, maar ik kan nu moeilijk beoordelen hoe goed die zijn. Wat daar wel duidelijk bij is, is je hebt behoorlijk wat technische kennis nodig om die tools dan te integreren in NITN. Wat wel mooi is, als je de producten gebruikt van de leveranciers die observability aanbieden, dan heb je ook nog een aantal bijkomende voordelen. Ze houden namelijk vaak ook bij hoe lang bijvoorbeeld iedere stap van de agent duurt. En dit kan je dan gebruiken om de performance in de gaten te houden. Je ziet ook de kosten van wat de agents verbruiken. Foutmeldingen van de gereedschappen worden gelogd. En afhankelijk van het product dat je gebruikt nog veel meer. Dus dat zijn echt wel fijne bijkomstigheden. Wat ik nog wil toevoegen is dit. AI governance is natuurlijk ook belangrijk. Er wordt ook veel over gesproken. En observability is best wel een belangrijk element. Waardoor je een vorm, een deel van die AI governance. In ieder geval daar invulling aan kan geven. Want het maakt namelijk, zoals we gezien hebben. Zichtbaar wat agents doen. En daarmee kunnen we dus ook controleren. Of ze zich aan het beleid en de regels houden. Die je hebt voorgesteld of ingesteld. Want zonder de gedetailleerde logs of monitoring. Kun je toch heel slecht verifiëren of een agent binnen de vastgestelde grenzen opereert. Daarmee levert het ook bewijs voor audits als je het goed inzet. Elke beslissing en elke actie van de agent is gedocumenteerd en traceerbaar. En bij incidenten kun je dus precies achterhalen wat de fout ging. En of dit mogelijk zelfs een beleidsovertreding is. Dus observability transformeert governance van we hopen dat de agent zich aan de regels houdt. Naar we kunnen aantonen dat de agent zich aan de regels houdt. Vandaag hebben we het gehad over die observability. En ook het verschil met de monitoring en waarom het belangrijk is voor het begrijpen van wat je agent doet en hoe je het kunt implementeren. En of je nou kiest voor maatwerk of bestaande platforms zoals Copilot Studio of n8n. Zorg dat je vanaf het begin nadenkt over hoe je je agents observeerbaar maakt. Want zonder observability rijd je blind op de digitale snelweg zou ik zeggen. En bedenk zoals altijd, AI is niet de oplossing voor elk probleem, maar onmisbaar waar het past. dankjewel weer voor het luisteren vergeet je niet te abonneren via je favoriete podcast app mis je geen aflevering tot de volgende keer [Muziek]