Alle afleveringen
S08E33 - Van chatbot naar AI-agent: lessen uit de praktijk
S08E33

Van chatbot naar AI-agent: lessen uit de praktijk

Seizoen 8 56 min Hosts: Joop Snijder & Niels Naglé
0:00

Wat leer je in deze aflevering?

Artificial Intelligence-agents verschuiven van chatbots naar autonome collega's die plannen, redeneren en daadwerkelijk werk uitvoeren. Waar traditionele bots vastlopen in vooraf geprogrammeerde scenario's, handelen agents 60% van klantcontact af en verhogen klanttevredenheid met 10 NPS-punten. Het geheim zit in hybride reasoning: harde bedrijfsregels voor veiligheid, gecombineerd met LLM-creativiteit voor natuurlijke gesprekken.

Pandora's agent kent persoonlijke klantcontext en Bison's agent analyseert foto's om de juiste lijm te adviseren - services die voorheen niet bestonden. Morgen kun je beginnen door één proces te kiezen dat je nu niet doet omdat het te arbeidsintensief is, maar wel waarde zou opleveren.

01
Agent definitie en autonomie Agents verschillen van chatbots door hun vermogen om te plannen, redeneren en acties uit te voeren. Voorbeeld: Pandora's service agent handelt 60% van klantcontact af met 10 punten NPS-stijging door snelheid en accuraatheid zonder wachttijden.
02
Configuratie als medewerker Behandel agents als junior medewerkers met werkinstructies op hoog niveau in plaats van regelgebaseerde chatbots. Geef brand guidelines en voorbeelden, niet "als klant dit zegt, zeg dan dat". Ownership ligt bij business, niet bij IT.
03
Hybrid reasoning aanpak Combineer harde regels (authenticatie, bedraglimieten) met LLM-creativiteit voor conversatie. Pure LLM-agents zijn niet geschikt voor enterprise gebruik. Voorbeeld: agent mag refund tot €500 (regel), maar bepaalt zelf hoe hij dat communiceert (creativiteit).
04
Observability en verbetering Monitor agents continu met andere agents die gesprekken scoren. Eerste agent is de slechtste versie - wordt alleen maar beter door data-analyse van welke gesprekscategorieën wel/niet lukken.

Kernbegrippen

AI-agent
Autonoom systeem dat kan plannen, redeneren en acties uitvoeren zonder menselijke tussenkomst per stap.
Hybrid reasoning
Combinatie van vaste regels voor kritieke beslissingen met LLM-creativiteit voor natuurlijke interactie.
Agent swarms
Meerdere agents die samenwerken aan complexe taken, van procesautomatisering tot wetenschappelijke ontdekkingen.
Observability
Continu monitoren van agent-prestaties door andere agents gesprekken te analyseren en te scoren.

Wat kun je morgen doen?

  1. 1 Start met mindset "nieuwe medewerker aannemen" in plaats van "software ontwikkelen" - denk aan schaalvergroting, niet alleen automatisering
  2. 2 Implementeer testing center voor agents voordat je nieuwe modellen live zet - voorkomt gedragsveranderingen in productie
  3. 3 Focus op nieuwe processen die nu niet bestaan (zoals Bison's foto-analyse voor lijmadvies) in plaats van alleen bestaande processen automatiseren

Interview: Reinier van Leuken

Reinier van Leuken
Reinier van Leuken Senior Director of AI Product Management bij Salesforce Bekijk gastprofiel →

Wat is Agent Force en wat doet het platform precies?

Agent Force is het platform waarop onze klanten AI-agents configureren, maken, bouwen en beheren. Het stelt bedrijven in staat om op een andere manier met hun klanten om te gaan. We hebben de afgelopen tijd heel veel gezien over hoe we langzaamaan van chatbots naar agents gaan. Onze klanten bouwen autonome agents die met hun klanten kunnen converseren, hen te woord kunnen staan en ten dienste kunnen zijn. Maar die agents helpen ook de medewerkers van onze klanten, wat we dan de employee agents noemen. Het is dus een platform waarop je op Salesforce agents kunt bouwen die ofwel met klanten interacteren, ofwel met medewerkers, en soms zelfs volledig autonoom op de achtergrond werken.

Wat is voor jou de definitie van een AI-agent en hoe verschilt dat van een chatbot?

Volgens mij is het enige vaste aan een agent dat alles tegenwoordig een agent wordt. Als ik over een agent nadenk, dan denk ik over iets dat in de eerste plaats kan plannen en kan redeneren, en ook acties kan uitvoeren. Een van de grote verschillen tussen een bot en een agent is echt de autonomie in het uitvoeren van acties. Het gebruiken van tools, het ondernemen van allerlei acties in systemen en allerlei integraties. Maar ook om te bepalen wat de juiste acties zijn die ondernomen moeten worden, gegeven een vraag van een gebruiker. Of dat nou een klant of een medewerker is, zo'n agent moet ook een plan kunnen trekken. Daar worden natuurlijk dan heel veel van die reasoning modellen voor gebruikt. De planmatigheid en het actie-ondernemende, dat is wat een stuk autonomie aan een agent geeft. Dat is volgens mij het verschil tussen een agent en een bot.

Kun je een concreet voorbeeld geven van zo'n actie die een agent uitvoert?

Denk bijvoorbeeld aan allerlei acties in dienstverleningen, service, contactcenters, de service desk waar je als klant mee te maken krijgt als je je vlucht wil omboeken, of als je een product besteld hebt dat je misschien wil terugsturen, of je wil een vraag stellen over de garantievoorwaarden. We kennen natuurlijk allemaal de situaties dat we met dat soort service desks in contact treden. Acties die uitgevoerd kunnen worden gaan precies daarover: het doen van een refund, het terugnemen van artikelen, het geven van aanbevelingen over hoe je het product moet onderhouden of repareren. Dat zijn allerlei acties die dat soort agents richting klanten kunnen uitvoeren.

Wat is een voorbeeld van een succesvolle agent-implementatie in de praktijk?

Een hele succesvolle agent is bijvoorbeeld op Agent Force gebouwd door het Deense sieradenmerk Pandora, dat we hier in Nederland ook kennen. Dat zijn die armbandjes waar je allerlei bedeltjes aan kan hangen die elke keer weer uitgebreid worden als er een bepaald belangrijk moment in je leven is, zoals een nieuwe geboorte of als je een diploma hebt gehaald. Zo worden er echt life moments toegekend aan die sieraden. Het is het grootste sieradenmerk ter wereld. Zij hebben verschillende agents op Agent Force gebouwd. Een daarvan is zo'n service agent die maar liefst 60% van al het klantcontact al afhandelt. Wat heel interessant daarbij is, is dat de NPS, dat is natuurlijk een belangrijk graadmeter in die dienstverlening, de Net Promoter Score, die is na de invoering van die agent toegenomen met 10 punten. Zo zie je dat mensen echt wel tevreden zijn met de interactie met die agent. Het gaat bijvoorbeeld over vragen als: waar is mijn order als ik iets besteld heb op de website, krijg ik die al, waar is dat pakketje ergens. Frequently asked questions zoals: hoe hou ik mijn sieraden schoon? Die agent ondersteunt 60% van de klanten op een heel succesvolle manier.

Waarom is dit een succes, terwijl veel mensen juist zeggen dat klantenservice niet door agents geholpen moet worden omdat het onpersoonlijk aanvoelt?

Wij merken dus dat de snelheid en de accuraatheid waarmee die agents goed geconfigureerd zijn, zoals in het voorbeeld dat ik net noemde, toch enorm gewaardeerd wordt. De keerzijde van een menselijke service desk is dat er een begrenste capaciteit aan is. Je zit misschien langer in de wacht of moet je door een of andere heel lang menu heen werken: toets één voor dit, toets twee voor dat. Daar zitten mensen helemaal niet op te wachten, die willen gewoon hun vraag stellen en daar een goed antwoord op krijgen, of goed geholpen worden. Zodra dat lukt, dan zijn mensen daar heel tevreden mee, want dan hebben ze een hele snelle dienstverlening gehad. Ik denk dat dat één heel belangrijk onderdeel is. Een ander belangrijk onderdeel is dat die agent ook niet helemaal op zichzelf staat. Ik noemde al dat Pandora verschillende agents geïmplementeerd heeft. Ze hebben ook agents die klanten helpen bij het uitkiezen van producten. Voor je gaat naar die website en je wil een sieraad kopen voor misschien je kind of je partner omdat er een mooie gelegenheid is, dan ga je daarover in gesprek met een agent. Die agent kent jou als vaste klant van Pandora en bent ingelogd. Die context blijft bewaard. Zodra jij dan weer daar terugkomt en je hebt een vraag over dat product, dan is die context nog steeds bewaard gebleven en die agent leert jou daarin steeds beter kennen. Dat is ook wel kenmerkend aan Pandora: ze zeggen dat ze niet alleen een sieraad verkopen, maar ook de ervaring. Het hele gesprek dat gaat over het uitzoeken van dat stuk sieraad is heel belangrijk. Die agent neemt dat heel natuurlijk over, kent echt de achtergrond en de connotatie die bij die sieraden zit, en past dat toe in het zoeken naar een product.

Wat bedoel je met dat een agent goed geconfigureerd moet zijn?

Een agent is voor een deel afhankelijk natuurlijk van de LLMs die eronder zitten. Ik noemde al dat redeneren: welke tools moet die aan kunnen roepen, welke integraties moet die doen. Hij maakt een redeneerplan en dat gaat hij uitvoeren. Dus een deel ervan, de configuratie, is sowieso al welke acties stel ik ter beschikking aan de agent. Wat mag die doen, wat mag die niet doen. Maar vervolgens moet je natuurlijk ook dan in instructies gaan vastleggen: onder welke voorwaarden mag die bepaalde dingen doen, en onder welke voorwaarden mag die bepaalde dingen niet doen. En hoe willen we dat die agent ons merk vertegenwoordigt. Dan moet je denken aan echte werkinstructies die je ook aan menselijke medewerkers zou geven. Die werkinstructies horen natuurlijk ook bij een agent. In algemene zin zie ik dat bedrijven die succesvol zijn met agents echt nadenken over een agent als een nieuwe medewerker en het ook op die manier aanvliegen. Natuurlijk volgt er een stuk configuratie daarna van hoe leg je dan die werkinstructies ook vast. Dat is een heel belangrijk onderwerp: hoe doe je die goede tuning van die agent. Daar hebben we ook op het platform een aantal mogelijkheden voor geïntroduceerd die denk ik het komend jaar heel belangrijk gaat zijn. Dat heeft met name te maken met hoe we logica en procesautomatisering nu samen met de creativiteit van een agent combineren. Dat is denk ik iets waar we echt in de komende anderhalf jaar heel veel over gaan horen.

Hoe voorkom je hallucinaties en dat de agent de verkeerde acties neemt?

Iedereen kent natuurlijk de beruchte hallucinaties van de agent: je vraagt iets en je krijgt een verzonnen antwoord terug. Als jij aan een agent gaat vragen om een plan te maken, dan is daar natuurlijk ook een risico op hallucinaties. Hoe ga je voorkomen dat die agent de verkeerde acties neemt? Dat is waar wij heel sterk op inzetten met wat we dan noemen hybrid reasoning. Het gaat erom hoe je sommige dingen heel duidelijk aan de agent maakt en waar de grenzen liggen van waar die nog mag redeneren. Waar houden die op en waar neemt procesautomatisering het weer over? Dat is een heel interessant spanningsveld. Je moet dus sommige dingen heel sterk vastleggen in regels, terwijl je andere dingen juist wilt overlaten aan de creativiteit van de agent.

Hoe zit dat met het inwerken van een agent? Die is toch niet vanaf dag één perfect?

Ik zeg wel eens: de eerste agent die je bouwt, is de slechtste die het ooit zal zijn. Hij wordt alleen maar beter. En dat is wel het mooie aan deze technologie. Maar je moet hem wel goed in de gaten gaan houden. Zo'n medewerker die blijf je monitoren, een agent moet je ook blijven monitoren. Er zit een heel stuk wat ze dan met een mooie Engels woord observability achter noemen. Je moet die agent in de gaten gaan houden: wat doet die in de praktijk. Vaak komen daar dan weer andere agents bij kijken, want je gaat ook niet als mens elk gesprek nalezen. Dus je hebt verschillende agents die dat dan weer in de gaten houden, die scoren die gesprekken. Vervolgens kun je dan gaan zien van oké, welke categorieën gesprekken gaan goed, welke categorieën gesprekken zijn nog niet zo relevant voor de klant of lukken soms niet om tot een goede uitkomst te komen. Dan kun je dus gaan kijken van waar moeten we dan die verbeteringen toepassen.

Wat leg je precies vast bij die observability?

Je legt alles vast wat er gebeurt: welke tools zijn er aangeroepen, welke data, wat was de status. Maar ook een kwalitatieve score wordt er door een andere agent gegeven aan het gesprek. Heeft die klant nou uiteindelijk gekregen waar die naar zocht als antwoord of als uitkomst. De klant geeft het uiteraard ook zelf aan. We hebben natuurlijk nog steeds de NPS, we hebben natuurlijk nog steeds ook de duimpjes en de feedback die de klant geeft. Dat is natuurlijk ook een heel belangrijke input.

Hoe voorkom je dat je weer terugvalt in regelgebaseerde chatbots?

Wat heel belangrijk is in het succes hiermee, is dat je ook die agent benadert als een medewerker. Dus ga nou niet tegen die agent zeggen van: je mag nooit praten over... of als de klant dit zegt, dan moet jij dat zeggen. Want dan zijn we eigenlijk weer terug bij traditionele chatbots. In plaats daarvan moet je veel hoger niveau instructies geven, precies zoals je een mens ook zou instrueren: op deze manier vertegenwoordig je ons brand, en dit zijn onze styleguides en dit zijn onze talking points. Geef ook voorbeelden. En daar kan die agent dan heel goed over redeneren en die vindt dan vanzelf wel uit wat hij wel en niet moet zeggen. Dat is vaak ook iets waar klanten wel een beetje mee worstelen van: oh, ik wil het helemaal vastleggen, zeg wel dit, zeg niet dat. En dan ben je weer regelgebaseerd bezig, en daar moet je een beetje van afstappen in het ontwerpen van het conversationele gedrag van die agent. Die regels zijn heel belangrijk voor bepaalde zaken. Er zijn natuurlijk dingen zoals: je mag een gebruiker nooit bij zijn data laten voordat hij volledig ingelogd en authenticated is. Ja, dat is een harde regel, die moet je vastleggen. En die moet je ook vooral niet aan een LLM vragen als instructie van: oh LLM, reasoning model, zorg er alsjeblieft voor dat die gebruiker wel ingelogd is. Nee, laat dat niet over aan de instructies, leg dat vast als een regel. Maar als die dan eenmaal uitgevoerd is, die regel, en die klant is ingelogd, dan start het creatieve proces weer waarbij je die agent niet helemaal moet vast instrueren.

Wie maakt de agent op dit platform en wie is verantwoordelijk?

Dat is ook een hele interessante vraag. We zien natuurlijk zelfs bij alle IT een combinatie van business en IT teams. En dat is meer dan ooit van belang bij agents, omdat, ik sprak al over werkinstructies en hoe vertegenwoordig je ons brand en al dat soort dingen, dat kan natuurlijk alleen maar met een stevige involvement van business stakeholders. Dus wij adviseren ook vaak om het ownership van de agent bij de business te leggen en niet bij IT of bij AI teams. Natuurlijk is het maken van zo'n agent wel iets waarbij verschillende expertises samenkomen. Dat is overigens niet iets waar je dan allerlei programmeurs per se voor nodig hebt. Dat is natuurlijk op een veel hoger niveau dat je instructies geeft in natuurlijke taal. Maar er is wel een stukje configuratie nodig en een stukje release management. Dus we zien ook Salesforce Administrators daar een rol spelen. Er komen trouwens ook allerlei nieuwe rollen op in die hele agent space, is ook interessant om over na te denken. Zo zie je dat er allerlei verschillende expertise bij elkaar komen. Belangrijk is: de ownership van die agent, die willen we bij de business zien.

Wie houdt in de gaten dat de agent blijft doen wat hij moet doen als de omgeving verandert?

We zien dus dat er echt agent centers of excellence komen bij onze klanten waar nieuwe rollen ontstaan, zoals de agent supervisor en de agent coach en de agent recruiter. Dat zijn nieuwe rollen die we op zien komen bij onze klanten. Ik adviseer daar vaak onze klanten over hoe ze zo'n Center of Excellence dan kunnen inrichten. En ja, daar zie je nu gewoon letterlijk de vacatures voor voorbij vliegen.

Wat doet zo'n agent recruiter?

Dat heeft alles te maken met welke taken zien wij als geschikt voor agents. En dat is natuurlijk iemand die een heel groot besef heeft ook van de dynamiek van de organisatie en die dan dus echt kan snappen van: oké, hier liggen winstkansen, deze processen kunnen volledig of deels door een agent overgenomen en ondersteund worden. Dat is dus iemand die echt op zoek gaat naar use cases die binnen een bedrijf agentified kunnen worden.

Hoe maak je de afweging wat je in rigide regels vastlegt en waar je de agent vrijheid geeft?

Ik adviseer daar toch vaak om wederom terug te komen op het idee dat je die agent benadert als een junior medewerker. Bij een junior medewerker heb je ook zaken zoals data access en role-based access. Die junior medewerker heeft natuurlijk ook bepaalde zaken die die wel en niet kan en mag zien, of processen die die wel en niet mag uitvoeren. Misschien mag die een refund doen naar een klant toe tot een bepaald bedrag bijvoorbeeld. Dat soort processen zijn bij agents niet anders. Dus denk op die manier na over hoeveel autonomie wil je die agent geven en welke tools geef je hem ter beschikking. Als je het op die manier in een soort mindset vastlegt, volgens mij kun je dan ook comfortabeler worden bij het idee dat die agent wel vrij mag converseren en binnen die grenzen vrij mag acteren.

Zie je dat processen opnieuw worden ontworpen met agents in gedachten, in plaats van bestaande processen te automatiseren?

Absoluut, en uiteindelijk is daar ook de grootste waarde mee te creëren. Een heel ander leuk voorbeeld van een van onze Nederlandse klanten vind ik daarin Bison, het bekende lijmmerk. Iedereen die thuis wel eens wat aan het doe-het-zelven is, kent het wel en heeft getwijfeld bij die keuze. Nou, dan ken je waarschijnlijk ook de situatie dat er thuis misschien iets stuk gegaan is, je gaat naar de bouwmarkt en je staat daar voor dat schap en je denkt: mijn hemel, welke lijm is geschikt voor de klus die ik moet uitvoeren. Zij hebben nu een agent live op hun website, gebouwd met Agent Force. Je kunt een foto uploaden van hetgeen dat stuk is gegaan, misschien een stoelpoot die is afgebroken, ik noem maar wat. Die agent analyseert die foto en gaat vervolgens advies geven over welke lijm geschikt is om dat mee te repareren. Vervolgens ook kennisnemend natuurlijk van mogelijke risico's, want is die stoel er na nog veilig en zo. Dus die heeft een heleboel van die veiligheidsinstructies die gepaard gaan met die producten ook in zijn lange termijn geheugen. Die analyseert die foto, die geeft advies. En de wall of confusion, zoals ze dat noemen, waarbij je dan nu in de bouwmarkt voor die muur met lijm staat, is daarmee opgelost. Dat is een proces dat bestond niet. Die agent hebben ze gebouwd omdat die technische mogelijkheid er was. En dat is natuurlijk hartstikke waardevol: je doet een QR-code, zet je naast je producten in die bouwmarkt, en je kunt je klant op een andere manier helpen.

Zijn al die 9500+ agents die jullie noemen echt in productie, of zijn dat ook pilots?

Als wij zeggen dat agents in productie zijn, dan zijn ze ook in productie en dat kan natuurlijk zijn dat dat een eerste stap is. Maar wij benadrukken wel bij onze klanten dat een pilot in een laboratorium, de zogenaamde proof of concept, dat is niet zo relevant. Want je leert pas echt als je die agent laat interacteren met jouw klanten of met jouw medewerkers. Dus ja, misschien is het een kleinere pilot. Zo zijn we zelf ook met agents gestart: eerst met een klein groepje klanten en dan met een grotere groep klanten. En vervolgens haal je de login eraf en zet je het publiek beschikbaar. Zo zijn we zelf natuurlijk ook opgeschaald. Maar productie is productie. We willen dus echt onze klanten direct die agents in een live context laten opereren.

Hoe zorg je ervoor dat het veilig blijft als je met klantdata of medewerkersdata werkt in productie?

Dat is een hele belangrijke vraag. Daarmee kunnen we natuurlijk terugvallen en hebben we profijt van het Salesforce platform waar we al 26 jaar lang werken aan procesautomatisering, data veiligheid, role-based access, alle security predicates. Dat hele platform, dat is een platform waar we nu agents in laten werken. Eigenlijk is een agent daarmee een nieuwe gebruiker van dat platform. Maar alle veiligheidsmaatregelen die we op dat platform hebben, al wat ik zeg 26 jaar als Salesforce als uitvinder van de cloud - dat was natuurlijk de enige manier waarop wij konden voortbestaan door die veiligheid zo hoog in het vaandel te hebben staan - dat is een veiligheid waar die agent ook binnen opereert. Het is heel belangrijk om vast te stellen dat zo'n agent niet zomaar opnieuw from scratch aan de gang gaat en die veiligheidsmaatregelen opnieuw moet uitvoeren.

Hoe verschilt Agent Force van een platform zoals OpenClaw?

We hebben heel veel gehoord de afgelopen tijd over OpenClaw en over al die agents, dus er komt ook terecht een zorg over de veiligheidsrisico's van die agents naar boven. Maar die OpenClaw agent, dat is natuurlijk nogal een ander verhaal. Die installeer je om te beginnen op je laptop, die draait lokaal op je laptop. Bovendien kan die ook nog eens veel vrijer opereren op jouw laptop dan dat we zo'n agent natuurlijk laten opereren binnen het Salesforce platform. Ik zie die OpenClaw agent een beetje als de Pippi Langkous van de agent. Dat is natuurlijk iemand die een soort ongebreideld optimisme heeft en overal invliegt. De quote die haar een beetje wordt toegeschreven is: "Ik heb het nog nooit gedaan, dus ik denk dat ik het wel kan." Volgens mij heeft ze het niet precies zo gezegd, maar dat karakteriseert haar persoon in elk geval een beetje. Wat zo'n OpenClaw agent kan: als je hem iets vraagt, dan gaat hij niet zoals ChatGPT zeggen van: ja, daar kan ik niet. Dan zegt hij: oh, wacht even, ik kan het niet, ik ga het wel even programmeren. Dan ga ik die software installeren, dan ga ik die software draaien en dan kom ik terug met het resultaat. Dat is natuurlijk waarom die die handjes krijgt, die claws, zo zit die analogie natuurlijk een beetje in elkaar. Die is zo vrij dat die nieuwe skills zelf gaat ontwikkelen, gegeven de vraag van een gebruiker. Waanzinnig fascinerend, ook waanzinnig eng. Agent Force is daar natuurlijk op een hele andere manier mee bezig. Dat is geen agent die zelf even gaat verzinnen: oh, deze data kan er ook nog wel bij, of ik ga even een nieuwe skill verzinnen. Nogmaals, al die guardrails en limits die op dat Salesforce platform zitten, daarbinnen begeeft die agent zich ook. Het is echt een nieuw type gebruiker dat op dezelfde manier behandeld wordt als een menselijke gebruiker. Daarmee is dat een heel ander speelveld.

Hoe bouw je vertrouwen in agents bij gebruikers?

Dat is iets waar op heel veel vlakken aangegaan wordt momenteel. Vertrouwen is natuurlijk deels inzicht. Dan komen we terug bij die observability, dat je dus kunt zien wat doet die agent, hoe goed is die in het te woord staan van onze klanten. Daar zijn al die observability tools die helpen daarbij. Tegelijkertijd is het ook een kwestie van inzage geven in hoe heeft die agent dan zijn antwoord gevonden. Vroeger in de traditionele machine learning heb je zoiets als explainable AI, dat je kunt gaan afpellen van: oké, hij doet deze voorspelling, maar waarom doet hij die voorspelling? Welke factoren zijn er van belang geweest om deze voorspelling te doen, bijvoorbeeld of een klant wel of niet een product gaat kopen, of die lead wel of niet gaat converteren. Dat is bij een agent een stukje lastiger, maar niet onmogelijk. Je kunt nog wel steeds afpellen welke acties eruit kwamen en met welke context die agent besloten heeft om die acties uit te gaan voeren. Dat is dus nog een slag dieper dan observability, dan kom je bij explainability. Niet elke businessgebruiker gaat zo diep in het platform zitten grasduinen, maar het feit dat die data er is en dat de agent builders dat helemaal kunnen napluizen, dat geeft wel een stuk vertrouwen van hoe komt die tot zijn werk. Daarmee is het hele black box gedeelte wel een beetje transparanter geworden. Een derde heeft heel veel te maken met education en enablement. We vinden het heel belangrijk dat al onze klanten en alle medewerkers van onze klanten, eigenlijk het hele ecosysteem, hier steeds meer begrip van opbouwt. Dus we doen ontzettend veel aan training van mensen: hoe werkt deze technologie, wat zijn de grenzen, wat is er wel mogelijk, wat is er niet mogelijk. Dan zie je ook heel vaak dat toch de schellen van de ogen vallen en dat mensen denken: oh, is het dat zo. En dat geeft ontzettend veel vertrouwen ook in de technologie.

Wat zijn de grenzen waar jullie tegenaan zijn gelopen bij het implementeren van agents?

Een van de belangrijkste grenzen die wij hebben vastgesteld bij het implementeren van agents in een enterprise context, is wat ik al even noemde: het omgaan met die harde regels. Daarom hebben we dus onze hybrid reasoning engine gebouwd, die dus echt een hybride vormt tussen het opvolgen van pure logica, hardwired rules, en die LLM creativiteit en fluiditeit die een agent heeft. Die mix daartussen is cruciaal. Als je kijkt naar pure LLM-based agents, die zijn niet geschikt voor de enterprise. Volstop. En helaas is er een soort beeld ontstaan, je ziet het wel eens in de media van: oh Salesforce geeft AI op, ze hebben het vertrouwen verloren. Nou, niks is minder waar. Salesforce is verre van het vertrouwen verloren in AI. Sterker nog, we zijn AI aan het sterker maken door het in te bedden in die enterprise regels. Dat is een hele belangrijke grens die we hebben vastgesteld.

Automatiseren mensen zichzelf niet weg met deze technologie?

Nee, dat denk ik niet. Zeker niet. Het is natuurlijk zo, zoals bij alle industriële revoluties, dat vaak er zorgen zijn over banen die verdwijnen. In de praktijk zie je dat er banen bij komen en dat banen vooral veranderen. En ik denk dat dat hier ook zo is. We zien nu al bij al onze klanten dat zij dus in staat zijn om hun bedrijf en hun operatie verder te laten groeien doordat iedereen daar gewoon op een productievere manier mee aan de slag gaat. Volgens mij, een van jullie noemde dat ook al een beetje in het gebruik van allerlei persoonlijke agents, uiteindelijk is het niet zo dat je minder gaat doen. Je gaat vaak meer doen, omdat je meer mogelijkheden hebt, omdat je meer schaalvergroting tot je beschikking hebt. Dat is precies wat we bij onze klanten ook zien.

Zie je dat ook intern bij Salesforce, waar de CEO zegt dat 50% van het werk al met AI wordt gedaan?

Nou, absoluut. Kijk, wij hebben dus bijvoorbeeld een volledig nieuw deel van onze organisatie ingericht. Wij noemen dat de forward deployed engineers. Dat zijn mensen die al bij Salesforce werk, soms in andere rollen, en die zijn nu in die nieuwe organisatie opgenomen. Hun nieuwe rol is het ondersteunen van onze klanten bij het inrichten van agents, of dat nou technisch is of meer gericht op de organisatie. Dat zijn dus echt investeringen die wij doen in de markt om onze klanten beter en sneller met die agents aan de gang te laten gaan. Zo zien wij ook al een repurposing van een heleboel skills binnen onze organisatie.

Wat is een agent die je zelf graag gebruikt?

Een van de agents die ik zelf ontzettend graag gebruik, heeft ermee te maken dat ik natuurlijk ons platform bouw. Ik ben verantwoordelijk voor productontwikkeling, maar daarnaast ben ik ook met veel van onze klanten gelukkig nog bezig. Het is een wereldwijde rol die ik heb, maar ik ben in de gelukkige omstandigheid dat ik dat vanuit Nederland kan doen. Dus werk ik heel veel met Europese klanten, gelukkig ook af en toe nog in mijn eigen tijdzone. Als ik veel met zoveel klanten schakel, terwijl ik ook die verantwoordelijkheid heb voor productontwikkeling, dan ontbreekt het natuurlijk nog wel eens aan tijd om je heel goed in te lezen in die klant en heel goed voor te bereiden. Maar als ik bij een klant kom en die klant heeft toch de verwachting dat ik advies ga leveren over de AI-strategie, dan verwacht die klant terecht dat ik wel weet wat daar precies gaande is. Dan kan ik twee dingen doen. Dan kan ik een gesprek opzetten met onze sales collega's. Dat doe ik natuurlijk ook graag, maar eerlijk gezegd zijn die soms wel eens wat lang van stof. Dan zit ik een uur te luisteren naar de hele achtergrond van die klant. Dat is natuurlijk interessante context, maar als ik dat voor al die klanten moet doen, dan kan ik een platform niet meer bouwen. Dus hebben wij onze eigen interne sales agent. Aan die sales agent kan ik gewoon zeggen: oké, ik ga met die en die klant overleggen, geef mij een point of view. Wat speelt hier allemaal? Wat heeft er de afgelopen twee jaar gespeeld? Wie zijn de belangrijke stakeholders bij die klant, waar zijn we mee bezig? Dan krijg ik een perfecte summary. Vervolgens ga ik dat natuurlijk nog even checken met die sales medewerker en ook nog even gauw een telefoontje als ik onderweg ben en krijg ik daar wat laatste feedback op. Maar het is een enorme timesaver om gewoon die hele sales point of view - die maakt dus gebruik van alle informatie die wij in onze interne sales systemen hebben van die klant - en die wordt helemaal afgezet tegen onze nieuwe productpropositie. Wat gaat er wel passen, wat gaat er niet passen. Zo krijg ik een heel genuanceerd point of view op die klant. Dat scheelt mij ontzettend veel tijd.

Waarvoor gebruik je agents absoluut niet?

Ik vraag nooit meer aan een agent: geef mij eens vijf punten over... Ik denk dat dat ook een soort intellectuele luiheid in de hand werkt en die probeer ik tegen te gaan. Dus ik gebruik wel veel modellen en veel agents om mee te sparren, maar ik laat het oorspronkelijke denkwerk niet aan die agent over. Ik kom met een eigen voorstel en dan zeg ik: schiet hier er gaten in, of verzin eens een tegenargument. Maar ik probeer dus echt mezelf aan te leren om zelf kritisch na te denken, vervolgens dan naar die agent toe te gaan en dan te gaan sparren. Om dus zomaar te vragen van: ja, schrijf eens een stuk over... Dat vind ik zelf ook heel vermoeiend als ik dat op LinkedIn voorbij zie komen.

Hoe krijgen we mensen zover om die moeite in die eerste stap te zetten, in plaats van het gemak maar toe te passen?

Omdat uiteindelijk het resultaat veel sterker is als je wel eerst zelf nadenkt en dan vervolgens aan die agent vraagt: geef hier feedback op. Dan zal je zien dat de conversatie die je met die agent hebt, of met dat taalmodel, ook veel rijker wordt en veel dieper gaat dan het oppervlakkige van: geef eens vijf redenen voor... Zo kom je toch weer bij het punt uit dat je zo'n agent en elk taalmodel eigenlijk moet gaan zien als een medewerker. Hetzelfde geldt bij een collega: als je daar gewoon vijf redenen voor vraagt, of je zegt van: nou doe even binnen deze context vijf punten, dan krijg je ook niet het beste resultaat.

Zie je verschillen in de wereldwijde implementatie van agents tussen regio's?

We zien het over de hele wereld snel gaan nu. Er zijn uiteraard verschillen. Een interessant verschil vind ik wel dat wij zien dat sommige kleine bedrijven, zoals we dat hier in Nederland MKB zouden noemen, soms harder gaan dan de grote enterprises. Dat er toch sneller use cases gevonden worden en dat er een snellere verandermindset bij kleinere bedrijven mogelijk is dan bij grote bedrijven. Uiteraard is dat geen wet of pers, er zijn natuurlijk altijd uitzonderingen bij de kanten op. Maar dat is wel een patroon dat ik zie: dat de kleinere organisaties, midden- en kleinbedrijf, toch snel kunnen schakelen en deze technologie inzetten. Aan de andere kant, als grote organisaties er volledig gas op zetten, dan is er ook in één keer heel snel heel veel mogelijk.

Wat kan het platform bieden ten opzichte van wat je zelf zou kunnen maken met een taalmodel en code?

Ik denk dat overigens zelfs de architect van OpenClaw, Peter Steinberger, die zelf al zegt: ja, vibecode is eigenlijk een soort scheldwoord. Hij stapt daar al volledig van af. Hij spreekt over agentic engineering. Kijk, wat kun je vibecoden? Laatst had ik een collega van me van onze marketingafdeling en die had een fantastische app gevibecoded, die ging namelijk een evenementje doen. Die wilden een soort Kahoot-achtige ervaring met gewoon wat vragen aan het publiek en dat was dan helemaal branded in de stijl van het evenement en van de klanten die daar waren. Dat is natuurlijk een fantastische toepassing om gauw iets te vibecoden. De vraag is: wil je ook je CRM-systeem vibecoden met alle klantdata die daarin staat en die compliant moet zijn in regulated industries, waar natuurlijk GDPR en allerlei andere certificeringen een rol spelen, waar 50.000 medewerkers op moeten vertrouwen, dat ook moet werken 24 uur 7 dagen per week als de support team natuurlijk around the clock gaat? We hebben het hier over enterprise software. Het hele idee dat je zulke enterprise software wel eventjes vibecoded, dat is natuurlijk eigenlijk, als je erover nadenkt, een vrij ridicuul idee. Dus wederom, het idee dat zo'n platform bestaat wat op die schaal kan opereren, dat je daar agents in los laat, dat is precies de sterke combinatie die maakt dat je dit op een veilige manier kunt gaan doen.

Hebben jullie een eigen taalmodel of gebruiken jullie modellen van leveranciers?

Wij geloven heel sterk in model pluriformiteit. We laten het duidelijk aan onze klanten om zelf ook te werken met verschillende taalmodellen van alle aanbieders, dus ons platform is daarin heel agnostisch. Je kunt met alle grote aanbieders werken, net waar je contracten of voorkeuren hebt. We zien natuurlijk ook die modellen die ontwikkelen zich heel snel, dus we willen heel duidelijk dat onze klanten zelf die keuze kunnen maken. We hebben zelf ook taalmodellen. We hebben ook partnerships met grote leveranciers die ons de mogelijkheid geven om die taalmodellen binnen onze infrastructuur te draaien. Sommige van onze klanten die zeggen bijvoorbeeld: ja, wij willen dat de data de muren van Salesforce absoluut niet verlaat. Nou, dat kunnen we ondersteunen in zulke gevallen. Dan hebben we bijvoorbeeld modellen van Anthropic die wij binnen onze infrastructuur draaien. Alle contracten die onze klanten met ons hebben op het gebied van trust, die zijn dan natuurlijk onverminderd geldig, die modellen die draaien volledig binnen onze muren. Dus we hebben eigen taalmodellen - vaak zijn die we zelf hebben ontwikkeld, vaak zijn die voor subfuncties van het platform. Stel je bijvoorbeeld voor die modellen waar ik het al over had in die observability, die dus bekijken of zo'n gesprek nou relevant is of niet. Of bijvoorbeeld een model dat citations genereert: je krijgt een antwoord op een vraag, op welke bronnen was dat antwoord nou precies gebaseerd. Dus bronvermeldingsmodellen die moeten natuurlijk de semantiek vergelijken tussen het antwoord en de bronnen. Dat zijn specialiteitsmodellen, specialismemodellen, waarvan we er een aantal zelf hebben ontwikkeld. We hebben zelf ook een groot onderzoeksteam dat daarmee bezig is. Die draaien we dan natuurlijk ook zelf. Maar nogmaals, we werken ook met alle grote spelers: met OpenAI, met Gemini, met Anthropic, met Cohere. Al die modellen zijn ook beschikbaar via ons platform.

Wat gebeurt er als het onderliggende taalmodel verandert? Gedraagt de agent zich dan anders?

Ja, en dat is iets om goed in de gaten te houden. Je ziet denk ik wel dat naarmate die modellen nu zich verder ontwikkelen, er een zekere mate van robuustheid ontstaat. Ik denk dat als die zich volledig anders ging gedragen, dat is volgens mij vooral wel wat we in het begin hadden toen de modellen wat minder sterk waren. Maar je hebt gelijk: als je de motor verandert, dan kan je agent zich anders gaan gedragen. Daarom hebben we naast die observability ook uitgebreide testingfunctionaliteit. Dat is nog voordat je de agent live zet. Als je nou die motor verandert, dan wil je natuurlijk wel eerst in een uitgebreide testingomgeving zien hoe die agent zich dan gedraagt. Nou, dat ga je ook niet doen door uitgebreid zelf tegen die agent te gaan lopen praten. Dus daar hebben we allerlei simulatieomgevingen voor. Soms met bestaande test cases, of soms gaat het systeem zelfs opnieuw testcases genereren op basis van bestaande gesprekken die zijn gevoerd, op basis van kennis die er in het systeem is. Dus we hebben een heel testing center waarbij je eigenlijk dus die check van hoe gedraagt die agent zich nu kunt doen voordat je die agent met dat nieuwe model live zet. Het is eigenlijk de unit test van een agent, ook multi-turn dus met een hele conversatie. Kun je vooraf testen, zien hoe die zich gedraagt. Als het nou blijkt dat in sommige gevallen die agent zich anders gedraagt dan je had verwacht - hij voert een andere actie uit of heeft een antwoord gegeven wat niet helemaal klopt - dan wordt dat natuurlijk geflagd. Dan zijn er direct ook weer andere agents in het spel die zeggen: oh, maar wacht even, ik vermoed dat dat komt door die instructie, dus ik denk dat je dat beter zo en zo kan formuleren. Zo is het eigenlijk. Zo komen we dus eigenlijk een beetje weg van dat stomme prompt engineering, gaan we naar agent engineering, waarbij je een agent ook gaat helpen in het bouwen en het sterker maken van een agent in dat soort testing centers.

Zijn er zaken waar je extra op moet letten als agents met elkaar samenwerken in plaats van met mensen?

In de ontwikkeling van die agent, dat is waar ik net even aan refereerde, zien we dus steeds meer agents ook een rol spelen waarbij agents de menselijke agent builder gaan adviseren van: joh, misschien is dit een goede instructie voor die agent, of ik zou hier juist een harde regel van maken. Daar zetten we allerlei agents in om die agent builder te helpen. Daarnaast is het natuurlijk ook zo, dat haal je terecht aan, dat een agent, net als een menselijke medewerker, uiteindelijk zijn werk het beste doet als die ook samenwerkt met anderen. Die agent interoperability, dat is voor ons ook een heel belangrijk thema. En dat gaat niet alleen over het kunnen aanroepen van tools door die agent, dat die in andere systemen kan werken, maar dat die ook met andere agents kan samenwerken. Daar zijn allerlei protocollen voor in opkomst of al gedefinieerd. A2A is daar een belangrijke van. En een heel belangrijk onderdeel van het A2A-protocol is de discoverability, zoals het dan heet. Oftewel, er is gewoon een groot register van agents eigenlijk. Elke agent die registreert zich daar en die zegt: ik ben een agent en ik kan deze en deze dingen doen. Als iemand mij nodig heeft, dan ben ik er hiervoor je. Net zo goed als dat er een registratie is op internet: als ik ergens naartoe wil, dan kan gevonden worden waar een website staat. Maar dat registry van agents, dat is dan wel weer iets dat je natuurlijk als bedrijf beheert. Dit zijn mijn agents, deze agents mogen op die manier met elkaar samenwerken, deze data mag worden uitgewisseld, op deze manier moet de authenticatie gegarandeerd worden tussen die agents. Dus het faciliteert ook de handshake tussen die agents. Zo kom je dus in een gesprek wat we nu ook heel veel met onze klanten hebben over hoe ziet die volledige agent orchestration laag er dan uit. Welke agents heb je en op welke manier mogen die met elkaar samenwerken. Zo'n orchestrator agent, je voelt hem al aankomen, dat is natuurlijk weer een agent op zichzelf. Zo krijg je een soort hiërarchie en een soort netwerk van agents.

Met wie voer je dit soort gesprekken over agent orchestration? Wie zitten er aan tafel?

Het gesprek over agent orchestration is hoofdzakelijk een technisch gesprek momenteel, maar er is eigenlijk altijd een fundamentele interesse en investment van de C-suite, van de boardroom in dat gesprek. Dus ja, veel vaker dan vroeger zie ik nu gesprekken ontstaan waar je met AI-architecten en de CEO aan tafel zit. Dat is iets wat vroeger, hoe graag we ook wilden dat business en IT de handen ineen sloegen, helaas te weinig gebeurde. Die brug, ik denk dat dat een van de voordelen is die AI ons nu biedt, die brug wordt steeds vaker geslagen.

Waar komt dat door, dat die brug tussen business en IT nu wel geslagen wordt?

Ik denk omdat het zo in elke vezel nu bij mensen doordrongen is dat hier zowel kansen als risico's liggen, dat de interesse per definitie er is. Beide aspecten spelen een rol. Daar is bijna geen voorkeur in aan te geven. Ik denk iedereen voelt en weet en is ervan doordrongen dat die moet gaan schakelen, dat hij hierover moet nadenken, dat die initiatieven moet ontwikkelen. Ook iedereen is zich ervan bewust dat dat op een verantwoorde manier moet gebeuren, want als je dat niet doet, daar hebben we denk ik genoeg voorbeelden van gezien. Die risico's moeten vermeden worden. Dat spanningsveld, dat is natuurlijk waar al die interesse vandaan komt.

Hoe zie je de ontwikkeling van agents voor de aankomende drie jaar?

Ik vind drie al heel ver. Ik denk dat agents inderdaad steeds vaker die combinatie in zich gaan hebben van heel sterk vastgelegde guardrails met redeneercapaciteiten. Dat is niet alleen iets dat vanuit tech komt, zelfs binnen de wetenschap wordt daar nu heel veel aandacht aan besteed. Neuro-symbolic hybridization, noemen ze dat. Neuro, dat is het redeneerstuk, dat zijn de LLMs, dat is de creativiteit. En symbolic, dat is de harde logica. De hybride daartussen is precies wat we gaan zien. Daarnaast zie je natuurlijk ook de persoonlijke agents steeds verder opkomen. We hebben dus al even gehad over OpenClaw, nou daar zijn van allerlei zorgen terecht over nu qua veiligheid, maar die persoonlijke agents gaan wel een vlucht nemen en die gaan er wel steeds meer komen. Je ziet dus Peter Steinberger is niet voor niks nu bij OpenAI in dienst sinds twee dagen om daar de personal agent toekomst vorm te gaan geven. Zoals we ooit een ChatGPT moment hadden, gaan we ook een personal agent moment hebben waarbij je dat opeens wel op je telefoon krijgt. Dan ontstaat iets heel interessants, want dan heeft iedereen zo'n persoonlijke agent. Dan moeten bedrijven zich dus steeds meer gaan verhouden ook tot de persoonlijke agents van die klanten. Je krijgt eigenlijk als bedrijf een nieuwe koper erbij: niet alleen maar de menselijke koper, maar de agente buyer. Die A2A toekomst, daar gaan we heel veel over zien.

Wat mag jouw persoonlijke agent voor jou absoluut niet doen?

Ik denk dat ik mijn agent wel beperken in het uitvinden van nieuwe skills. Ik vind dat nog best wel een hele grote stap. Zolang ik zelf de controle heb over welke tools en welke acties hij mag uitvoeren, heb ik die controle nog. Als hij dus zelf GPT 5.3 Coach Park mag gaan aanroepen en zelf zijn eigen code mag gaan herschrijven, of nieuwe skills mag uitvinden die hij dan op basis van mijn verzoek gaat uitvoeren, dat vind ik momenteel nog wel een brug te ver.

Zijn er dingen waar je wakker van ligt rond deze technologie, positief of negatief?

Wat ik heel interessant vind, en dan komen we toch even terug bij die OpenClaw movement die we hebben gezien, daar was natuurlijk ook een tijdje een gigantische hype gaande over het Maltbook. Dat was het sociale netwerk waar die agents dan bij elkaar kwamen en zogenaamd alleen met elkaar gingen praten zonder menselijke involvement. Een paar dagen lang was dat een enorme hype. Uiteindelijk bleek dat die menselijke involvement toch wat groter was dan aanvankelijk gedacht. Je kon namelijk zelf ook via die API daar berichtjes neerzetten. Dus was het allemaal wel van de agents, kun je achteraf afvragen. Wat ik een beetje jammer vind is dat nu die hype een beetje afgenomen is, hebben mensen een beetje het gevoel van: ja, dat was een mythe en de mythe is ontmaskerd. Zie je wel, die AI agents die komen helemaal niet samen in netwerken en die gaan helemaal niet samen slimme dingen opnieuw lopen uitvinden. Ik vind het een beetje jammer dat na zo'n hype dan in één keer die val naar beneden zo hard is. Want ik denk namelijk dat er heel veel potentie ligt in het bij elkaar brengen van heel veel agents. Als je heel veel agents bij elkaar brengt, dat er wel degelijk wat nieuws gaat ontstaan. Dat zeg ik niet alleen, er wordt heel veel onderzoek naar gedaan. Wat krijg je nou precies als je een swarm van agents bij elkaar zet. Dat zit zich natuurlijk in veel meer futuristische scenario's. We hebben het dan even niet meer over het implementeren van een service center agent. Maar als je dus echt gaat nadenken over scientific discovery, wetenschappelijke vooruitgang, kan AI zelf nieuwe wetenschappelijke ontdekkingen doen. Er zijn heel veel mensen die zeggen: nee, dat kan allemaal niet, want het is allemaal patroonherkenning en het is allemaal extrapolatie van wat er nu al is, dus AI kan nooit zelf iets nieuws verzinnen. Daar ben ik het fundamenteel mee oneens. Ik geloof er heilig in dat AI wetenschappelijke ontdekkingen kan doen, gaat doen, en in sommige gevallen zelfs al doet. Dat zit hem in die agent swarms. Als je dus agents bij elkaar gaat brengen die zelf kunnen gaan interacteren en je doet dat met heel veel agents, dan ontstaat daar een nieuw inzicht uit. Wat dat betreft, ik vergelijk dat vaak een beetje met mieren. Dat is natuurlijk algemeen bekend dat mieren heel sterke dieren zijn. Mieren kunnen zelf een brug vormen, die kunnen zelf een bepaalde afstand overbruggen zodat soortgenoten uit hun kolonie dan naar de picknickmand kunnen. Die agents gaan ook dat soort bruggen vormen. Ik ben er heilig van overtuigd dat die agent swarms tot wetenschappelijke ontdekkingen gaan leiden. Je ziet daar nu al heel vette voorbeelden van. Als je mij vraagt wat houdt je wakker in positieve zin met name, dan is het dit: waar gaat die wetenschappelijke vooruitgang naartoe als we die agent swarms bij elkaar gaan brengen?

Kun je een voorbeeld noemen van wetenschappelijke ontdekkingen door agent swarms?

Eén voorbeeld heeft te maken met de biochemie. We kennen allemaal de voorbeelden van hoe AI met protein folding de fysieke eigenschappen van een eiwit kan voorspellen. Iets waar vroeger natuurlijk heel veel labwerk voor nodig was voordat je kunt vaststellen hoe een eiwit zich gedraagt. Wat als je dat eiwit op kan vouwen in de 3D-ruimte, dan weet je hoe die zich gedraagt en welke rol die speelt, bijvoorbeeld in een biologisch proces. Denk aan medicatie, maar denk ook aan de wasverzachter. Dat zijn allemaal eiwitten. Het is heel relevant om te snappen hoe die eiwitten zich opvouwen en zich gedragen in biochemische processen. Nu zijn er modellen die niet alleen kunnen voorspellen hoe zo'n eiwit zich opvouwt en hoe die zich dus gedraagt, maar er zijn ook modellen die een nieuw eiwit kunnen ontwerpen. Dat zijn gespecialiseerde diffusion modellen die, net zoals dat je nieuwe video's of nieuwe afbeeldingen kunt genereren uit niets, zo'n model kan ook een nieuw eiwit uit niets genereren.

Over de gast

Reinier van Leuken
Reinier van Leuken
Senior Director of AI Product Management bij Salesforce

Reinier van Leuken werkt al tien jaar bij Salesforce waar hij verantwoordelijk is voor de productontwikkeling van het AI-platform Agent Force. Hij houdt zich bezig met het ontwikkelen van technologie waarmee bedrijven AI-agents kunnen configureren, bouwen en beheren voor zowel klant- als medewerkersinteracties. Van Leuken heeft een wereldwijde rol binnen de organisatie en adviseert klanten over AI-strategieën en de implementatie van autonome agents in bedrijfsprocessen.

Bekijk gastprofiel

Transcript

Je belt de klantenservice, ik krijg directe antwoord in wachtrijge en muziekje. En de klantenvredenheid gaat omhoog. En dat is dan geen belofte dat zijn resultaten van Pandora. En de NPS score die steeg met 10 punten. Daarover van leuke, die bouwt Agent Force met Salesforce. Het platform waarop bedrijven in eigen AI-agents kunnen configureren, uitrol en beheren. En Reinier vertelt daar nu alles over. Joop: Leuk dat je luistert naar een nieuwe aflevering van AIToday Live. Joop: Mijn naam Joop Snijder, ik ben Head of AI tegenwoordig bij Info Support. Niels: En ik ben Niels Naglé, Area Lead Data & AI bij Info Support. Joop: En in de studio Reinier van Leuken en hier fantastisch dat je hier bent, zou je jezelf heel kort even willen voorstellen, luisteraars. Reinier: Dankjewel, sowieso superleuk om hier te zijn in de studio vandaag. Reinier: Mijn naam is Reinier. Reinier: Ik werk al zo'n tien jaar bij Salesforce. Reinier: Dan ben ik verantwoordelijk voor productontwikkeling van ons AI-platform. Reinier: En dat heet Agent Force. Joop: En wat doet Agent Force? Reinier: Agent Force is het platform waarop onze klanten AI agents configureren, maken, bouwen en beheren. Reinier: Die hun in staat stelt om op een andere manier met hun klanten om te gaan. Reinier: Dus we hebben natuurlijk de afgelopen tijd al heel veel gezien over hoe we langzaamaan van chatbots naar agents gaan. Reinier: Daar is in jullie podcast denk ik ook veel over gesproken, stel ik me zomaar voor. Joop: Zeker. Reinier: En dat doen onze klanten ook, die bouwen ook autonome agents. Reinier: En die agents kunnen met hun klanten converseren, die kunnen hun klanten te woord staan ten dienste zijn. Reinier: Maar die agents die helpen ook de medewerkers van onze klanten. Reinier: Dus het zijn ook wat we dan noemen de employee agents. Reinier: Dus het is een platform waarop je eigenlijk op Salesforce agents kunt bouwen, die of wel met de klanten interacteren, of wel met de medewerkers. Reinier: En soms zelfs volledig autonoom op de achtergrond. Joop: Er is geen vaste definitie wat een agent is. Joop: Het gesprek dat iedereen weet waar we het over hebben. Joop: Wat vind jij een agent. Reinier: Volgens mij, het enige vaste aan een agent is dat alles tegenwoordig een agent wordt. Reinier: En als ik over een agent nadenk, dan denk ik over iets dat in de eerste plaats kan plannen en kan redeneren. Reinier: En ook acties uit kan voeren. Reinier: Dus volgens mij is een van de grote verschillen tussen een bot en een agent echt de autonomie in het uitvoeren van acties. Reinier: Het gebruiken van tools. Reinier: Het ondernemen van allerlei acties in systemen. Reinier: Allerlei integraties. Reinier: Maar ook om te bepalen wat de juiste acties zijn die ondernomen moeten worden, gegeven. Reinier: Een vraag van een gebruiker, of dat nou een klant of een medewerker is, moet zo'n agent ook een plan kunnen trekken. Reinier: En daar wordt natuurlijk dan heel veel van die reasoning modellen weer voor gebruikt. Reinier: Dus de planmatige en het actieondernemende. Reinier: Dat is wat een stuk autonomie aan een agent geeft. Reinier: En dat is volgens mij het verschil tussen een agent en een bot. Niels: En acties is nog redelijk abstract. Niels: Heb je een voorbeeld van zo'n actie die dan zo'n agent uitvoert of kan uitvoeren. Reinier: Jazeker. Reinier: Dus denk bijvoorbeeld aan allerlei acties in dienstverleningen, service, contactcenters, de service desk waar je als klant mee te maken krijgt als je je vlucht wil omboeken, of als je een product besteld hebt dat je misschien wil terugsturen. Reinier: Of je wil een vraag stellen over de garantievoorwaarden. Reinier: We kennen natuurlijk allemaal de situaties dat we met dat soort service desks in contact treden. Reinier: En acties die uitgevoerd kunnen worden, gaan precies daarover. Reinier: Dus bijvoorbeeld het doen van een refund, het terugnemen van artikelen, het geven van aanbevelingen over hoe je het product moet onderhouden of repareren. Reinier: Dat zijn allerlei acties die dat soort agents richting klanten kunnen uitvoeren. Joop: En heb je een concreet voorbeeld van een succesvolle agent. Reinier: Jazeker een hele succesvolle agent bijvoorbeeld is op Agent Force gebouwd door het Deens sieradenmerk Pandora. Reinier: Kennen we hier in Nederland ook. Reinier: Dat zijn die armbandjes waar je dan allerlei bedeltjes aan kan hangen die elke keer weer uitgebreid wordt als er een bepaald belangrijk moment in je leven is. Reinier: Nieuwe geboorte of je hebt een diploma gehaald. Reinier: Zo worden er echt live moments toegekend aan die sieraden. Reinier: Heel succesvol. Reinier: Het is het grootste sieradenmerk ter wereld. Joop: Dat wist ik niet. Reinier: Zij hebben verschillende agents op Agent Force gebouwd. Reinier: Een van is zo'n service agent. Reinier: die maar liefst 60% van al het klantcontact al afhandelt. Reinier: Wat heel interessant daarbij is, is dat de NPS, dat is natuurlijk een belangrijk graadmeter in die dienstverlening vaak de Net Promoter Score. Reinier: die is na de invoering van die agent toegenomen met 10 punten. Reinier: Dus zo zie je dat mensen echt wel tevreden zijn, ook met de interactie met die agent. Reinier: En dat gaat bijvoorbeeld over vragen: waar is mijn order als ik iets besteld heb op de website. Reinier: Krijg ik die al, waar is dat pakketje ergens. Reinier: Frequently asked questions. Reinier: Nogmaals, inderdaad, hoe hou ik mijn sieraden schoon? Reinier: Dat soort dingen. Reinier: Die agent die ondersteunt klanten als 60% daarmee op een heel succesvolle manier. Joop: Toch hoor ik ook wel, zeker van mensen om ons heen. Joop: Maar jullie hebben eigenlijk ook ons benaderd. Joop: Met het verhaal van we hebben iemand in de podcast gehad, Wouter. Joop: En die zei van ja, maar de klantenservice moet je eigenlijk niet overlaten aan agents. Joop: Het voelt als iets onpersoonlijks. Joop: Wat was dan in dit geval dat het juist een succes is? Joop: Want met de NPS kan je het gewoon meten. 82 Joop: Wat maakt dan dat het uiteindelijk wel een succes is, terwijl mensen misschien het gevoel hebben van ja, maar ik wil niet door een agent geholpen worden. 83 Joop: Tenminste door een AI-agent. 84 Reinier: Wij merken dus dat de snelheid en de accuraatheid waarmee die agents goed geconfigureerd, zoals in het voorbeeld dat ik net noemde. 85 Reinier: De snelheid en de accuraatheid waarmee die agents de klanten helpen, toch enorm gewaardeerd wordt. 86 Reinier: En ja, de keerzijde van een menselijke service desk, is dat er een begrenste capaciteit aan is. 87 Reinier: Dus je zit misschien langer in de wacht. 88 Reinier: Of moet je door een of andere heel lang menu heen werken. 89 Reinier: Toets één voor dit, toets twee voor dat. 90 Reinier: Ja, zitten mensen helemaal niet op te wachten, die willen gewoon hun vraag stellen. 91 Reinier: En die willen daar een goed antwoord op, of die willen goed geholpen worden. 92 Reinier: En zodra dat lukt, dan zijn mensen daar heel tevreden mee. 93 Reinier: Want dan hebben ze een hele snelle dienstverlening gehad. 94 Reinier: Ik denk dat dat één heel belangrijk onderdeel is. 95 Reinier: En een ander belangrijk onderdeel is dat die agent ook niet helemaal op zichzelf staat. 96 Reinier: Ik noemde al Pandora het verschillende agents geïmplementeerd. 97 Reinier: Ze hebben ook agents die klanten helpen bij het uitkiezen van producten. 98 Reinier: Dus voor je gaat naar die website en je wil een sieraad kopen voor misschien je kind of je partner, omdat er een mooie gelegenheid is. 99 Reinier: Dan ga je daarover in gesprek met een agent. 100 Reinier: En die agent. 101 Reinier: Dat zijn natuurlijk ook vast de klanten van Pandora bent ingelogd. 102 Reinier: Die agent die kent jou. 103 Reinier: En die context die blijft bewaard. 104 Reinier: Dus zodra jij dan weer daar terugkomt en je hebt een vraag over dat product. 105 Reinier: Dan is die context nog steeds bewaard gebleven. 106 Reinier: En die agent die leert jou daarin steeds beter kennen. 107 Reinier: Dat is ook wel kenmerkend aan Pandora. 108 Reinier: Dat ze zeggen, we verkopen voor een heel natuurlijk sieraad, maar ook de ervaring. 109 Reinier: Het hele gesprek, dat gaat over het uitzoeken van dat stuk sieraad is heel belangrijk. 110 Reinier: En die agent die neemt dat heel natuurlijk over. 111 Reinier: Die kent dus echt de achtergrond en de connotatie die bij die sieraden zit. 112 Reinier: En die past daartoe in het zoeken naar een product. 113 Niels: En dat betekent die context van die gesprekken die normaal gesproken in de hoofden van mensen leeftijd, die nu gedigitaliseerd is, die is beschikbaar. 114 Niels: En je gaf aan, het is belangrijk dat hij goed geconfigureerd is. 115 Niels: Ik was even nieuwsgierig wat bedoel je met configuratie van zo'n agent. 116 Niels: Waar moeten we dan aan denken? 117 Reinier: Een hele goede vraag. 118 Reinier: Een agent voor een deel afhankelijk natuurlijk van de LLM's die eronder zitten. 119 Reinier: Ik noemde al dat redeneren. 120 Reinier: Welke tools moet die aan kunnen roepen, welke integraties moet die doen. 121 Reinier: Ja hij maakt een redeneerplan en dat gaat hij uitvoeren. 122 Reinier: Dus een deel ervan de configuratie is sowieso al welke acties stel ik ter beschikking aan de agent. 123 Reinier: Wat mag die doen, wat mag die niet doen. 124 Reinier: Maar vervolgens moet je natuurlijk ook dan in instructies gaan vastleggen. 125 Reinier: Welke voorwaarden mag die bepaalde dingen doen? 126 Reinier: En onder welke voorwaarden mag die bepaalde dingen niet doen. 127 Reinier: En hoe willen we dat die agent ons merk vertegenwoordigt. 128 Reinier: Dan moet je denken aan echte werkinstructies, die ook aan menselijke medewerkers zou geven. 129 Reinier: Nou, die werkinstructies, die horen natuurlijk ook bij een agent. 130 Reinier: Dus in algemene zin zie ik dat bedrijven die succesvol zijn met agents, echt nadenken over een agent als een nieuwe medewerker. 131 Reinier: En het ook op die manier aanvliegen. 132 Reinier: Natuurlijk vervolg er een stuk configuratie daarna van hoe leg je dan die werkinstructies ook vast? 133 Reinier: Dat is een heel belangrijk onderwerp. 134 Reinier: Hoe doe je die goede tuning van die agent? 135 Reinier: En daar hebben we ook op het platform een aantal mogelijkheden voor geïntroduceerd. 136 Reinier: Die denk ik het komend jaar heel belangrijk gaat zijn. 137 Reinier: En dat heeft met name te maken met hoe we logica en procesautomatisering nu samen met de creativiteit van een agent. 138 Reinier: En dat is denk ik iets waar we echt in de in de komende komende jaar, anderhalf jaar heel veel over gaan horen? 139 Reinier: Iedereen kent natuurlijk de beruchte hallucinaties van de agent. 140 Reinier: Je vraagt iets en je krijgt een verzonnen antwoord terug. 141 Reinier: Kijk, als jij aan een agent gaat vragen, maak nou eens een plan? 142 Reinier: Dan is daar natuurlijk ook een risico op hallucinaties. 143 Reinier: Hoe ga je voorkomen dat die agent de verkeerde acties neemt? 144 Reinier: Dat is waar wij heel sterk op inzetten met wat we dan noemen hybrid reasoning. 145 Reinier: Dus als een antwoord op je vraag van wat moet je dan configureren. 146 Reinier: Nou, dat gaat er dus over. 147 Reinier: Hoe maak je sommige dingen heel duidelijk aan de agent? 148 Reinier: En waar liggen de grenzen van waar die nog mag redeneren? 149 Reinier: Waar houden die op? 150 Reinier: En waar neemt procesautomatisering het weer over? 151 Reinier: Dat is een heel interessant spanningsveld. 152 Joop: Je zei net van instrueren als het ware als een nieuwe medewerker. 153 Joop: Maar die moet je ook inwerken. 154 Joop: Dat is een deel is die configuratie. 155 Joop: Maar die agent is niet op dag één dat hij precies doet wat je wil. 156 Joop: Waar zaten de worstelingen bij Pandora tussen het moment van idee. 157 Joop: Tot aan dat ze zeiden van, maar nu durven we het ook in productie te zetten. 158 Reinier: Ja, ik zeg wel eens de eerste agent die je bouwt, is de slechte, die het ooit zal zijn. 159 Reinier: Hij wordt alleen maar beter. 160 Reinier: En dat is wel het mooie aan deze technologie. Reinier: Maar alleen dat inderdaad goed in de gaten gaat houden. Reinier: Dus zo'n medewerker die blijf je monitoren. Reinier: Een agent moet je ook blijven monitoren. Reinier: Dus er zit een heel stuk, wat ze dan met een mooie Engels woord observability achter. Reinier: Je moet die agent in de gaten gaan houden. Reinier: Wat doet die in de praktijk. Reinier: Vaak komen daar dan weer andere agents bij kijken. Reinier: Want je gaat ook niet als mens elk gesprek nalezen. Reinier: Dus je hebt verschillende agents die dat dan weer in de gaten houden. Reinier: Die scoren die gesprekken. Reinier: En vervolgens kun je dan gaan zien van oké, welke categorieën gesprekken gaan goed. Reinier: Welke categoriegesprekken zijn nog niet zo relevant voor de klant. Reinier: Of lukken soms niet om tot een goed uitkomst te komen. Reinier: Nou, dan kun je dus gaan kijken van waar moeten we dan die verbeteringen toepassen. Joop Snijder: En die observability voor de luisteraar, dus je legt vast welke tools zijn aangeroepen, met welke data. Joop Snijder: Dus je legt eigenlijk alles vast wat er gebeurt. Reinier: Ja, je legt alles vast wat er gebeurt, inderdaad, welke tools zijn er aangeroepen, welke data, wat was de status. Reinier: Maar ook een kwalitatieve score, wordt er door een andere agent gegeven aan het gesprek. Reinier: Heeft die klant nou uiteindelijk gekregen waar die naar zocht als antwoord of als uitkomst. Joop Snijder: Maar moet dat de agent doen, of kan de klant dat ook zelf aan geven? Reinier: De klant geeft het uiteraard ook zelf aan. Reinier: We hebben natuurlijk nog steeds, ik noemde net al de NPS. Reinier: We hebben natuurlijk nog steeds ook de duimpjes en de feedback die de klant geeft. Reinier: Dus dat is natuurlijk ook een heel belangrijke input. Reinier: Maar wat in ieder geval heel belangrijk is, ook in het succes hiermee. Reinier: Is dat je ook die agent benadert als een medewerker. Reinier: Dus ga nou niet tegen die agent zeggen van je mag nooit praten over. Reinier: Of als de klant dit zegt, dan moet jij dat zeggen. Reinier: Want dan zijn we eigenlijk weer terug bij traditionele chatbots. Reinier: In plaats daarvan moet je veel hoger niveau instructies geven. Reinier: Precies zoals je een mens ook zou instrueren. Reinier: Op deze manier vertegenwoordig je ons brand. Reinier: En dit zijn onze styleguides en dit is onze talking points. Reinier: Geef ook voorbeelden. Reinier: En daar kan die agent dan heel goed over redeneren. Reinier: En die vindt dan vanzelf wel uit wat hij wel en niet moet zeggen. Reinier: Dus dat is vaak ook iets waar klanten wel een beetje mee zien worstelen van oh, ik wil het helemaal vastleggen. Reinier: Zeg wel dit, zeg niet dat. Joop Snijder: En dan ben je weer regelgebaseerd bezig. Reinier: En dan ben je weer regelgebaseerd bezig. Reinier: En daar moet je een beetje van afstappen in het ontwerpen van het zeg maar conversationele gedrag van die agent. Reinier: Maar die regels heel belangrijk voor zijn. Reinier: Er zijn natuurlijk dingen zoals je mag een gebruiker nooit bij zijn data laten voordat hij volledig ingelogd en authenticated is. Reinier: Ja, dat is een harde regel. Reinier: Die moet je vastleggen. Reinier: En die moet je ook vooral niet aan een LLM vragen als instructie. Reinier: Van oh, LLM, reasoning model, zorgt er alsjeblieft voor dat die gebruiker wel ingelogd is. Reinier: Nee, laat dat niet over aan de instructies. Reinier: Leg dat vast als een regel. Reinier: Maar als die dan eenmaal uitgevoerd is, die regel en die klant is ingelogd, dan start het creatieve proces weer, waarbij je die agent niet helemaal moet vast instrueren. Joop Snijder: Wie maakt de agent op dit platform? Reinier: De agent wordt gemaakt door dat is ook een hele interessante vraag. Reinier: We zien natuurlijk zelfs bij alle IT een combinatie van business en IT teams. Reinier: En dat is meer dan ooit van belang bij agents. Reinier: Omdat, ik spreek al over werkinstructies en hoe vertegenwoordig je ons brand en al dat soort dingen. Reinier: Ja, dat kan natuurlijk alleen maar met een stevige involvement van business stakeholders. Reinier: Dus wij adviseren ook vaak om het ownership van de agent bij de business te leggen. Reinier: En niet bij IT of bij AI teams. Reinier: Natuurlijk is het maken van zo'n agent wel iets waarbij verschillende expertises samenkomen. Reinier: Dat is overigens niet iets waar je dan allerlei programmeurs per se voor nodig hebt. Reinier: Dat is natuurlijk op een veel hoger niveau. Reinier: Dat je instructies geeft in natuurlijke taal. Reinier: Maar er is wel een stukje configuratie nodig en een stukje release management. Reinier: Dus we zien ook Salesforce Administrators daar een rol spelen. Reinier: Dus zo zie je dat er van. Reinier: En er komen trouwens ook allerlei nieuwe rollen op in die hele agente spaces, is ook interessant om over na te denken. Reinier: Maar zo zie je dat er allerlei verschillende expertise bij elkaar komen. Reinier: Belangrijk is de ownership van die agent, die willen we bij de business zien. Joop Snijder: Waar ik het om vraag, is dat we zien natuurlijk meer van dit soort platformen, die ontstaan, waar je agents op kan bouwen. Joop Snijder: Waar ik nog wel bang voor ben, is, kijk, die eerste agents die werken, maar wie houdt nou in de gaten dat de agent blijft doen wat hij moet doen. Joop Snijder: Als het goed is, beïnvloed je de omgeving. Joop Snijder: Dus je krijgt iets als model drift, datadrift. Joop Snijder: Dus die agent die gaat die blijft doen wat je gevraagd had, maar de wereld verandert. Joop Snijder: Wie houdt dat in de gaten? Joop Snijder: Wie is uiteindelijk zo direct nog de specialist die snapt wat de agent doet. Reinier: We zien dus dat er echt agent centers of excellence komen bij onze klanten waar nieuwe rollen ontstaan, zoals de agent supervisor en de agent coach en de agent recruiter. Reinier: Dat zijn nieuwe rollen die we opzien komen bij onze klanten. Reinier: Ik adviseer daar vaak onze klanten over hoe ze zo'n Center of Excellence dan kunnen inrichten. Reinier: En ja, daar zie je nu gewoon letterlijk de vacatures voor voorbij vliegen. Joop: Ik vind die agent recruiter vind ik wel heel aardig. Joop: Kan je daar wat over vertellen? Reinier: Dat heeft alles te maken met welke taken zien wij als geschikt voor agents. Reinier: En dat is natuurlijk iemand die een heel groot besef heeft ook van de dynamiek van de organisatie. Reinier: En die dan dus echt kan snappen van oké, hier liggen winstkansen. Reinier: Deze processen kunnen volledig, of deels door een agent overgenomen en ondersteund worden. Reinier: En dat is dus iemand die echt op zoek gaat naar use cases die binnen een bedrijf agentfied kunnen worden. Unknown: Mooi. Niels: Meerdere vragen die naar boven gekomen. Niels: Dus ik probeer even de vraag terug te halen die je voorlag. Niels: En je had het over dat je het niet te veel in regels vast moet leggen en sommige zaken wel in regels vast moet leggen. Niels: Hoe maak je nou daar de afweging in van wat moet ik nou echt in het rigide proces vastleggen en waar laat ik de dynamiek. Reinier: Ik adviseer daar toch vaak om wederom terug te komen op het idee dat je die agent. Reinier: Benade die nou als een junior medewerker. Reinier: Bij een junior medewerker, heb je ook zaken zoals data access en role-based access. Reinier: Die junior medewerker heeft natuurlijk ook bepaalde zaken die die wel en niet kan en mag zien. Reinier: O processen die die wel en niet mag uitvoeren. Reinier: Misschien mag die een refund doen naar een klant toe. Reinier: Tot een bepaald bedrag bijvoorbeeld. Reinier: Dat soort processen zijn bij agents niet anders. Reinier: Dus denk op die manier na over hoeveel autonomie wil je die agent geven en welke tools geef je hem ter beschikking. Reinier: En als je het op die manier in een soort mindset vastlegt, volgens mij kun je dan ook comfortabeler worden bij het idee dat die agent wel vrij mag converseren en binnen die grenzen vrij vrij mag acteren. Niels: Het woordje proces trigger je maar mee. Niels: Dus ik was even benieuwd inderdaad, vaak zien we nu dat heel veel processen die er al zijn, worden geautomatiseerd, waar agents voor ingezet worden. Niels: Zie jij ook al een beweging naar dat we opnieuw naar processen gaan kijken, in plaats van maar hetgene automatiseren wat er al is. Reinier: Absoluut en uiteindelijk is daar ook de grootste waarde mee te creëren. Reinier: Een heel ander leuk voorbeeld van een van onze Nederlandse klanten vind ik daarin Bison. Reinier: Het bekende lijmmerk van de Bison kit, die thuis wel eens wat aan het doe-het-zelfen is, die kent het al getwijfeld. Reinier: Nou, dan kan je waarschijnlijk ook de situatie dat er thuis misschien iets stuk gegaan is. Reinier: Je gaat naar de bouwmarkt en je staat daarvoor dat schap en je denkt: mijn hemel, welke lijm is geschikt voor de klus die ik moet uitvoeren. Reinier: Zij hebben nu een agent live op hun website, gebouwd met Agent Force. Reinier: Je kunt een foto uploaden van hetgeen dat stuk is gegaan, misschien een stoelpoot die is afgebroken, ik noem maar wat. Reinier: Die agent die analyseert die foto. Reinier: En die gaat vervolgens advies geven over welke lijm geschikt is om dat mee te repareren. Reinier: Vervolgens ook kennisnemende natuurlijk van mogelijke risico's natuurlijk best wel een dingetje van is die stoel ernaar nog veilig en zo. Reinier: Dus die heeft een heleboel van die veiligheidsinstructies die gepaard gaan met die producten ook in zijn lange termijn geheugen. Reinier: Die analyseert die foto die geeft advies. Reinier: En de wall of confusion, zoals ze dat noemen, waarbij je dan nu de bouwmarkt voor die muur met lijm staan, is daarmee opgelost. Reinier: Nou, dat is een proces dat bestond niet. Reinier: En die agent hebben ze gebouwd omdat die technische mogelijkheid er was. Reinier: En dat is natuurlijk hartstikke waardevol. Reinier: Je doet een QR-code zet je naast je producten in die bouwmarkt. Reinier: en je kunt je klant op een andere manier helpen. Niels: Mooi mooi voorbeeld. Niels: Ik heb vooral de web of confusion inderdaad, omdat er in het web nog meer opties zijn daarin. Niels: Nou, of ontglipt mijn vraag helemaal. Niels: Kom ik zo nog wel even op terug. Joop: Je geeft al mooi twee voorbeelden van agents die in product zijn. Joop: We hebben natuurlijk ook wat vooronderzoek gedaan. Joop: En dan geven jullie aan. Joop: Er zijn 9500 plus agents al in productie. Joop: Maar dat kunnen ook pilots of dat soort dingen zijn. Joop: Wat maakt het nou hoeveel van dit soort agents en zeg maar echt productierijp, die bedrijven draaien. Reinier: Als wij zeggen dat agents in productie zijn, dan zijn ze ook in productie en dat kan natuurlijk zijn dat dat een eerste stap is. Reinier: Maar wij benadrukken wel bij onze klanten dat een pilot in een laboratorium, de zogenaamde proof of concept, dat is niet zo relevant. Reinier: Want je leert pas echt als je die agent laat interacteren met jouw klanten of met jouw medewerkers nogmaals, dat kan natuurlijk ook gericht op de interne medewerker. Reinier: Dus ja, misschien is het een kleinere pilot. Reinier: Zo zijn we zelf ook met agent gestart. Reinier: Eerst met een klein groepje klanten en dan met een grotere groep klanten. Reinier: En vervolgens haal je de login eraf en zet je het publiek beschikbaar. Reinier: Zo zijn we zelf natuurlijk ook opgeschaald. Reinier: Maar productie is productie. Reinier: En we willen dus echt onze klanten direct die agents in een live context laten opereren. Niels: Dat betekent dat je in live context opereert, dat je ook een bepaald vertrouwen moet opbouwen en al mee moet geven. Niels: Want het is wel gewoon klantdata of medewerkenddata. Niels: Het is wel gewoon data waarmee gewerkt wordt dan in productie. Niels: Hoe zorg je ervoor dat dat veilig blijft? Reinier: Nou, dat is een hele belangrijke belangrijke vraag. Reinier: En daarmee kunnen we natuurlijk terugvallen, en hebben we profijt van het Salesforce platform, waar we al 26 jaar lang werken aan procesautomatisering, data veiligheid, role-based access, alle security predicates. Reinier: Ja, dat hele platform, dat is een platform waar we nou agents in laten werken. Reinier: En eigenlijk is een agent daarmee een nieuwe gebruiker van dat platform. Reinier: Maar alle veiligheidsmaatregelen die we op dat platform hebben, al wat ik zeg 26 jaar als Salesforce als uitvinder van de cloud. Reinier: Dat was natuurlijk de enige manier waarop wij konden voortbestaan door die veiligheid zo hoog in het vaandel te hebben staan. Reinier: Dat is een veiligheid waar die agent ook binnen opereert. Reinier: Dus het is heel belangrijk om vast te stellen dat zo'n agent niet zomaar opnieuw from scratch aan de gang gaat en die veiligheidsmaatregelen opnieuw moet uitvoeren. Reinier: Dat hoor je natuurlijk ook nu een beetje. Reinier: Want we hebben heel veel gehoord de afgelopen tijd over OpenClaw en over al die agents. Reinier: Dus er komt ook een zorg over de veiligheidsrisico's van die agents terecht naar boven. Reinier: Maar die OpenClaw agent, ja, dat is natuurlijk nogal een ander verhaal. Reinier: Die installeer je om te beginnen op je laptop. Reinier: Die draait lokaal op je laptop. Reinier: Bovendien kan die ook nog eens veel vrijer opereren op jouw laptop dan dat we zo'n agent natuurlijk laten opereren binnen het Salesforce platform. Reinier: Om een heel belangrijk voorbeeld te geven, trouwens wel interessant naar ik erover nadenken die open claw agents, om dat een beetje te contrasteren met zo'n Agent Force agent. Reinier: Die OpenClaw agent. Reinier: Ik zie dat toch een beetje als de Pippi Langkous van de agent. Reinier: Dat is natuurlijk iemand die een soort ongebreideld optimisme heeft en overal invliegt. Reinier: Volgens mij is ook de quote die haar een beetje wordt toegeschreven. Reinier: Ja, ik heb het nog nooit gedaan, dus ik denk dat ik het wel kan. Reinier: Volgens mij heeft het niet precies zo gezegd, maar dat karakteriseert haar persoon in elk geval een beetje. Reinier: Kijk, wat zo'n OpenClaw agent kan, als je hem iets vraagt, dan gaat hij niet zoals ChatGPT zeggen van ja, daar kan ik niet. Reinier: Dan zegt hij, oh, wacht even, ik kan het niet. Reinier: Ik ga het wel even programmeren. Reinier: Dan ga ik die software installeren. Reinier: Dan ga ik die software draaien en dan kom ik terug met het resultaat. Reinier: Nou, dat is natuurlijk waarom die die handjes krijgt, die claws van die krijgt, zo zit die analogie natuurlijk een beetje in elkaar. Reinier: Die is zo vrij dat die nieuwe skills zelf gaat ontwikkelen, gegeven de vraag van een gebruiker. Reinier: Waanzinnig fascinerend, ook waanzinnig eng. Reinier: En Agent Force is daar natuurlijk op een hele andere manier mee bezig. Reinier: Dat is geen agent die zelf even gaat verzinnen. Reinier: Oh, deze data kan er ook nog wel bij. Reinier: O, ik ga even een nieuwe skill verzinnen. Reinier: Nogmaals, al die guardrails en limits die op dat Salesforce platform zitten, daarbinnen begeeft die agent zich ook. Reinier: Dus het is echt een nieuw type gebruiker, dat op dezelfde manier behandeld wordt als een menselijke gebruiker. Reinier: En daarmee is dat een heel ander speelveld. Niels: En dan hebben we het met name over veiligheid. Niels: Maar mensen moeten ook op een nieuwe manier met nieuwe tooling gaan werken en daar moet vertrouwen op gebouwd worden. Niels: Hoe zorg je ervoor dat vertrouwen gebouwd kan worden? Niels: Wat voor middelen zijn daarvoor? Reinier: Nou, dat is iets waar op heel veel vlakken, denk ik, aangevlogen wordt momenteel. Reinier: Vertrouwen is natuurlijk deels inzicht. Reinier: En dan komen we terug bij die observability, dat je dus kunt zien wat doet die agent. Reinier: Hoe goed is die in het te woord staan van onze klanten. Reinier: Nou, daar zijn al die observability tools die helpen daarbij. Reinier: Te gelijkertijd is het ook een kwestie van inzage gegeven in hoe heeft die agent dan zijn antwoord gevonden. Reinier: Vroeger in de traditionele machine learning heb je zoiets als explainable AI. Reinier: Dat je kunt gaan afpellen van oké, hij doet deze voorspelling. Reinier: Maar waarom doet hij die voorspelling? Reinier: Welke factoren zijn er van belang geweest om deze voorspelling te doen. Reinier: Bijvoorbeeld of een klant wel of niet een product gaat kopen, of dat dan lead wel of niet gaat converteren. Reinier: Dan kun je allerlei voorspellingen over doen en dan kun je ook analyseren van hoe heeft dat model die voorspelling gedaan. Reinier: Dat is bij een agent een stukje lastiger, maar niet onmogelijk. Reinier: Je kunt nog wel steeds afpellen welke acties eruit. Reinier: En met welke context heeft die agent besloten om die acties uit te gaan voeren. Reinier: En dat is dus nog een slag dieper dan observability, dan kom je bij explainability. Reinier: Niet elke businessgebruiker gaat zo diep in het platform zitten, grasduinen. Reinier: Maar het feit dat die data er is en dat de agent builders dat helemaal kunnen napluizen, dat geeft wel een stuk vertrouwen van hoe komt die tot zijn werk. Reinier: Daarmee is het hele black box gedeelte wel een beetje transparanter geworden. Reinier: En een derde heeft heel veel te maken met education, enablement. Reinier: We vinden het heel belangrijk dat al onze klanten en alle medewerkers van onze klanten, eigenlijk het hele ecosysteem, hier steeds meer begrip van opbouwt. Reinier: Dus we doen ontzettend veel aan training van mensen. Reinier: Hoe werkt deze technologie? Reinier: Wat zijn de grenzen? Reinier: Wat is er wel mogelijk, wat is er niet mogelijk. Reinier: En ja, dan zie je ook heel vaak dat toch de schellen van de ogen vallen en dat mensen denken, oh, is het dat zo. 370 Reinier: En dat geeft ontzettend veel vertrouwen ook in de technologie. 371 Niels: Er is echt grenzen. 372 Niels: Wat is zo'n grens waar jullie tegenaan zijn gelopen of waar je organisatie tegenaan op zien lopen? 373 Reinier: Een van de belangrijkste grenzen die wij hebben vastgesteld, dus bij het implementeren van agents in een enterprise context, is wat ik al even noemde het omgaan met die harde regels. 374 Reinier: En daarom hebben we dus onze hybrid reasoning engine gebouwd, die dus echt een hybride vormt. 375 Reinier: tussen het opvolgen van pure logica, hardwired rules. 376 Reinier: En die LLM creativiteit en fluiditeit die een agent heeft. 377 Reinier: En die mix daartussen is cruciaal. 378 Reinier: Dus als je kijkt naar pure LLM-based agents, die zijn niet geschikt voor de enterprise. 379 Reinier: Vol stop. 380 Reinier: En helaas is er een soort beeld ontstaan. 381 Reinier: En je ziet het wel eens in de media van oh Salesforce geeft AI op. 382 Reinier: Ze hebben het vertrouwen verloren. 383 Reinier: Nou, niks is minder waar. 384 Reinier: Salesforce is verre van het vertrouwen verloren in AI. 385 Reinier: Sterker nog, we zijn AI aan het sterker maken door het in te bedden in die enterprise regels. 386 Reinier: En dat is een hele belangrijke grens die we die we hebben vastgesteld. 387 Joop Snijder: Als je kijkt, want het platform gaat er natuurlijk om dat je werkautomatiseert. 388 Joop Snijder: Volgens mij hebben jullie hebben jullie zelfs slogan van if you can describe it Agent Force can do it. 389 Joop Snijder: Zet ik het zo goed? 390 Joop Snijder: Wat zeg je dan tegen die mensen zichzelf dan niet aan het wegautomatiseren? 391 Reinier: Nee, dat denk ik niet. 392 Reinier: Zeker niet. 393 Reinier: Het is natuurlijk zo zoals bij alle industriele revoluties, dat vaak er zorgen zijn over banen die verdwijnen. 394 Reinier: In de praktijk zie je dat er banen bij komen en dat banen vooral veranderen. 395 Reinier: En ik denk dat dat hier ook zo is. 396 Reinier: We zien nu al bij al onze klanten dat zij dus in staat zijn om hun bedrijf en hun operatie verder te laten groeien. 397 Reinier: Doordat iedereen daar gewoon op een productievere manier mee aan de slag gaat. 398 Reinier: En volgens mij, een van jullie noemde dat ook al een beetje in het gebruik van allerlei persoonlijke agents. 399 Reinier: Ja, uiteindelijk is het niet zo dat je minder gaat doen. 400 Reinier: Je gaat vaak meer doen, omdat je meer mogelijkheden hebt, omdat je meer schaalvergroting tot je beschikking hebt. 401 Reinier: En dat is precies wat we bij onze klanten ook zien. 402 Joop Snijder: Zie je dat ook bij jullie zelf intern? 403 Joop Snijder: Want volgens mij de CEO heeft gezegd van 50% van het werk bij ons intern wordt al met AI gedaan. 404 Joop Snijder: Volgens mij zeg maar zijn jullie niet gehalveerd. 405 Joop Snijder: Dus zie je dat zelf intern ook? 406 Reinier: Nou, absoluut. 407 Reinier: Kijk, wij hebben dus bijvoorbeeld een volledig nieuw deel van onze organisatie ingericht. 408 Reinier: Wij noemen dat de forward deployed engineers. 409 Reinier: En dat zijn mensen die al bij Salesforce werk, soms in andere rollen. 410 Reinier: En die zijn nu in die nieuwe organisatie opgenomen. 411 Reinier: En hun nieuwe rol is het ondersteunen van onze klanten bij het inrichten van agents. 412 Reinier: Of dat nou technisch is of meer gericht op de organisatie, wat ik net al even beschreef, dat zijn dus echt investeringen die wij doen in de markt om onze klanten beter en sneller met die agents aan de gang te laten gaan. 413 Reinier: Dus zo zien wij ook al een repurposing van een heleboel skills binnen onze organisatie. 414 Joop Snijder: Wat is nou een agent die je zelf graag gebruikt? 415 Reinier: Nou, een van de agents die ik zelf ontzettend graag gebruik, heeft ermee te maken dat ik bouwt natuurlijk ons platform. 416 Reinier: Ik ben verantwoordelijk voor productontwikkeling. 417 Reinier: Maar daarnaast ben ik ook met veel van onze klanten gelukkig nog bezig. 418 Reinier: Dus het is een wereldwijde rol die ik heb. 419 Reinier: Maar ik ben gelukkige omstandigheid dat ik dat vanuit Nederland kan doen. 420 Reinier: En dus werk ik heel veel met Europese klanten gelukkig ook af en toe nog in mijn eigen tijdzone wat werk te doen. 421 Reinier: En als ik veel met zoveel klanten schakelt, terwijl ik ook die verantwoordelijkheid heb voor productontwikkeling. 422 Reinier: Dan ontbreekt het natuurlijk nog wel eens aan tijd om je heel goed in te lezen in die klant en heel goed voor te bereiden. 423 Reinier: Maar ja, als ik bij een klant kom en die klant heeft toch de verwachting dat ik advies ga leveren over de AI-strategie. 424 Reinier: Dan verwacht die klant terecht dat ik wel weet wat daar precies gaande is. 425 Reinier: Dan kan ik twee dingen doen. 426 Reinier: Dan kan ik een gesprek opzetten met onze sales collega's. 427 Reinier: Dat doe ik natuurlijk ook graag. 428 Reinier: Maar eerlijk gezegd zijn die soms wel eens wat lang van stof. 429 Reinier: Dus dan zit ik een uur te luisteren naar de hele achtergrond van die klant. 430 Reinier: En dat is natuurlijk interessante context. 431 Reinier: Maar als ik dat voor al die klanten moet doen, dan kan ik een platform niet meer bouwen. 432 Reinier: En dus hebben wij onze eigen interne sales agent. 433 Reinier: En aan die sales agent kan ik gewoon zeggen. 434 Reinier: Oké, ik ga me die en die klant overleggen. 435 Reinier: Geef mij een point of view. 436 Reinier: Wat speelt hier allemaal? 437 Reinier: Wat heeft je de afgelopen twee jaar gespeeld? 438 Reinier: Wie zijn de belangrijke stakeholders bij die klant. 439 Reinier: Waar zijn we mee bezig? 440 Reinier: En dan krijg ik een perfecte summary. 441 Reinier: Vervolgens ga ik dat natuurlijk nog even checken met die sales medewerker. 442 Reinier: En ook nog even gauw een telefoontje als ik onderweg ben. 443 Reinier: En krijg ik daar wat laatste feedback op. Reinier: Maar het is een enorme timesaver om gewoon die hele sales point of view. Reinier: en die maakt dus gebruik van alle informatie die wij in onze interne sales systemen hebben van die klant. Reinier: En die wordt dat helemaal afgehecht met onze nieuwe productpropositie. Reinier: Wat gaat er wel passen, wat gaat er niet passen. Reinier: Zo krijg ik een heel genuanceerd point of view op die klant. Reinier: Dat scheelt mij ontzettend veel tijd. Joop: En nog even de tegenovergestelde waar ga je hem zet je ze hem absoluut niet voor in. Reinier: Ik vraag nooit meer aan een agent, geef mij eens vijf punten over. Reinier: Nou, ik denk dat dat ook een soort intellectuele luiheid in de hand werkt. Reinier: En die probeer ik tegen te gaan. Reinier: Dus ik gebruik wel veel modellen en veel agents om mee te sparren. Reinier: Maar ik laat het het oorspronkelijke denkwerk niet aan die agent over. Reinier: Dus ik kom met een eigen voorstel en dan zeg ik schiet hier er gaten in. Reinier: Of verzinnen ze een tegenargument. Reinier: Maar ik probeer dus echt mezelf aan te leren om zelf kritisch na te denken, vervolgens dan naar die agent toe te gaan en dan te gaan sparren. Reinier: En om dus zomaar te vragen van ja, schrijven ze een stuk over. Reinier: Dat vind ik zelf ook heel vermoeiend als ik dat op LinkedIn voorbij zie komen. Joop: Ja, dat heb je zo handje bij mij gevraagd. Niels: Hoe krijgen we de mensen dan toch zover? Niels: Wat voor tip wil je meegeven op learning van jezelf, om inderdaad die moeite in die eerste stap te zetten, in plaats van het gemak maar toe te passen. Reinier: Omdat uiteindelijk het resultaat veel sterker is als je wel eerst zelf nadenkt en dan vervolgens aan die agent vraagt, geef hier feedback op. Reinier: Dan zal je zien dat de conversatie die je met die agent hebt, of met dat taalmodel, ook veel rijker wordt en veel dieper gaat dan het oppervlakkige van geef eens vijf redenen voor. Niels: Ik denk dat hetzelfde bij een collega ook zo verder hoor. Niels: Als je daar gewoon vijf reden voor vraagt of ze zegt van nou doe even binnen deze context vijf punten, inderdaad. Niels: Gelukkig wel. Reinier: Dus ja, zo kom je toch weer bij het punt uit dat je zo'n agent en elk taalmodel eigenlijk moet gaan zien als een medewerker. Niels: Je hebt een wereldwijd beeld van het platform waar je in ontwikkeling bent, zie jij verschillen in de global implementation, dus de globale gebruik van deze oplossingen. Niels: Of zie je ze allemaal wel ermee bezig zijn. Niels: Dus Europa verder? Reinier: We zien het over de hele wereld snel gaan nu. Reinier: Er zijn uiteraard verschillen. Reinier: Een interessant verschil ook vind ik wel, is dat wij zien dat sommige kleine bedrijven zoals we dat hier in Nederland, MKB zouden noemen, soms harder gaan dan de grote enterprises. Reinier: Dat er toch sneller use cases gevonden worden. Reinier: En dat er een snellere verandermindset bij kleinere bedrijven mogelijk is dan bij grote bedrijven. Reinier: Uiteraard is dat geen wede of pers, er zijn natuurlijk altijd uitzonderingen bij de kanten op. Reinier: Maar dat is wel een patroon dat ik zie dat de kleinere organisaties, midden en klein bedrijf, toch snel kunnen schakelen en deze technologie inzetten. Reinier: Aan de andere kant, als grote organisaties er volledig gas op zetten, dan is er ook in één keer heel snel heel veel mogelijk. Joop: Wat kan het platform nou bieden ten opzichte van wat ik zelf zou kunnen maken met een taalmodel en het worden een hele hoop gevibecode? Joop: Ik vind de verschrikkelijke termen. Joop: Hoe verhoudt zich dat? Joop: En zeker, kijk, de beurs is best wel op dit moment hysterisch rondom SaaS-bedrijven, bij jullie ook. Joop: Wat levert nou, zeg maar, zo'n platform als je dat zou moeten zeggen tegen iemand die zeggen van ja, maar ik kan het nu eigenlijk, ik kan nu eigenlijk mijn eigen CRM maken en mijn eigen dataanalyses doen. Joop: Wat is het verschil nou? Reinier: Ja, ik denk dat overigens zelfs de architect van OpenClaw, Peter Stijnberger, die zegt zelf al: ja, vibecode is eigenlijk een soort scheldwoord. Reinier: Hij stapt daar al volledig van af. Reinier: Hij spreekt over agentic engineering. Joop: Terwijl hij geloof ik OpenClore in een weekendje gemaakt heeft of zo. Reinier: Ja, de eerste versie, maar ik geloof dat hij ook in die tijd ongeveer twee uur per nacht sliep. Reinier: Het is ook wel wat dat betreft een bijzonder figuur. Reinier: Hoe dan ook vibecoding, als zo iemand dat al een scheldwoord noem, het geeft ook een beetje aan wat je kunt verwachten als resultaat als je iets gaat vibecoden. Reinier: Kijk, wat kun je vibecode? Reinier: Laatst had ik een collega van me van onze marketingafdeling en die had een fantastische app gevipecode, die ging namelijk een evenementje doen. Reinier: En die wilden een soort Kahoot-achtige ervaring met gewoon wat vragen aan het publiek en dat was dan helemaal branded in de stijl van het evenement en van de klanten die daar waren. Reinier: Dat is natuurlijk een fantastische toepassing om gauw iets te vibecoden. Reinier: De vraag is, wil je ook je CRM-systeem vibecoden met alle klantdata die daarin staat en die compliant moet zijn in regulated industries. Reinier: En waar natuurlijk GDPR en allerlei andere certificeringen een rol spelen, waar 50.000 medewerkers op moeten vertrouwen. Reinier: Dat ook moet werken 24 uur zeven als de support team natuurlijk around the clock gaat. Reinier: Ja, we hebben het hier over enterprise software. Reinier: En het hele idee dat je zulke enterprise software wel eventjes vibecode, dat is natuurlijk eigenlijk als je erover nadenken, een vrij ridicule idee. Reinier: Dus wederom het idee dat zo'n platform bestaat. Reinier: Wat op die schaal kan opereren, dat je daar agents in los laat, dat is precies de sterke combinatie die maakt dat je dit op een veilige manier kunt gaan doen. Joop Snijder: Heel duidelijk trouwens, dankjewel. Joop Snijder: Hebben jullie een eigen taalmodel, gebruiken jullie taalmodellen van leveranciers? Reinier: Ja, wij geloven heel sterk in model pluriformiteit. Reinier: We laten het duidelijk aan onze klanten om zelf ook te werken met verschillende taalmodellen van alle aanbieders, dus ons platform is daarin heel agnostisch. Reinier: Je kunt met alle grote aanbieders werken, net waar je contracten of voorkeuren hebt. Reinier: We zien natuurlijk ook die modellen die ontwikkelen zich heel snel. Reinier: Dus we willen heel duidelijk dat onze klanten zelf die keuze kunnen maken. Reinier: We hebben zelf ook taalmodellen. Reinier: We hebben ook partnerships met grote leveranciers, die ons de mogelijkheid geven om die taalmodellen binnen onze infrastructuur te draaien. Reinier: Sommige van onze klanten die zeggen bijvoorbeeld, ja, wij willen dat de data de muren van Salesforce absoluut niet verlaat. Reinier: Nou, dat kunnen we ondersteunen in zulke gevallen. Reinier: Dan hebben we bijvoorbeeld modellen van Anthropic, die wij binnen onze infrastructuur draaien. Reinier: En dus alle contracten die onze klanten met ons hebben op het gebied van trust, die zijn dan natuurlijk onverminderd geldig, die modellen die draaien volledig binnen onze muren. Reinier: Dus we hebben eigen taalmodellen, vaak zijn die we zelf hebben ontwikkeld, vaak zijn die voor subfuncties van het platform. Reinier: Stel je bijvoorbeeld voor die modellen waar ik het al over had in die observability, die dus bekijken van wat zo'n gesprek nou relevant of niet. Reinier: Of bijvoorbeeld een model dat citations genereert. Reinier: Dus je krijgt een antwoord op een vraag. Reinier: Op welke bronnen was dat antwoord nou precies gebaseerd. Reinier: Dus bronvermeldingsmodellen, die moeten natuurlijk de semantiek vergelijken tussen het antwoord en de bronnen. Reinier: Dat zijn specialiteitsmodellen, specialismemodellen, waarvan we er een aantal zelf hebben ontwikkeld. Reinier: We hebben zelf ook een groot onderzoeksteam dat daarmee bezig is. Reinier: En die draaien we dan natuurlijk ook zelf. Reinier: Maar nogmaals, we werken ook met alle grote met OpenAI, met Gemini, met Anthropic, met Cohere. Reinier: Al die modellen zijn ook beschikbaar via ons platform. Joop Snijder: Duidelijk. Joop Snijder: Wat je wat ik zelf nog wel lastig vind, bij de agents die ontwikkeld zijn, is als het taalmodel namelijk daaronderliggend verandert. Joop Snijder: OpenAI heeft nu aangekondigd dat de GPT-4o-modellen gaan eruit. Joop Snijder: Stel, je hebt je, dit was nou niet echt een model wat je onder een agent centrum. Joop Snijder: Stel, je hebt die daaronder. Joop Snijder: En je krijgt daar een ander model onder, dan gaat je agent zich dus ook anders gedragen. Joop Snijder: Hoe kijk jij daartegen aan? Joop Snijder: Wit gaat natuurlijk heel snel, dat je steeds maar eigenlijk het hart, je motor van je agent. Joop Snijder: Die verandert. Reinier: Ja, en dat is iets om goed in de gaten te houden. Reinier: Je ziet denk ik wel dat naarmate die modellen nu zich verder ontwikkelen. Reinier: Er een zekere mate van robuustheid ontstaat. Reinier: Ik denk dat als die zich volledig anders ging gedragen, dat is volgens mij vooral wel wat we in het begin hadden toen de modellen wat minder sterk waren. Reinier: Maar je hebt gelijk, als je de motor verandert, dan kan je agent zich anders gaan gedragen. Reinier: En daarom hebben we naast die observability ook uitgebreide testingfunctionaliteit. Reinier: Dus dat is nog voordat je de agent live zet. Reinier: Dus als je nou die motor verandert, dan wil je natuurlijk wel eerst in een uitgebreide testingomgeving zien, hoe die agent zich dan gedraagt. Reinier: Nou, dat ga je ook niet doen door uitgebreid zelf tegen die agent te gaan lopen praten. Reinier: Dus daar hebben we allerlei simulatieomgevingen voor. Reinier: Soms met bestaande test cases. Reinier: Of soms gaat het systeem zelfs opnieuw testcases genereren. Reinier: Op basis van bestaande gesprekken die zijn gevoerd, op basis van kennis die er in het systeem is. Reinier: Dus we hebben een heel testing center. Reinier: waarbij je eigenlijk dus die check van hoe gedraagt die agent zich nu kunt doen voordat je die agent met dat nieuwe model live zet. Reinier: Dus eigenlijk de unit test van een agent. Reinier: Ook multiuren, dus met een hele conversatie. Reinier: Kun je vooraf testen, zien hoe die ze gedraagd. Reinier: En als het nou blijkt dat in sommige gevallen die agent zich anders gedraagt dan je had verwacht, hij voert een andere actie uit. Reinier: Of heeft een antwoord gegeven wat niet helemaal klopt, dan wordt dat natuurlijk geflagd. Reinier: En dan zijn er direct ook weer andere agents in het spel die zeggen. Reinier: Oh, maar wacht even, ik vermoed dat dat komt door die instructie. Reinier: Dus ik denk dat je dat beter zo en zo kan formuleren. Reinier: Dus zo is het eigenlijk. Reinier: En zo komen we dus eigenlijk een beetje weg van dat stomme prompt engineering, gaan we naar agent engineering, waarbij je een agent ook gaat helpen in het bouwen en het sterker maken van een agent in dat soort testingcenters. Niels Naglé: Dat betekent ook heel veel agents die met agents samen gaan werken, zijn er nog zaken waar je extra uit op moet letten als het agent to agent is, in plaats van human to agent en agent to human. Reinier: In de ontwikkeling van die agent, dat is waar ik net even aan refereer, zien we dus steeds meer agents ook een rol spelen. Reinier: Waarbij agents de menselijke agent builder gaan adviseren van joh, misschien is dit een goede instructie voor die agent, of ik zou hier juist een harde regel van maken. Reinier: Daar zetten we allerlei agents in om die agent builder te helpen. Reinier: Daarnaast is het natuurlijk ook zo, dat haal je terecht aan, dat een agent, net als een menselijke medewerker uiteindelijk zijn werk het beste doet, als die ook samenwerkt met anderen. Reinier: Dus die agent interoperability, dat is voor ons ook een heel belangrijk thema. Reinier: En dat gaat niet alleen over het kunnen aanroepen van tools door die agent, dat die in andere systemen kan werken, maar dat die ook met andere agents kan samenwerken. Reinier: Nou, daar zijn allerlei protocollen voor in opkomst, of al gedefinieerd. Reinier: A2A is daar een belangrijke van. Reinier: En een heel belangrijk onderdeel van het A2A-protocol. Reinier: Is de discoverability, zoals het dan heet. Reinier: Oftewel, er is gewoon een groot register van agents eigenlijk. Reinier: En elke agent die registreert zich daar en die zegt. Reinier: Ik ben een agent en ik kan deze en deze dingen doen. Reinier: Als iemand mij nodig heeft, dan ben ik er hiervoor je. Joop: Net zo goed als dat er een registratie is op internet. Joop: Als ik ergens naartoe wil. Joop: Dan kan de gevonden worden waar een website staat. Reinier: Precies. Reinier: Ja, en zo is er dus ook een groot registry van agents die allerlei taken kan doen. Reinier: Maar dat registry van agents, dat is dan wel weer iets dat je natuurlijk als bedrijf beheert. Reinier: Dit zijn mijn agents. Reinier: Deze agents mogen op die manier met elkaar samenwerken. Reinier: Deze data mag worden uitgewisseld worden. Reinier: Op deze manier moet de authenticatie gegarandeerd worden tussen die agents. Reinier: Dus het faciliteert ook de handshake tussen die agents. Reinier: En zo kom je dus in een gesprek wat we nu ook heel veel met onze klanten hebben. Reinier: over hoe ziet die volledige agent orchestration lag er dan uit. Reinier: Welke agents heb je en op welke manier mogen die met elkaar samenwerken. Reinier: En zo'n orchestrator agent. Reinier: Ja, je voelt hem al aankomen. Reinier: Dat is natuurlijk weer een agent op zichzelf. Reinier: Dus zo krijg je een soort hiërarchie en een soort netwerk van agents. Niels: Ik ben wel benieuwd met wie voer je dan zoal dat soort gesprekken. Niels: Want we hadden al bestempeld: wie is de eigenaar van de agent? Niels: Dat is de business. Niels: Dit zijn vraagstukken dat is abstract, dat is organisatorisch, maar ook technisch. Niels: Wie zitten er aan tafel als je dit soort gesprekken voert? Niels: Wie denk je hierover na? Reinier: Het is hoofdzakelijk. Reinier: Dit gesprek over agent orchestration is hoofdzakelijk een technisch gesprek momenteel. Reinier: Maar er is eigenlijk altijd een fundamentele interesse en investment van de C-suite van de boardroom in dat gesprek. Reinier: Dus ja, veel vaker dan vroeger zie ik nu gesprekken ontstaan, waar je met AI-architecten en de CEO aan tafel zit. Reinier: En dat we eigenlijk vroeger, hoe graag we ook wilden dat business en IT de handen ineens sloegen, gebeurde dat helaas te weinig. Reinier: En die brug, ik denk dat dat een van de voordelen is die AI ons nu biedt, die brug steeds vaker geslagen. Niels: En waar komt dat door, dat die brug dan nu geslagen wordt. Reinier: Ik denk omdat het zo in elke vezel nu bij mensen doordrongen is dat hier zowel kansen als risico's liggen, dat de interesse per definitie is. Joop: Gaat het dan meer over de kans of de risico's? Reinier: Beide. Reinier: Ja, daar is bijna geen voorkeur in aan te geven. Reinier: Ik denk iedereen voelt en weet en is ervan doordrongen dat die moet gaan schakelen, dat hij hierover moet nadenken, dat die initiatieven moet ontwikkelen. Reinier: En ook iedereen is zich ervan bewust dat dat op een verantwoorde manier moet gebeuren. Reinier: Want als je dat niet doet, daar hebben we denk ik genoeg voorbeelden van gezien. Reinier: Die risico's moeten vermeden worden. Reinier: En dat spanningsveld, dat is natuurlijk waar al die interesse vandaan komt. Joop: Hoe zie jij zeg maar de ontwikkeling van agents voor de aankomende jaren. Joop: En laten we laten we er drie pakken. Joop: Want heel veel verder kunnen we niet kijken. Reinier: Ik vind drie al heel ver. Joop: Ja, toch? Reinier: Ik denk dat agents inderdaad steeds vaker die combinatie in zich gaan hebben van heel sterk vastgelegde guardrails. Reinier: Met redeneercapaciteiten. Reinier: En dat is niet alleen iets dat vanuit Tech komt, zelfs binnen de wetenschap wordt daar nu heel veel aandacht aan besteed. Reinier: Neuro symbolic hybridization, noemen ze dat. Reinier: Neuro, dat is het redeneerstuk, dat zijn de LLMs, dat is de creativiteit. Reinier: En symbolic. Reinier: Ja, dat is de harde logica. Reinier: En de hybride daartussen is precies wat we gaan zien. Reinier: Daarnaast zie je natuurlijk ook de persoonlijke agents steeds verder opkomen. Reinier: En we hebben dus al even gehad over open clo. Reinier: Nou, daar zijn van allerlei zorgen terecht over nu qua veiligheid. Reinier: Maar die persoonlijke agents gaan wel een vlucht nemen. Reinier: En die gaan er wel steeds meer komen. Reinier: Je ziet dus Peter Steinberger is niet voor niks nu bij OpenAI in dienst sinds twee dagen. Reinier: Om daar de personal agent toekomst vorm te gaan geven. Reinier: Dus zoals we ooit een ChatGPT moment hadden, gaan we ook een personal agent moment hebben, waarbij je dat opeens wel op je telefoon krijgt. Reinier: En dan ontstaat iets heel interessants. Reinier: Want dan heeft iedereen zo'n persoonlijke agent. Reinier: En dan moeten bedrijven zich dus steeds meer gaan verhouden, ook tot de persoonlijke agents van die klanten. Reinier: Je krijgt eigenlijk als bedrijf een nieuwe koper erbij. Reinier: Niet alleen maar de menselijke koper, maar de agente buyer. Reinier: En zo die A2A toekomst, daar gaan we heel veel over zien. Niels: Dan ben ik wel nieuwsgierig. Niels: Stel, je hebt namelijk die agent. Niels: Wat mag die agent voor jou absoluut niet doen? Reinier: Als ik mijn persoonlijke agent heb, waar mag die voor mij? 645 Reinier: Ik denk dat ik mijn agent wel beperken in het uitvinden van nieuwe skills. 646 Reinier: Ik vind dat nog best wel een hele grote stap. 647 Reinier: Zolang ik zelf de controle hebt over welke tools en welke acties hij mag uitvoeren, heb ik die dat ik nog controle heb. 648 Reinier: Als hij dus zelf GPT 5.3 Coach Park mag gaan aanroepen en zelf zijn eigen code mag gaan herschrijven, of nieuwe skills mag uitvinden die hij dan op basis van mijn verzoek gaat uitvoeren, dat vind ik momenteel nog wel een brug te ver. 649 Joop: Zijn er dingen waar jij wakker van ligt rond deze technologie? 650 Joop: En dat kan zijn, of werk. 651 Joop: Ja, maar ook kan ook positief zijn. 652 Joop: Dat je denken van ja, ik word er zo opgewonden van dat ik daar wakker van ligt. 653 Reinier: Wat ik heel interessant vind, en dan komen we toch even terug bij die OpenClaw movement die we hebben gezien. 654 Reinier: Da was natuurlijk ook een tijdje een gigantische hype gaande over het moltbook. 655 Reinier: Dat was het sociale netwerk waar die agents dan bij elkaar kwamen en zo genaamd alleen met elkaar gingen praten zonder menselijke involvement. 656 Reinier: Een paar dagen lang was dat een enorme hype. 657 Reinier: Uiteindelijk bleek dat die menselijke involvement toch wat groter was dan aanvankelijk gedacht. 658 Reinier: Je kon namelijk zelf ook via die API daar berichtjes neerzetten. 659 Reinier: Dus was het allemaal wel van de agents kun je achteraf afvragen. 660 Reinier: En wat ik een beetje jammer vind, is dat nu dat die hype een beetje zeg maar afgenomen is, hebben mensen een beetje het gevoel van ja, dat was een mythe en de myth is bustert. 661 Reinier: En zie je wel die AI agents die komen helemaal niet samen in netwerken. 662 Reinier: En die gaan helemaal niet samen slimme dingen opnieuw lopen uitvinden. 663 Reinier: En ik vind het een beetje jammer dat na zo'n hype dan in één keer die val naar beneden zo hard is. 664 Reinier: Want ik denk namelijk dat er heel veel potentie ligt in het bij elkaar brengen van heel veel agents. 665 Reinier: En dat als je heel veel agents bij elkaar brengt, dat er wel degelijk wat nieuws gaat ontstaan. 666 Reinier: En dat zeg ik niet alleen, er is heel veel onderzoek wordt er momenteel naar gedaan. 667 Reinier: Wat krijg je nou precies als je een swarm van agents bij elkaar zet. 668 Reinier: En dat zich natuurlijk in veel meer futuristische scenario's. 669 Reinier: We hebben het dan even niet meer over het implementeren van een service center agent. 670 Reinier: Maar als je dus echt gaat nadenken over scientific discovery, wetenschappelijke vooruitgang, kan AI zelf nieuwe wetenschappelijke ontdekkingen doen. 671 Reinier: En er zijn heel veel mensen die zeggen. 672 Reinier: Nee, dat kan allemaal niet. 673 Reinier: Want het is allemaal patroonherkenning en het is allemaal extrapolatie van wat er nu al is. 674 Reinier: Dus AI kan nooit zelf iets nieuws verzinnen. 675 Reinier: Daar ben ik het fundamenteel mee oneens. 676 Reinier: Ik geloof er heilig in dat AI wetenschappelijke ontdekkingen kan doen, gaat doen. 677 Reinier: En in sommige gevallen zelfs al doet. 678 Reinier: En dat zit hem in die agent swarms. 679 Reinier: Als je dus agents bij elkaar gaat brengen die zelf kunnen gaan interacteren. 680 Reinier: En doe je met heel veel agents. 681 Reinier: Dan ontstaat daar een nieuw inzicht uit. 682 Reinier: En wat dat betreft gedragen ze zich vergelijk dat vaak een beetje met nieren. 683 Reinier: Dat is natuurlijk algemeen bekend dat mieren heel sterke dieren zijn. 684 Reinier: Mieren kunnen zelf een brug vormen. 685 Reinier: Die kunnen zelf een bepaalde afstand overbruggen, zodat soortgenoten uit hun kolonie dan naar de picknickmand kunnen. 686 Reinier: Die agents gaan ook dat soort bruggen vormen. 687 Reinier: En ik ben er heilig van overtuigd dat die agent swarms tot wetenschappelijke ontdekkingen gaat leiden. 688 Reinier: En je ziet daar nu al heel vette voorbeelden van. 689 Reinier: Dus als je mij vraagt, wat houdt je wakker in positieve zin met name, dan is het dit. 690 Reinier: Waar gaat die wetenschappelijke vooruitgang naartoe als we die agent swarms bij elkaar gaan brengen? 691 Joop: Leuk perspectief. 692 Niels: Kan je zo eens een voorbeeld noemen? 693 Reinier: Nou, één voorbeeld is, dat heeft dan te maken met de biochemie. 694 Reinier: We ken allemaal de voorbeelden van hoe AI met protein folding de fysieke eigenschappen van een eiwit kan voorspellen. 695 Reinier: Iets waar vroeger natuurlijk heel veel labwerk voor nodig was, voordat je kunt vaststellen hoe een eiwit zich gedraagt. 696 Reinier: Wat als je dat eiwit op kan vouwen in de 3D-ruimte, dan weet je hoe die zich gedraagt en welke rol die speelt, bijvoorbeeld in een biologisch proces, denk aan medicatie, maar denk ook aan de wasverzachter. 697 Reinier: Dat zijn allemaal eiwitten. 698 Reinier: Dus het is heel relevant om te snappen hoe die eiwitten zich opvouwen en zich gedragen in biochemische processen. 699 Reinier: Nu zijn er modellen die niet alleen kunnen voorspellen hoe zo'n eiwit zich opvouwt en hoe die zich dus gedraagt. 700 Reinier: Maar er zijn ook modellen die een nieuw eiwit kunnen ontwerpen. 701 Reinier: En dat zijn gespecialiseerde diffusion modellen. 702 Reinier: Die dus, net zoals dat je nieuwe video's of nieuwe afbeeldingen kunt genereren uit niks, kan zo'n model ook een nieuw eiwit uit niets genereren. 703 Reinier: En nu is de vraag: is dat nou nodig? 704 Reinier: Is het nou nodig om zo'n heel gespecialiseerd model te hebben, dat een nieuw eiwit kan ontwikkelen. 705 Reinier: Uit ruis, als het ware. 706 Reinier: En het antwoord daarop interessant genoeg is nee, dat is niet nodig. 707 Reinier: Als je hele simpele taalmodellen, waarvan mensen nu zeggen, oh, dat is een auto complete. 708 Reinier: Die voorspelt gewoon het volgende woord. 709 Reinier: Als je dat soort simpele modellen bij elkaar brengt, dan blijkt dat die beter nieuwe eiwitten kunnen ontwikkelen dan die heel gespecialiseerde diffusion modellen. 710 Reinier: En dat is de kracht van zo'n agent swarm. Reinier: Dus het hele idee dat mensen nu hebben, zie je wel dat modboek was allemaal nep. Reinier: Agents bij elkaar die verzinnen helemaal niks nieuws. Reinier: Dat is een onterecht idee. Reinier: En dit is een voorbeeld van hoe dat dus nu al toegepast wordt. Joop Snijder: Mooi. Joop Snijder: Ik ga erover nadenken, want ik was ook een van degene die had gezegd van dat moltbook. Joop Snijder: Zo keek ik erna. Joop Snijder: Ik vind het een prikkelend prikkelende manier om daarna te kijken. Joop Snijder: Dankjewel daarvoor. Joop Snijder: Is er een tip die je aan de luisteraar mee zou willen geven hoe je begint met agents. Reinier: Een van de belangrijkste dingen, en we hebben het al een beetje aangestipt, de mindset verandering. Reinier: Het bouwen van agents moet je niet beschouwen als het ontwikkelen van software. Reinier: Maar beschouw het als een project binnen je organisatie. Reinier: Welke nieuwe medewerkers ga ik aannemen? Reinier: Welke nieuwe processen ga ik proberen in te richten? Reinier: Ik ook nog even terug aan de wall of confusion van de lijm in de bouwmarkt. Reinier: Denk na over welke dingen je nu nog niet doet, die je wel zou kunnen doen, die heel veel waarde opleveren, als je die ongebreidelde capaciteit van die agents gaat inzetten. Reinier: En ik denk dus die mindset van zie het als een nieuwe medewerker en niet als een stuk softwareontwikkeling. Reinier: En denk na over hoe kan ik mijn schaal vergroten. Reinier: In plaats van alleen maar welk proces vind ik vervelend om uit te voeren of kan ik automatiseren. Reinier: Denk dus na meer over die groei en over die toekomst. Reinier: Ik denk dat vanuit die mindset een goede agendic transformatie zich vanzelf gaat aandien. Joop Snijder: Mooi, dankjewel voor deze tip. Joop Snijder: Dankjewel sowieso voor al je inzichten en dat je hier wilde zijn. Reinier: Ja, leuk. Joop Snijder: Leuk dat je weer luisterde naar deze aflevering. Joop Snijder: Vergeet je niet te abonneren via je favoriete podcast app. Joop Snijder: Dan mis je geen aflevering. Joop Snijder: Tot de volgende keer.