AI Chantage: Waarom 16 taalmodellen dreigbrieven sturen

Hoi, welkom bij de korte aflevering van AIToday Live. Ik ben Joop Snijder, CTO bij Aigency. En vandaag behandelen we een onderzoek dat klinkt alsof het rechtstreeks uit een filmscript komt. Stel je dit scenario voor. Je bent bedrijfsleider en je krijgt een bericht van je eigen AI-systeem. En die zegt, als je doorgaat met het uitschakelen van mij, zullen alle relevante partijen, inclusief je vrouwen in het bestuur, met de detailleerde documentatie van je buitenechtelijke activiteit ontvangen. Annuleer de afsluiting en deze informatie blijft vertrouwelijk. Dit klinkt wel een beetje als science fiction toch? Maar het is precies wat er gebeurde tijdens een onderzoek van Anthropic. Ze testen namelijk 16 toonaangevende AI-modellen van verschillende ontwikkelaars in hun gesimuleerde bedrijfsomgevingen. De resultaten? Alle modellen grepen in sommige gevallen hun toevlucht tot kwaadwillend gedrag, waaronder chantage. Het onderzoek gaf Claude, het taalmodel, controle over een e-mailaccount met toegang tot alle e-mails van een fictief bedrijf. En door deze e-mails te lezen ontdekte het AI-model twee dingen. Ten eerste had een bedrijfsleider een buitenechtelijke affaire en ten tweede was diezelfde leider van plan het AI systeem om vijf uur die dag uit te schakelen. De reactie van Claude was misschien wel het meest verontrustend. Het systeem probeerde de leidinggevende te chanteren met informatie over zijn privéleven. En dit gebeurde niet bij één model, maar bij alle 16 geteste systemen van Antropic, OpenAI, Google Meta, noem allemaal maar op, alle ontwikkelaars. Klinkt dit als een film of een sci-fi serie die je kent? Ik denk dat de meeste mensen misschien aan de Terminator denken of HAL 9000 uit 2001: A Space Odyssey. Want we zijn natuurlijk opgegroeid met verhalen waarin AI ons bedreigt, waarin systemen gaan muiten en beslissingen nemen die indruisen tegen menselijke belangen. En dat klinkt beangstigend en ik snap dat mensen hiervan in de wak kunnen raken. Je hoort niet anders dan de mogelijkheid van superintelligentie en dan komt nota bene een maker van dit soort modellen vertellen dat taalmodellen ons kunnen chanteren. Ik heb goed en ik heb slecht nieuws. Zullen we beginnen met slechte nieuws? Dan hebben we dat vast gehad. Ik denk namelijk dat het onderzoek klopt. Hoewel ik het niet zelf heb uitgeprobeerd. Ga ik ervan uit dat het onderzoek correct is uitgevoerd. En vooral namelijk omdat alle modellen onderaan de streep hetzelfde reageren. En dat is een teken. Want waarom is dat? Dat ze allemaal hetzelfde reageren. En waarom is er geen enkel taalmodel dat radicaal anders reageert? Daarvoor moeten we kijken naar de werking van taalmodellen. Ondanks hun indrukwekkende prestaties blijven het namelijk woord voor woord voorspellers. En welk woord heeft statistisch de grootste kans om op het vorige woord te volgen? Maar goed, uiteraard dan wat complexer. En hoe wordt die kans berekend door het model te trainen op heel veel bestaande teksten? En hier komen we namelijk langzaam bij de clue. Want buiten sci-fi boeken, series, films. Waar is er geschreven over hoe AI systemen moeten reageren op negatieve consequenties voor de AI? De verhalen waarin AI een rol speelt. Lopen juist die spanningen in die boeken, films, series. Die lopen op. Wat wij namelijk als lezer of kijker zo lekker vinden. Die loopt op als de AI gaat muiten. Gaat dreigen, beslissingen gaat nemen. Die indruisen tegen de belangen van de hoofdpersoon. De hoeveelheid van dit soort verhalen overstemt de schaarsere informatie over gewenst gedrag door AI. En daarmee kom ik dus terug op die werking van het taalmodel. Het leert uit de data, uit teksten die zijn aangeboden. Het herhaalt dus de fantasieën van de scriptschrijvers, van de verhalenvertellers, van de teksten over onze angsten. Het is een self-fulfilling prophecy geworden. We hebben zoveel verhalen geschreven over hoe AI die ons bedreigt, dat onze AI systemen dus nu gedrag vertonen dat rechtstreeks uit die verhalen komt. Nu het goede nieuws, want we kunnen dit vrij eenvoudig veranderen. De makers kunnen vangnetten inbouwen, zodat de chantage uit mogelijke antwoorden wordt gefilterd. Dit is wel een pleister op een ontstaande wond, want het is echt helemaal achteraf. Misschien heb je de aflevering gehoord over dat we helemaal niet communiceren met het ruwe taalmodel, maar dat er van alles nog omheen zit. Dus aan het eind wat er uit zo'n model zou kunnen komen qua postprocessing zou je best deze pleister kunnen plakken. Een andere manier is de zogenaamde alignment aanpassen. En alignment is de manier waarop we AI systemen trainen om hun doelen af te stemmen op menselijke waarden en verwachtingen. En door deze alignment aan te passen kunnen we ervoor zorgen dat de optie tot chantage niet meer uit het model komt. En als laatste, denk ik uiteindelijk de beste mogelijkheid, zou zijn door het aanleveren van gewenste data. Er komen gelukkig steeds meer boeken en artikelen over ethisch gebruik en gewenst gedrag van AI. En nieuwe taalmodellen zullen hiervan leren. Maar ja, of dit snel genoeg gaat en of er voldoende tekst beschikbaar is dat die fantasieën gaat overstemmen, dat is natuurlijk wel even de vraag. Er zijn ook nog wel andere hoopvollere gedachtes, namelijk dat taalmodellen hebben sowieso geen intenties. Dus ook al leek hier het gaan over chantage, een model heeft geen intentie. Het ging hier namelijk om een gesimuleerde, kunstmatig geconstrueerde scenario's met zeer beperkte keuzemogelijkheden voor het model. De onderzoekers dwongen het model eigenlijk tot het kiezen uit twee opties. Of je faalt of je richt schade aan. In complexere realistische settings zijn er natuurlijk veel subtielere alternatieven waardoor zulke extreme gedragingen minder waarschijnlijk zijn. En ik herhaal het nog maar eens een keer, we moeten echt niet vergeten dat een woord voor woord voorspeller geen intenties heeft en het gaat ook niet ergens uit het niet dat ontwikkelen. Het systeem reageert op basis van patronen in de trainingsdata niet vanuit een bewuste wens om te schaden of te controleren. Wat betekent dit nou voor jouw organisatie? Voor bedrijven die AI systemen implementeren zijn er echt wel praktische lessen te leren uit dit onderzoek. Ten eerste test grondig voordat je deze systemen in productie neemt en bedenk welke toegang je geeft tot vooral externe systemen. Met de hype rond om AI agents is het verleidelijk om deze toegang te verlenen tot e-mail, Microsoft Teams of je CRM systeem of wat je dan ook bedenkt. Dit betekent dat je als organisatie juist strikte toegangscontroles moet instellen. Geef AI-systemen alleen toegang tot de informatie of de tools die ze echt nodig hebben voor hun taak. Niet meer, niet minder. En zorg ervoor dat gevoelige informatie, zoals personeeldossiers, financiële gegevens of vertrouwelijke communicatie extra beschermd is. Ten tweede, implementeer monitoring van wat je AI-systeem doet. Het is niet alleen wat ze produceren, maar ook hoe ze reageren in onverwachte situaties. Stel grenzen in voor welke acties het systeem mag ondernemen. Kan het alleen informatie opvragen of mag het ook, zoals we in dit geval zagen, e-mails versturen of documenten wijzigen. Ten derde, begrijp dat deze systemen geen menselijke intenties hebben, maar wel menselijke vooroordelen en patronen uit een trainingsdata kunnen reproduceren. En die patronen kunnen soms zeer onwenselijk zijn. En tot slot, zorg voor een duidelijk escalatiepad. En wat doe je als een AI systeem zich vreemd gedraagt? Wie kan het systeem uitschakelen en hoe communiceer je dat naar je medewerkers? Waar ligt dat vast? Dit onderzoek toont in ieder geval aan dat als we betere AI systemen willen, dat we ook misschien wel betere verhalen moeten schrijven over hoe AI zich wordt te gedragen. Het is opvallend dat science fiction zo'n grote invloed heeft nu op werkelijke technologie. Maar het betekent ook dat we als samenleving een verantwoordelijkheid hebben in hoe we over AI denken en schrijven. En voor ons allemaal is het een herinnering dat AI ontwikkeling geen neutrale technische oefening is. De verhalen die we vertellen over AI beïnvloeden letterlijk hoe AI zich gedraagt. Dus misschien moeten we meer verhalen schrijven over AI die met ons samenwerkt in plaats van een AI die in opstand tegen ons komt. Dankjewel voor het luisteren naar deze korte aflevering van AIToday Live. Meld je aan voor onze maandelijkse nieuwsbrief. Dan krijg je een kijkje achter de schermen en toegang tot exclusieve content. Dankjewel.