Menselijke feedback en AI: Samen op weg naar begrijpelijke systemen

Elise, zou je jezelf willen voorstellen aan onze luisteraars?

Ja, hallo, leuk dat ik er ben. Gezellig. Nou ja, ik ben Elise, ik ben 24 jaar. Ik ben momenteel een tweedejaars Artificial Intelligence master's student aan de Radboud Universiteit in Nijmegen. En ik ben momenteel mijn scriptie aan het schrijven, mijn afstudeersscriptie hier bij Info Support. En daarbij doe ik onderzoek naar hoe we interpreteerbare modellen beter kunnen maken met gebruik van technieken die ChatGPT ook gebruikt.

Kun je iets vertellen over je onderzoek? Wat is de beginsituatie en wat ga je proberen te veranderen?

Op dit moment zien we eigenlijk dat heel veel AI-modellen die gebruikt worden, bijvoorbeeld in de zorg, nog erg van die zwarte doos-modellen zijn. Dus we weten: er komt iets in en er komt iets uit, maar eigenlijk weet niemand zo goed hoe dat werkt. En zelfs de makers van zulke modellen weten vaak niet hoe dat goed werkt, omdat er heel veel gebeurt in zo'n model wat gewoon niet begrijpbaar is. Een zwarte doos-model is eigenlijk een AI-systeem waarbij de interne werking ondoorzichtig is. Je kunt input geven en output krijgen, maar het redeneerproces ertussenin blijft verborgen, zelfs voor de makers van het model. Dit is problematisch, vooral in kritieke toepassingen waar transparantie essentieel is. Nu heb je dus een bepaalde techniek die dat soort modellen wel begrijpbaar maakt voor de gebruiker en degene die het model maakt. Maar wat we eigenlijk zien, is dat dit soort modellen die lopen nog wat achter op de beste zwarte doos-modellen die momenteel op de markt zijn. En wat we dus willen gaan proberen, is om een bepaalde techniek te gebruiken die ChatGPT ook gebruikt, die eigenlijk het model verbetert. En daardoor willen we het verschil tussen de zwarte doos-modellen en de interpreteerbare modellen kleiner maken, zodat je makkelijker kan kiezen voor de interpreteerbare modellen.

Wat is het probleem met die zwarte doos-modellen?

Het probleem is eigenlijk dat als je bijvoorbeeld dit soort modellen in hele kritieke situaties gaat gebruiken, zoals in de zorg bijvoorbeeld, of stel je wilt een hypotheek aanvragen, dan weet je eigenlijk niet zo goed waarom er een beslissing wordt gemaakt. Dus stel in de zorg: er wordt bloeddata of borstkanker-mammogrammen naar zo'n model gestuurd en die zegt 'Nou, jij hebt kanker.' Oké, goed. Hoe kom je daar dan bij? Waarom? En op dit moment wordt dat dus niet uitgelegd. En in de Europese Unie zijn ze echt enorm bezig met regelgeving maken die ervoor zorgt dat juist in dit soort kritieke situaties alleen maar modellen worden gebruikt die transparant zijn en die vertellen van 'oké, dit is waarom ik het doe'. En juist omdat dit soort regelgeving erg opkomend is – vorige week heeft de EU een goedkeuring gegeven op een van deze regelgevingen – juist daarom is het nu relevant om interpreteerbare modellen juist te verbeteren, zodat de keuze makkelijker wordt gemaakt om voor zo'n model te kiezen.

Er bestaan toch al mogelijkheden om uitleg te krijgen van hoe computer vision modellen redeneren, zoals heatmaps? Wat maakt jouw aanpak anders?

Dat is eigenlijk wel heel leuk, want je hebt dus die heatmaps en je hebt nog veel meer van dat soort technieken. Maar die zijn vooral eigenlijk begrijpbaar voor mensen die zo'n model zelf bouwen of die de techniek hebben gemaakt. Maar de bedoeling van zo'n uitlegbaar model is dat juist de gebruiker, de eindgebruiker – nou stel we hebben in de zorg dat een dokter, dat is een arts – dat die het ook kan begrijpen. Dus dat hij zegt van 'oh oké, het model vertelt mij dit, dus dit is een tumor, en nou dat zegt hij mij omdat de dichtheid dit is of de vorm is dat. En daarom komt hij tot de conclusie gezamenlijk dat het een bepaalde tumor is.' Een heatmap is een visualisatietechniek waarbij over een foto een gekleurde laag wordt geprojecteerd die aangeeft welke delen van de afbeelding het model belangrijk vond bij het nemen van een beslissing. Dit is echter een post-hoc verklaring – een verklaring achteraf – die niet altijd accuraat weergeeft hoe het model daadwerkelijk redeneert.

Dus het verschil is dat jouw model zelf de redenatie geeft, terwijl heatmaps een schatting zijn van hoe het model denkt te werken?

Ja, klopt. Dus eigenlijk wat je bij heel veel van die technieken ziet die nu heel erg veel gebruikt worden, die zijn allemaal aan het eind, die worden zeg maar toegevoegd. Dus eigenlijk heb je nog steeds een zwarte doos waar eigenlijk een soort van vergrootglas een beetje achteraf op wordt geplakt. Terwijl waar je eigenlijk naartoe wil werken, is dat zo'n model van zichzelf al uitleg gaat geven. Dus dat die zegt van 'oké, dit is mijn redeneringsproces. Dus ik zeg dat dit een kat is, omdat ik dit, dat en dat zie.' En niet achteraf van 'oké, iemand interpreteert mijn...' Het is een beetje alsof je zegt van: je denkt ergens aan en iemand interpreteert jouw woorden als iets. Als in: ik denk dat jij boos bent, maar dat weet je niet, want jij zegt dat niet zelf. Het is gewoon hoe iemand jouw woorden interpreteert.

Dus eigenlijk neemt het model tijdens het redeneren al mee hoe hij tot die conclusie komt?

Ja, dus terwijl het draait. Het model waar wij naar kijken, terwijl hij draait, kijkt hij naar bepaalde delen van vogelfoto's. En dan denkt hij van 'oké, nou, deze delen van een vogel, daar kijk ik dan naar. En die lijken op delen van vogels die ik al een keertje eerder heb gezien.' Dus een beetje als je zelf ook naar een vogel zou kijken, dat je denkt 'hé, hij heeft een rood bosje'. Nou, ik weet dat er – ja, je hebt een roodborstje, je hebt volgens mij ook nog een andere vogel die een rood bosje heeft. Nou, laat ik eens kijken wat ik nog meer kan vinden van die vogel waar die erop lijkt. Is het dan de ene vogel of is het de andere vogel? Uiteindelijk bedenk je van 'nou ik zie dat het kopje op een roodborstje lijkt, hij heeft een rood bosje, hij heeft van die schattige voetjes, dus ik denk dat het een roodborstje is.' En dat is eigenlijk hoe het model waar ik mee werk ook redeneert. Dat legt hij dus eigenlijk inderdaad, terwijl hij dat probeert te voorspellen, dat ook uit.

Wat gebeurt er als het model een verkeerde conclusie trekt?

Wat je dus eigenlijk ziet: stel hij doet het wel verkeerd, nou dan gaan we dus kijken waarom doet hij dat dan verkeerd. Nou vaak zie je dat hij gaat kijken naar bepaalde delen van zo'n foto die dan eigenlijk niet relevant zijn. Dus stel je voor, als we het toch over vogels hebben, dat we een meeuw hebben. Nou als je zelf indenkt aan een meeuw, dan denk je 'hé die zit eigenlijk wel vaak op het strand of bij het water'. Dus hoe zou zo'n foto van een meeuw eruit zien? Nou met waarschijnlijk een blauwe achtergrond of met zand ofzo. Stel je nou voor dat je een foto hebt van een mus die ook bij het water zit. Zo'n model gaat dan denken 'oh maar als ik water zie, dan denk ik zeemeeuw'. Dus dan gaat hij dus bedenken van 'nou ik vind dat eigenlijk wel heel belangrijk, water, dus ik denk dat deze mus een zeemeeuw is.' En zo doet hij dat dus verkeerd. En dat kunnen wij als mensen dan weer interpreteren, dat we denken van 'hey waarom zegt hij dat dan?' En omdat hij dan zegt van 'nou, ik heb deze achtergrond een keer eerder gezien met deze zeemeeuw, dus zeemeeuw'. En dat is dus eigenlijk precies wat we ook proberen uit te filtreren.

Hoe werkt het proces van het trainen van dit model precies?

Tijdens het trainen gaat het model allemaal stukjes van de foto pakken. En dat traint hij mee, waardoor je als je een nieuwe foto krijgt, dat hij gaat kijken van 'welke van die stukjes van de foto komen overeen met waar ik geleerd heb'. En op die manier kan hij aangeven van 'dit stukje van de snavel lijkt typisch op deze snavel die hoorde bij een roodborstje. Dit stukje van een vleugel lijkt op dit stukje van een vleugel en die hoorde ook bij dingen die ik heb gezien tijdens de training van een roodborstje.' Het is dezelfde manier – misschien bij vogels is het wat abstracter – maar als je een eigen huis hebt, word je aangeslagen voor de WOZ-waarde. Wat wordt er dan gedaan? Jouw huis wordt niet genomen als uitgangspunt. Tenminste, er wordt gezegd van: de WOZ-waarde, die bepalen we omdat jouw huis lijkt op deze huizen om jou heen, om deze reden. En daarom denken we dat jouw huis zoveel waard is. Dat is eigenlijk wat het model doet. De WOZ-waarde (Wet Waardering Onroerende Zaken) is de geschatte waarde van een woning die door de gemeente wordt bepaald. Deze wordt onder andere gebruikt voor het berekenen van gemeentelijke belastingen. De waarde wordt bepaald door vergelijking met soortgelijke woningen in de buurt – een proces dat vergelijkbaar is met hoe het prototype-gebaseerde model werkt.

Zijn er bepaalde eisen aan de inputdata waar rekening mee gehouden moet worden?

Nee, in principe niet. Eigenlijk maakt het aan de inputdata niet heel veel uit op dit moment. Dus de dataset die we gebruiken, die kijkt toevallig naar vogels, maar in principe kun je het op elke data die te maken heeft met foto's of andere dingen gebruiken.

En hier komt de menselijke feedback in beeld. Hoe ga je dat precies aanpakken?

Wat wij dus proberen te verbeteren, is dus dat hij eigenlijk leert van 'oké, dit zijn de delen van foto's waar ik wel naar moet kijken en dit zijn delen waar ik niet naar moet kijken'. En dit is dus eigenlijk waar wij mensen in de loop komen. En wat ik ga doen, is dat ik aan mensen ga vragen van 'hé, dit is de uitleg van het model, vertel mij wat je daarvan vindt. Vertel mij wat je een goede uitleg vindt en vertel me wat je geen goede uitleg vindt.' En die uitleg van de mens – dat is dus zijn feedback – die zegt van 'dit is wel goed om naar te kijken, dit is niet goed om naar te kijken'. En eigenlijk proberen we met de uitleg van de mens de uitleg van het model te verbeteren. Dus we proberen eigenlijk het model af te leren om naar de verkeerde dingen te kijken, maar ook aan te leren om juist naar de goede gedeeltes van de foto te kijken.

Wat is dan de relatie met ChatGPT in dit verhaal?

ChatGPT en dat is met meerdere AI-chatbots – wat je vaak hoort, volgens mij was het laatst met Bing ook: als je hem dan vragen ging stellen, werd hij op een gegeven moment heel boos, of dan kwam hij over alsof hij boos was. En dan gaf hij je antwoorden dat je denkt 'oh, oké'. Of je kon hem dingen vragen die eigenlijk niet helemaal door de beugel konden en daar kon hij ook eigenlijk wel goed antwoord op geven. Dus je denkt 'oh, dat is niet helemaal de bedoeling om dat aan bepaalde gebruikers te laten zien.' Nou, wat ChatGPT dus heeft gedaan, is dat hij eigenlijk het model heeft geleerd om bepaalde antwoorden niet te geven, en ook om wat vriendelijker te reageren. En hoe hij dat heeft gedaan, is dus op dezelfde manier aan mensen gevraagd: 'oké, nou het model zegt dit antwoord, ChatGPT die geeft voor een bepaalde vraag deze antwoorden, nou welke vind je wel goed en welke vind je niet goed?' Dus ze zetten twee antwoorden naast elkaar. Dus een mens krijgt twee antwoorden naast elkaar en die besluit van 'deze vind ik beter dan de ander.' Deze techniek heet RLHF: Reinforcement Learning from Human Feedback, oftewel versterkend leren met menselijke feedback. Bij deze aanpak worden AI-modellen niet alleen getraind op data, maar krijgen ze ook feedback van mensen over de kwaliteit van hun output. Dit helpt het model om gedrag te leren dat beter aansluit bij menselijke verwachtingen en waarden.

Dus het model genereert meerdere mogelijkheden en mensen geven aan welke ze beter vinden?

Ja. Hij genereert meerdere antwoorden en die worden inderdaad dan naast elkaar gelegd van 'nou, vind je deze dan beter of vind je die beter?' En zo krijg je eigenlijk ook weer een soort ranking. En dat gerangschikte – zeg maar die verschillende antwoorden – die worden dan gebruikt om vervolgens te zeggen van 'nou, eigenlijk vinden we: als je zoiets zegt, vind ik het eigenlijk fijner dan als je iets anders zegt wat minder vriendelijk is.' Want we denken namelijk dat ChatGPT alles zelf leert. Het gaat over de data, maar er zit zo ontzettend veel mensenwerk omheen om de goede dingen te geven die wij verwachten in ieder geval.

Speelt cultuur en achtergrond ook een rol bij het interpreteren van wat een goed antwoord is?

Ja, en dat is juist zo belangrijk. Daar gaat mijn onderzoek over. Want ook dit model kan heel veel van die – dat noemen ze dan prototypes – naast elkaar houden en zeggen van 'dit is jouw uitleg van al die blokjes van de foto'. Maar wat vinden wij nou belangrijk als mens om te zien? Elk mens is anders, dus iedereen vindt er ook wat anders van. En wat jij vindt wordt ook beïnvloed door waar je vandaan komt, en wie je kent en met wie je omgaat. En zeker met zo'n ChatGPT is het dan van 'oké, wie vraag je daar dan voor om daar een mening over te geven?' Nu zitten wij op het punt van: oké, voor ons maakt het niet heel veel uit. We vragen wel omdat we met vogels werken een aantal vogelexperts. Maar we vragen vooral om heel veel response. Dus we willen vooral heel veel mensen vragen om dat te doen, want met zoiets trainen is eigenlijk massa escassa. Dat is wat we willen.

Maar voor medische toepassingen zou je dan specifieke experts nodig hebben?

Ja, uiteindelijk, als je zoiets wil gebruiken zoals ChatGPT dat doet, worden dus enorm veel specifieke mensen gevraagd om dat te doen. Dus stel je zou uiteindelijk wel iets met kanker willen doen of een andere medische applicatie, dan moet je dus experts gaan vragen, dus dokters, om dat dan voor je te doen.

Kun je een voorbeeld geven van hoe interpreteerbare modellen praktische problemen kunnen voorkomen?

Een van de leuke voorbeelden die helpen bij dat interpreterbaar maken – ik leg vaak de link naar de zorg en ik denk dat het wel een hele mooie is – want een van de gevallen die ooit eens een keer is opgetreden, is dat ze, volgens mij ging het over longkanker, dus röntgenfoto's van wel of niet longkanker gebruikten. En die deden het in de training en met de testset kwamen daar hele nauwkeurige modellen uit. Super nauwkeurig, zag er hartstikke goed uit. In het wild niet. Totaal niet. Performde helemaal niet. En wat gebeurde erdoor, is dat radiologen een soort van hele kleine aantekeningetjes maakten aan de zijkant van de röntgenfoto's. Wat had dat model geleerd? Het begrijpen van die scribbles, van die kleine aantekeningen van een radioloog. Die waren natuurlijk niet meer – als de radioloog niet zegt van 'ik zie dit', dan kon het model daar niet meer uitkomen. Een van de dingen waarvan we hopen met dit onderzoek, is dat dit soort gevallen, dat je die heel makkelijk eruit haalt. Net de zeemeeuw met een blauwe achtergrond. Ik denk dat dat voor iedereen duidelijk is dat je denkt van 'ja maar, ja, hallo'. Maar juist dit soort hele subtiele zaken, waarvan je – als je niet weet hoe je model redeneert – het dus heel moeilijk is om erachter te komen of die wel de juiste besluiten neemt, de juiste uitkomsten geeft, op basis van de juiste redenering.

Dus het model kan een goed antwoord geven op basis van een foute redenering?

Ja, en dat wil je afvangen. In het scenario van de longkanker zou een heatmap volgens mij al best wel snel kunnen zeggen 'kijk helemaal alleen maar aan de zijkant waar de scribble staat'. Maar dit voegt dus nog een extra perspectief toe aan die heatmap functionaliteit waar we in het begin over hadden. Want meerdere manieren om naar een probleem te kijken is altijd beter. Als we het daardoor verklaarbaarder krijgen, lijkt me dat alleen maar mooi.

Waarom is dit onderzoek zo belangrijk in de huidige context?

Ik denk dat het best wel een heel baanbrekend onderzoek is. Er wordt heel veel onderzoek gedaan naar hoe krijgen we het nog nauwkeuriger, nog beter, nog sneller. Terwijl, als we het niet kunnen interpreteren – ik haalde al de EU-wetgeving aan – dan is uiteindelijk een model waardeloos en kan je er heel erg weinig mee. Als je het heel snel fout kan, is het nog steeds fout. In een tijd waarin AI steeds meer wordt ingezet in kritieke beslissingen die direct impact hebben op mensenlevens – van medische diagnoses tot hypotheekaanvragen – is transparantie geen luxe meer, maar een noodzaak. De Europese AI Act, die recent is goedgekeurd, stelt strenge eisen aan het gebruik van AI in hoogrisicogebieden. Systemen moeten niet alleen nauwkeurig zijn, maar ook uitlegbaar en controleerbaar. Het onderzoek van Elise richt zich precies op deze uitdaging: hoe kunnen we AI-modellen maken die zowel goed presteren als begrijpelijk zijn voor de mensen die ermee werken? Door menselijke feedback te integreren in het trainingsproces, kunnen we modellen creëren die niet alleen leren van data, maar ook van menselijke expertise en waarden. De technieken die bij ChatGPT zijn toegepast om het model vriendelijker en veiliger te maken, kunnen dus ook worden gebruikt om computer vision modellen betrouwbaarder te maken. Dit is een mooie illustratie van hoe verschillende AI-domeinen van elkaar kunnen leren en hoe innovaties in het ene gebied toegepast kunnen worden in het andere. Kernpunten en Praktische Adviezen Zwarte doos-modellen vormen een risico in kritieke toepassingen: AI-systemen die geen uitleg geven over hun beslissingen kunnen leiden tot onbegrepen fouten, vooral problematisch in de zorg, financiële dienstverlening en andere sectoren waar transparantie essentieel is. Interpreteerbare modellen moeten concurreren met zwarte doos-modellen: Het doel is het verkleinen van de prestatiekloof tussen begrijpbare en niet-begrijpbare modellen, zodat organisaties makkelijker kunnen kiezen voor transparantie zonder grote concessies te doen aan nauwkeurigheid. Menselijke feedback verbetert AI-modellen: Door experts en gebruikers te vragen welke uitleg van een model goed is en welke niet, kunnen modellen worden getraind om zich te richten op de juiste kenmerken en de verkeerde te negeren. ChatGPT-technieken zijn toepasbaar buiten taalmodellen: Reinforcement Learning from Human Feedback (RLHF), de techniek die ChatGPT vriendelijker en veiliger maakte, kan ook worden toegepast op computer vision en andere AI-domeinen. EU-regelgeving maakt interpreteerbare AI urgent: De recent goedgekeurde AI Act van de Europese Unie stelt strenge eisen aan transparantie en uitlegbaarheid, vooral voor AI-systemen in hoogrisicogebieden. Heatmaps zijn niet genoeg: Post-hoc verklaringsmethoden zoals heatmaps bieden slechts een schatting van hoe een model redeneert. Werkelijk interpreteerbare modellen geven zelf uitleg tijdens het redeneerproces. Context en achtergrond kunnen leiden tot verkeerde conclusies: Modellen kunnen leren kijken naar irrelevante kenmerken (zoals water bij meeuwen) in plaats van naar de daadwerkelijk relevante kenmerken van het object. Prototype-gebaseerd leren maakt AI begrijpelijk: Door foto's op te delen in herkenbare delen en deze te vergelijken met eerder geleerde prototypes, kan een model uitleggen welke kenmerken het heeft herkend en waarom. Domeinexpertise is cruciaal bij menselijke feedback: Voor medische toepassingen is feedback van artsen noodzakelijk, terwijl bij minder kritieke toepassingen bredere feedback kan volstaan. Goede prestaties met verkeerde redeneringen zijn gevaarlijk: Een model kan hoge nauwkeurigheid bereiken door de verkeerde redenen (zoals het herkennen van notities van radiologen in plaats van medische kenmerken), wat pas duidelijk wordt bij interpreteerbare modellen. Transparantie en nauwkeurigheid moeten samengaan: Het is niet genoeg dat een model snel een antwoord geeft – als het antwoord gebaseerd is op verkeerde redeneringen, blijft het fout, hoe snel of nauwkeurig het ook lijkt. AIToday Live is een podcast die zich richt op de nieuwste ontwikkelingen in AI en de impact ervan op verschillende sectoren. In elke aflevering spreken hosts Niels Naglé en Joop Snijder met experts uit het veld om inzicht te krijgen in de mogelijkheden en uitdagingen van AI-technologie. Luister via je favoriete podcast app: Spotify, Apple podcasts, YouTube Music, en meer.