Wat is erger? Een fout van AI of van ons?

Hoi, leuk dat je weer luistert naar een korte aflevering van AIToday Live. Mijn naam Joop Snijder, CTO bij Aigency. Ik wil je meenemen in de vraag: is een fout gemaakt door AI erger dan een fout van de mens? Kijk, we zijn bezig met het maken van een nieuwe editie van ons kaartspel met de stellingen. Je kent hem misschien wel. Deze nieuwe editie maken wij samen met het Elisabeth Tweesteden ziekenhuis, want de stellingen gaan ook over de zorg namelijk. En zij zijn voorlopers in Nederland in het gebruik van AI in het ziekenhuis. En dit kaartspel is bedoeld om perspectieven over AI uit te wisselen op een leuke interactieve manier. En een van de stellingen die ik zelf erg interessant vind is AI mag geen fouten maken. Ik heb deze stelling wat gewijzigd tijdens de presentaties die ik de afgelopen tijd gegeven heb en er dit van gemaakt. Een fout gemaakt door AI is erger dan een fout van een mens. Ik speel even een muziekje af van zo'n 20 seconden dat jij als luisteraar even kan bedenken of je het eens bent met deze stelling. Ik ben benieuwd wat je hebt bedacht. Nou, de reacties die ik krijg hier op deze stelling, die zijn wisselend eens en oneens. En dat maakt het ook zo'n interessante stelling. En zelf vind ik het best wel lastig om stellig te zeggen, ik ben het er mee eens of oneens. Daarom ben ik gaan zoeken naar studies over dit onderwerp. En laten we daar eens naar gaan kijken. Uit wetenschappelijk onderzoek komt namelijk best wel een interessant beeld naar voren. AI-fouten worden inderdaad harder beoordeeld dan vergelijkbare menselijke fouten. Een van de studies, je vindt trouwens alle bronnen in de show notes, een van de studies in de gezondheidszorg laat zien dat mensen een acceptabel foutenpercentage van 6,8% voor AI-systemen hanteren, terwijl dit voor mensen 11,3% bedraagt. Dat is best wel een fors verschil. Dus AI moet dus bijna twee keer zo goed zijn voordat we het accepteren. Waarom is dat zo? Mensen maken ongeveer 3 tot 6 fouten per uur. Dat kan zomaar oplopen tot zo'n 50 fouten per dag in normale werkomgevingen. Maar we zijn dus toleranter voor die frequente menselijke vergissingen dan voor minder frequente maar meer zichtbare AI fouten. En een van de hoofdoorzaken is dat we van AI perfectie verwachten. We verwachten van AI dat het heel consistente resultaten oplevert. Als een AI systeem faalt, valt dat dus harder op omdat we onrealistische verwachtingen van perfectie hebben. Dit leidt dan weer tot onevenredig erge teleurstelling. Laten we eens kijken naar de psychologie achter onze reactie. Want algoritmeaversie speelt ook een rol. Dit beschrijft de neiging om menselijke beslissingen te verkiezen boven de algoritmische, zelfs wanneer het algoritme aantoonbaar beter presteert. En deze bias wordt ook nog eens een keer versterkt wanneer mensen AI zien falen. Ook speelt het schenden van de verwachtingen mee die we hebben over deze systemen. Wanneer AI systemen worden gepresenteerd als geavanceerd, betrouwbaar of zelfs intelligent, ontwikkelen gebruikers hoge verwachtingen. En elke afwijking van die perfecte prestaties creëert dan een negatieve verwachtingsschending, zoals zij het dan noemen, die het vertrouwen meer beschadigt dan vergelijkbare menselijke fouten zouden doen. In een van onze eerdere afleveringen spraken we met Ger Jansen van Philips over ethische dilemma's in de medische AI. En hij zei iets wat hier perfect bij aansluit. Wij als mensen maken fouten. Artsen maken ook fouten. En van AI wordt niet geaccepteerd dat het fouten maakt. En dat is natuurlijk best wel een soort van tegenstelling. Interessant genoeg vertoonden mensen namelijk niet alleen algoritme-aversie, Maar ook een wat dan automatiseringsbias genoemd wordt. En dit is de neiging om te veel te vertrouwen op geautomatiseerde systemen. Ondanks tegenstrijdige informatie. En dit creëert een paradoxale situatie. Waarbij mensen tegelijkertijd te veel verwachten van AI. En er te zwaar op leunen. In aflevering 21 van seizoen 5. Besprak ik het verhaal van een advocaat met 30 jaar ervaring. die ChatGPT gebruikte om jurisprudentie te schrijven. Hij vertrouwde zo op de output dat hij de resultaten niet controleerde. Het bleek dat de AI verzonnen rechtszaken had geciteerd. En toen hij aan ChatGPT vroeg of de cases echt bestonden, antwoordde de AI bevestigend. En het overdreven vertrouwen leidde in ieder geval bij hem tot een zeer pijnlijke les. Er is nog iets heel aparts wat terugkomt uit de onderzoeken. En dat is namelijk dat het vermenselijke van de AI ons toleranter maakt. Want het blijkt namelijk hoe meer we AI vermenselijken, hoe toleranter we worden voor de fouten die AI maakt. Onderzoek toont aan dat chatbots met menselijke eigenschappen meer vergeving krijgen voor hun fouten. En dit gebeurt namelijk op twee manieren. We ervaren de ernst van de fout als minder erg en we gaan de fouten meer aan onszelf wijten dan aan de AI. Dit verklaart waarom sommige AI assistenten misschien wel bewust menselijke trekjes krijgen, zoals het excuses aanbieden of onzekerheid tonen. Het maakt in ieder geval ons meer begripvol voor hun beperkingen, alsof we het te maken hebben met een collega die zijn best doet in plaats van een machine die perfect zou moeten zijn. Ik moet zeggen dat ik dit best wel lastig vind. Ik ben juist voorstander van het niet vermenselijke van AI-technologie. In eerdere afleveringen heb ik al benadrukt dat we AI juist moeten zien als een gereedschap en niet als iets menselijk. Dit onderzoek laat zien dat vermenselijking misschien wel helpt om realistische verwachtingen te temperen of daar beter mee om te gaan. Dit moet ik in ieder geval even zelf verwerken en over nadenken wat ik hiervan vind. Er is in ieder geval een duidelijk verschil in de foutenpatroon. AI maakt andere soorten fouten dan mensen. Waar jij als mens misschien vandaag moe bent en daarom een fout maakt die je morgen niet zou maken. Daar maakt AI steeds dezelfde fouten in dezelfde situaties. Het is in die zin voorspelbaarder, maar ook hardnekkiger. Menselijke fouten zijn willekeuriger en contextafhankelijker. Afhankelijker. Ze ontstaan dus door factoren zoals vermoeidheid, afleiding, misschien je emotionele toestand en de grenzen sowieso van je menselijke cognitie. Dus hoewel mensen elkaar fouten maken, worden deze fouten vaak als meer begrijpelijk gezien, omdat we ons kunnen relateren aan die onderliggende oorzaken. De vraag openstaan, is een fout van AI erger dan die van een mens? De onderzoekers suggereren dat AI-fouten niet inherent erger zijn dan menselijke fouten, maar dus wel als erger worden ervaren door de psychologische biases en onrealistische verwachtingen. Deze perfectiekloof heeft belangrijke implicaties. Oneerlijke evaluatiestandaarden kunnen adoptie van nuttige AI-systemen voorkomen, terwijl de verwachtingen van het perfectionisme juist kunnen leiden tot voortijdige afwijzing van nuttige, maar misschien wel onvolmaakte AI-tools. En dan is er ook nog wel iets grappigs, want Julia Jansen vertelde ons in seizoen 6 dat fouten ook kunnen inspireren. Dat je iets doet wat onverwachts eruit komt waarvan je denkt, hé, maar dit is eigenlijk heel gaaf. En daar kan je dan op voortboorduren. Kijk, de meeste ontdekkingen worden gedaan op de meest willekeurige momenten. Dus misschien moeten we niet alleen kijken naar hoe we fouten kunnen voorkomen, maar ook hoe we er beter mee om kunnen gaan. Dus misschien is de sleutel niet om AI-fouten volledig te elimineren. Wat misschien denk ik ook zelfs onmogelijk is. Maar juist om de verwachtingen te managen, transparantie te verbeteren en interacties te ontwerpen. Die rekening houden met in ieder geval die menselijke psychologische biases. Ik ben heel benieuwd hoe jij erover denkt. Voel jij ook dan een fout van AI erger is dan een fout van een mens? Zo ja, zo nee. Waarom denk je dat dat zo is? Deel je gedachten met ons via LinkedIn of stuur een berichtje. Ik hoor heel graag van je. En zoals altijd, bedenk, AI is niet de oplossing voor elk probleem, maar onmisbaar waar het past. Dankjewel weer voor het luisteren. Tot de volgende keer.