Shorts - Geloof en scepsis in AI

Dit is een nieuwe aflevering van de AIToday Live Shorts over de actualiteit in de AI. Nou, wat is er deze week gebeurd? Dit gaat deze week over overdreven vertrouwen in de resultaten van AI. Er zijn twee kanten in het spectrum bij het gebruik van AI. Aan de ene kant heb je mensen die het echt heel spannend vinden. Wat doet de AI? Kan ik erop vertrouwen? Is het wel bruikbaar wat uit een model komt? En aan de andere kant van het spectrum blijkt dat er mensen zijn die overdreven vertrouwen stellen in de uitkomsten van AI. En er is een heel mooi onderzoek uitgekomen van Microsoft. Die heeft een literatuuronderzoek gedaan naar overdreven vertrouwen in AI. Over reliance on AI. Een literatuuronderzoek. Ik zal het in een linkje opnemen in de show notes. En een prachtig voorbeeld deze week, nou ja prachtig, in ieder geval een heel sprekend voorbeeld deze week is een advocaat in New York geweest die een verweer indiende bij een letselschadezaak waarbij hij gebruik maakte van Chet GPT. En dat ging niet zo heel erg goed. Om goed te begrijpen wat Chet GPT is, is uiteindelijk een voorspellend model dat woord voor woord, eigenlijk token voor token, zaken voorspeld en er zit een mate van willekeur in. Als je een verweerschrijft met je JGPT en je laat hem ook zoeken, of tenminste schrijven naar jurisprudentie, ja dan is de jurisprudentie die hij geeft, hoeft natuurlijk niet correct te zijn. Sterker nog, de kans dat het niet correct is, is vele malen groter dan wel correct. En nou zou je denken van, ja maar misschien deze advocaat, rookie, groentje, als je dit weet dan doe je dat niet. Nou het blijkt dat toch wel heel veel mensen nog steeds niet zich er bewust genoeg van zijn hoe uiteindelijk zo'n model werkt. Woord voor woord, willekeur en wat er uitgespugd wordt. Dat dat niet feitelijk juist hoeft te zijn. Deze meneer, zeer ervaren advocaat, 30 jaar ervaring, heeft het wel gedaan. Dus heeft jurisprudentie laten schrijven, dus eigenlijk een soort van linkjes naar andere zaken die hierop leken. Ook opgestuurd, ingediend en wat bleek dat de tegenpartij had dat uit zitten zoeken en die kwamen allerlei zaken tegen die helemaal niet bestonden uiteraard. Nou, de advocaat werd op zijn vingers getikt en gaf ook nog ter verweer aan, daar zijn schermafbeeldingen van, dat hij namelijk ook, blijkbaar had hij toch wel iets van een vermoeden van ja, ik moet dit wel even navragen. Maar hij vroeg het dus ook aan Chet Jipiti. Dus hij heeft aan Chet Jipiti gevraagd, zijn dit echte cases, bestaan deze? Waarbij de keurig werd geantwoord, ja hoor, dit zijn bestaande cases. En vervolgens heeft hij die ingediend. Het is natuurlijk bijzonder treurig als dit je advocaat zou moeten zijn. Maar denk eens even zelf naar waar je teksten laat schrijven. En dat je echt heel goed controleert of het juist is wat er geschreven wordt. Dus in dit geval ja, een stevige tik op de vingers voor de advocaat. Maar het blijkt dus echt dat het een probleem is dat mensen overdreven vertrouwen kunnen stellen aan de uitkomsten van AI. Hoe kan dat nou gebeuren dat je zoveel overdreven vertrouwen erin hebt? Als je voorzichtig aan de slag gaat met deze technologie en je komt erachter dat de technologie best wel steeds goede antwoorden geeft. Je maakt het steeds complexer, je schuift misschien steeds meer op op gebieden waar je zelf minder van af weet. En hoe vaker je vertrouwen wordt bevestigd, hoe eerder je geneigd bent om steeds minder naar de resultaten, tenminste kritisch naar de resultaten te kijken. Sterker nog, uit dat literatuuronderzoek komt, dat als je op een gegeven moment zoveel vertrouwen stelt in die uitkomsten is dat er zelfs fouten ontstaan dat je geneigd bent om daarover heen te gaan kijken omdat je uiteindelijk incorrecte aanbevelingen gewoon overneemt. Een van de problemen die uit het literatuuronderzoek komt is van, ja, wat nou de oorzaak hiervan is en dat is de AR-literacy. Dus hoe goed weet je eigenlijk hoe het werkt. Dus vandaar, kijk naar de advocaat die besproken is. Weet hoe dit werkt. Het is een woord voor woord voor speller met willekeur erin. Als je daarmee rekening houdt, kan je de technologie prima gebruiken. Dankjewel voor het luisteren. Maandag weer een nieuwe, lange aflevering. Dank voor het luisteren. TV Gelderland 2021 (C) TV GELDERLAND 2021