Wat leer je in deze aflevering?
Hoe gaan we om met het gebruik van ChatGPT in huiswerktoetsen, werkstukken en scripties? Veel mensen hebben de neiging om dit soort tools te verbieden, maar is dat wel de juiste oplossing? Daarom kijken ook naar AI-checkers als mogelijke oplossing, maar zijn ze betrouwbaar genoeg?\n\nBronnenGPT detectors are biased against non-native English writers - https://arxiv.org/abs/2304.02819What to do when you’re accused of AI cheating - https://www.washingtonpost.com/technology/2023/08/14/prove-false-positive-ai-detection-turnitin-gptzero/ChatGPT-maker haalt herkenningstool offline: 'Niet nauwkeurig' - https://nos.nl/artikel/2484231-chatgpt-maker-haalt-herkenningstool-offline-niet-nauwkeurigAdvies generatieve AI-tools in het primair- en voortgezet onderwijs - https://nlaic.com/wp-content/uploads/2023/07/Advies-generatieve-AI-tools-in-het-primair-en-voortgezet-onderwijs.pdf\n\n\n\nStuur ons een berichtAigency\nAigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.\n\nInfo Support\nInfo Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).\n\nDisclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.\n\nSchrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!
Kernbegrippen
- AI-detectie
- Technologie die probeert AI-gegenereerde teksten te identificeren, maar blijkt onbetrouwbaar en foutgevoelig.
- Authentieke assessment
- Toetsmethode die echte vaardigheden meet via interviews, debatten of praktische opdrachten in plaats van traditionele schriftelijke toetsen.
- Kritisch denken
- Cognitieve vaardigheid waarbij leerlingen informatie analyseren, evalueren en beredeneerd oordelen vormen.
- Valse positieven
- Foutieve detecties waarbij AI-checkers menselijke teksten ten onrechte als AI-gegenereerd aanmerken.
Transcript
Met de komst van ChatGPT staat de manier waarop we leren, lesgeven en toetsen op zijn kop. Gaan AI-checkers het onderwijs helpen bij het detecteren van gegenererde teksten? Je hoort het in deze korte aflevering van AI2D Live met erin een actueel onderwerp in 5 minuten. Dit nieuwe schooljaar is het eerste volledige schooljaar waar ChatGPT beschikbaar is, zowel voor docenten als leerlingen. Hoe moet dat zo met huiswerktoetsen, werkstukken of scripties als leerlingen massaal chatgpt kunnen gebruiken? De neiging is misschien om deze tools, zoals chatgpt, of welke andere large language model of generatieve AI dan ook te verbieden. Dit lukt wellicht als je de toegang tot internet volledig kan afsluiten. Hoe verbied je het gebruik van chatgpt thuis? Een mogelijke oplossing die in de markt geboden wordt zijn AI-checkers, of ook wel AI-detectors of plagiaat controle-tools genoemd. Ik kan je nu alvast verklappen dat AI-checkers niet de oplossing zijn, maar juist garanties zijn voor problemen. Waarom? Kort gezegd, ze werken niet of niet goed genoeg. Een sprekend voorbeeld is dat een veelgebruikte AI-detector de Amerikaanse grondwet uit 1789 aanmerkt als door AI geschreven. Het blijkt dat namelijk hoe vaker een term is beschreven, hoe eerder de tekst als door AI gegenereerd wordt aangemerkt. Je kan bijvoorbeeld maar op een aantal manieren de term examen uitleggen. Dus al gauw zal de checker hierop aanslaan en aangeven "dit is door AI gegenereerd". Onderzoekers van Stanford University hebben in een paper ook aangetoond dat AI-checkers veel vaker teksten als gegenereerd aanmerken, Juist bij teksten geschreven door mensen waarbij de moedertaal niet Engels is. En dat heeft te maken met zodra teksten simpeler worden geschreven en met een beperktere woordenschat, dat deze dan eerder worden aangeduid als een AI-tekst. En daar zit echt een heel groot probleem. Dus niet alleen teksten die heel veel voorkomen al in de trainingsdata, maar dus ook de manier van schrijven, dat dat ervoor kan zorgen voor een ondelkeurigheid, waardoor je als leerling valselijk beschuldigd kan worden voor het gebruik van deze tooling. Kijk, natuurlijk teksten die klakkeloos worden gekopieerd, die haal je er makkelijk uit. Staat er bijvoorbeeld letterlijk "natuurlijk, hier is je tekst voor..." Als we dat soort dingen meekopiëren, dan weet je wel wat er gebruikt is. Maar goed, buiten dat overduidelijke kunnen AI-checkers geen betrouwbare antwoord geven of de teksten nou wel of niet gegenereerd zijn. Vandaar dat OpenAI ook gestopt is met SignChecker en geeft een ander tool, Turnitin, tips hoe je het gesprek aangaat met een student, juist omdat zij geen bewijs leveren. Wat kun je dan wel doen? Bijvoorbeeld de Nederlandse AI-coalitie heeft een lijst met tips gemaakt. Ik zal die trouwens opnemen in de show notes. Tips waarbij zij adviseren om een andere manier om te gaan met generatieve AI tools. Zij adviseren bijvoorbeeld alternatieve toetsingsmethodes die minder gevoelig zijn voor generatieve AI tools. Een effectieve manier kan zijn door het onderwerp of de vraagstelling zo op te stellen dat kritisch denken wordt gestimuleerd. Dit maakt het gebruik van generatieve AI-tools juist heel erg lastig. Bij het opstellen van dergelijke vragen kunnen verschillende punten in overweging worden genomen. Denk hierbij aan actualiteiten. Andere overwegingen zijn het toepassen op persoonlijke gebeurtenissen, het gebruik van voorbeelden uit de lesstof en het richten op zeer specifieke en toegepaste onderwerpen of vragen. Daarnaast is het creëren van zogenaamde authentieke assessments een effectieve methode. Bij deze assessment hebben leerlingen creativiteit en interdisciplinaire vaardigheden nodig. Voorbeelden van dergelijke assessments zijn interviews, debatten, datacollectie, analyse, verslagen door middel van foto's, video, waarbij de leerlingen zelf acteren of de bron zijn. Lees de rest van de tips rustig door. Er staat echt ontzettend veel in. Wat ik al zei, de link staat in de show notes. En deze tips geven in ieder geval een veel positiever benadering dan het verbieden of mogelijk valselijk beschuldigen van studenten. Kortom, een spannend jaar voor iedereen in het onderwijs. Eén ding is zeker, AI-detectietools gaan je niet helpen. Dankjewel voor het luisteren. Wil je niets missen over AI? Abonneer je dan via je favoriete podcast app.