Alle afleveringen
S05E30 - Shorts - IQ-test voor AI is dom
S05E30

Shorts - IQ-test voor AI is dom

Seizoen 5 6 min Hosts: Joop Snijder & Niels Naglé
0:00

Wat leer je in deze aflevering?

In deze AI Today Live Short bespreekt de host waarom het toepassen van IQ-tests op kunstmatige intelligentie geen zinvolle maatstaf is. Aanleiding is de neiging om AI-systemen zoals ChatGPT te beoordelen met dezelfde tests die voor menselijke intelligentie zijn ontwikkeld.

01
Taalmodellen kennen de antwoorden al ChatGPT en vergelijkbare modellen zijn getraind op duizenden varianten van IQ-tests en hebben toegang tot alle mogelijke vragen en antwoorden.
02
IQ-tests zijn niet ontworpen voor machines De test werd begin 20e eeuw door Alfred Binet ontwikkeld om schoolkinderen te identificeren die extra hulp nodig hadden. Het doel was nooit om machine-intelligentie te meten, waardoor de test fundamenteel ongeschikt is voor AI.
03
Menselijke intelligentie kent vele vormen Naast IQ bestaan er emotionele, sociale en creatieve intelligentie. AI-systemen blinken juist uit in taken waar mensen moeite mee hebben, zoals grote hoeveelheden data verwerken en patronen herkennen.
04
Behoefte aan nieuwe benchmarks voor AI In plaats van menselijke maatstaven toe te passen, zouden we alternatieve onderzoeken en benchmarks moeten ontwikkelen die de specifieke sterke punten en beperkingen van AI-systemen beter in kaart brengen.

Kernbegrippen

Taalmodellen
Kunstmatige intelligentiesystemen getraind op grote hoeveelheden tekstdata om taal te begrijpen en genereren.
IQ-tests
Gestandaardiseerde tests uit begin 20e eeuw ontworpen om menselijke cognitieve capaciteiten te meten en vergelijken.
Benchmarks
Meetinstrumenten en referentiepunten om prestaties van systemen objectief te evalueren en vergelijken.
Machine-intelligentie
Vermogen van kunstmatige systemen om taken uit te voeren die normaal menselijke intelligentie vereisen.

Transcript

Welkom bij de AI Today Live Shorts van vandaag, waarin ik je wil vertellen waarom een IQ-test voor AI nogal dom is. We hebben het vaak over kunstmatige intelligentie, waarbij we deze term natuurlijk verbinden met intelligentie, de mogelijkheden van ons menselijk brein. Onze intelligentie testen we regelmatig met testen en examens en we zijn snel geneigd om kunstmatige intelligentie op dezelfde manier te testen als we dat bij ons mensen doen. Dus met bijvoorbeeld een IQ test. Maar vandaag wil ik het idee ter discussie stellen waarom de IQ test te kort schiet als het gaat om AI. Voordat we de beperkingen van de IQ test voor AI bespreken is het belangrijk om even stil te staan bij wat AI kan. Neem bijvoorbeeld ChatGPT, een taalmodel dat zinnige gesprekken kan voeren, artikelen kan schrijven en ideeën kan opereren. Dat is natuurlijk heel indrukwekkend, maar er is wel een probleem met IQ-scoren als ze dat toepassen op AI. Laten we eens even kijken naar mijn kleindochter. Toen ze 5 jaar oud was kon ze machtsverheffingen van 2 opdreunen, wat ze nu trouwens nog steeds heel leuk vindt. Dus dan maakt ze een rijtje 2+2=4, 4+4=8, 8+8=16, dat tot aan 1024. Maar omdat ze dit kan, zal toch niemand zeggen dat ze een wiskundig wonderkind is? Maar als een taalmodel als Chet GPT antwoorden van een IQ test oplepelt, opdreunt, is onze verwondering grenzeloos en komen we supernatieve tekort. Hier is het ding, taalmodellen als Chet GPT zijn getraind op duizenden varianten van deze IQ test. Ze hebben toegang tot alle mogelijke vragen en antwoorden. Dus als het model antwoorden uit een standaard test geeft, kunnen we dat niet echt intelligent noemen. De IQ-test kan simpelweg niet de ware mogelijkheden van AI vastleggen. Die IQ-test is namelijk ook niet ontworpen om de intelligentie van machines te testen. De test werd voor het eerst ontwikkeld in de vroege 20e eeuw door de Franse psycholoog Alfred Binet. Het oorspronkelijke doel van de test was om kinderen te identificeren die extra hulp nodig hadden op school. Hij ontwikkelde een reeks van taken die, naar zijn mening, de zogenoemde, tussen aanhalingstekens, mentale leeftijd van een kind zouden kunnen meten. Deze taken omvatten zaken als het onthouden van lijsten van woorden, het kopiëren van figuren en het definiëren van bepaalde woorden. Binaire zelf benadrukte dat zijn test geen vaste maat was voor intelligentie, omdat hij geloofde dat intelligentie kon veranderen en ontwikkelen. De term intelligentie quotient kwam later toen de Duitse psycholoog William Stern een formule voorstelde om de mentale leeftijd van een kind te vergelijken met zijn of haar werkelijke leeftijd. Sindsdien zijn er talloze varianten en aanpassingen van IQ-test ontwikkeld met als doel het meten en kwantificeren van menselijke intelligentie. En bovendien moeten we als we het over intelligentie hebben erkennen dat mensen over heel veel verschillende soorten intelligentie beschikken toch? We weten dat menselijke intelligentie vele vormen kent, zoals emotionele intelligentie, sociale intelligentie, creatieve intelligentie en nog veel meer. We moeten dus ons perspectief verbreden en verder kijken dan IQ-tests bij het beoordelen van AI vind ik. AI-systemen zijn bijvoorbeeld bijzonder goed een taken waar mensen juist weer moeite mee hebben, zoals het verwerken van groothoeveelheden data, het herkennen van patronen en het uitvoeren van snelle berekeningen. Dit soort intelligentie verdient waardering op zijn eigen manier en moeten we niet meten aan menselijke intelligentie. Dat doen we toch ook niet voor de rekenmachine? Als we kunstmatige intelligentie al zouden willen beoordelen en gieten in een maatstaf, dan moeten we verder kijken naar gestandardiseerde tests en alternatieve onderzoeken die de juiste sterke punten van AI-systemen beter tot hun recht laten komen. Ja, misschien is het wel tijd voor nieuwe benchmarks. Dus wat mij betreft is het duidelijk dat IQ-tests tekort schieten om de ware capaciteit, mogelijkheden en beperkingen van kunstmatige intelligentie te vatten. En laten we juist loskomen van deze testen, die voor een heel ander doel zijn ontwikkeld en juist een beter begrip van AI vormen en die dan omarmen. Dus laten we geen zogenaamde menselijke intelligentie toekennen aan een machine. Dus wat mij betreft is een IQ test voor AI nogal dom. Ik ben erg benieuwd wat jij hiervan vindt. Laat het eens even inzinken. Geef commentaar op LinkedIn. En als je het echt hardgrondig hiermee oneens bent, neem eens contact op. Misschien kunnen we daar eens een leuk gesprek over voeren. Dank je wel weer voor het luisteren. Luister je ons via Spotify en heb je een paar afleveringen geluisterd, overweeg dan eens om een rating te geven. Dat helpt ons enorm en boost uiteindelijk de podcast. Alvast bedankt.