AI-bias herkennen en meten: van Philips ICU tot fairness-metrics
Een ICU-model getraind op overlevenden voorspelt slecht voor stervenden. Bias in trainingsdata heeft levensgevaarlijke gevolgen — en het meten van fairness vraagt altijd contextgebonden keuzes.
Hoe herken je bias in een AI-systeem voordat het schade aanricht? Het Philips ICU-voorbeeld is een van de meest instructieve casestudies uit de Nederlandse AI-praktijk. Ger Janssen beschrijft in S07E59 hoe een voorspelmodel dat moest helpen bij intensivecare-beslissingen gebiased bleek richting overlevenden: de trainingsdata bestond grotendeels uit patiënten die het hadden overleefd.
Voor stervende patiënten voorspelde het model structureel verkeerd. De oplossing was opschalen: een dataset van meer dan 600.000 patiënten verdeeld over honderden ICUs en honderd ziekenhuizen. Daarna werkte het model stukken beter.
De les is niet alleen technisch — het is ook een organisatorische: stel kritische vragen vroeg in de ontwikkeling, voordat een model in productie gaat. Want ethische aspecten zitten diep verstopt, en pas als je ze raakt weet je dat je ze hebt. Lisa Pouels voegt in S07E97 de meetdimensie toe: er zijn tientallen manieren om fairness uit te drukken, en ze zijn niet allemaal verenigbaar.
Meer fairness kan leiden tot iets meer fouten. Die trade-off is geen technisch probleem — het is een waardenoordeel dat mensen moeten maken, niet het model.
Citaten uit onze afleveringen
“Ga vroeg in de ontwikkeling van een algoritme al kritische vragen stellen: is de dataset waar ik mijn algoritme op train representatief voor de target population? En dat blijven challengen. Want ethische aspecten zitten zo diep verstopt in ons, pas als je ze raakt weet je dat je ze hebt.
Ger Janssen, VP Responsible Innovation bij Philips — S07E59
“Het is soms wel een trade-off met accuracy. Dus het kan dat als je een hogere fairness wilt dat het model iets meer foutjes maakt. Soms is dat een balans en je moet daarin keuzes maken.
Lisa Pouels, Data Science trainee bij Info Support — S07E97
“In ieder mens zitten biases. Zo zeggen we dat. Dus ieder mens heeft dat. Dus dat betekent dat we daar ook ontzettend alert op moeten zijn. Alert op zijn of we daar genoeg bewust van zijn. Want het is niet zo, je kunt niet naar een niet biased situatie gaan. Maar je moet je er bewust van zijn. En alles in het werk stellen dat het geen onderdeel is van je beoordeling uiteindelijk.
Daniël Meel, Financial Crime Manager bij ABN AMRO — S08E37
Bewijsafleveringen
AI-bias in de zorg: lessen van Philips met Ger Janssen
Ger Janssen beschrijft hoe een ICU-voorspelmodel bij Philips gebiased bleek richting overlevenden en hoe hertraining op 600.000 patiënten over honderden ICUs de voorspelling herstelde.
Fairness meetbaar maken met Lisa Pouels
Lisa Pouels legt uit waarom het verhogen van fairness soms ten koste gaat van accuracy, en dat die trade-off een bewuste menselijke keuze vraagt — geen algoritmische optimalisatie.
Dit thema valt onder
Verantwoorde AI: vooroordelen, eerlijkheid en hoe je ze meetbaar maakt →