Wat leer je in deze aflevering?
In deze aflevering bespreken Daan Odijk (RTL) en Muriel Serrurier Schepper het AI Annotatielab, een initiatief waar mensen met een afstand tot de arbeidsmarkt data labelen voor bedrijven. Het gesprek focust op de praktische overwegingen voor bedrijven om dit maatschappelijk verantwoord alternatief te kiezen boven goedkope buitenlandse crowdsourcing platforms.
Kernbegrippen
- Data labeling
- Het handmatig markeren en categoriseren van data zodat AI-modellen hiervan kunnen leren.
- Crowdsourcing
- Het uitbesteden van taken aan een groot aantal mensen, vaak via online platforms.
- Validatie van AI-taken
- Het testen of een probleem oplosbaar is en welke complexiteit het vraagt voordat ML-investering plaatsvindt.
- Sociale werkbedrijf
- Organisatie die mensen met afstand tot arbeidsmarkt begeleidt naar reguliere werkplek via betaalde activiteiten.
Interview: Daan Odijk
Voor wie de vorige aflevering nog niet geluisterd heeft: kun je kort uitleggen wat het AI Annotatielab precies is?
Het AI Annotatielab is een plek waar mensen met een afstand tot de arbeidsmarkt zes maanden lang de kans krijgen om zich opnieuw te ontwikkelen richting die arbeidsmarkt. Ze krijgen daarbij individuele begeleiding op maat, en het werk dat ze doen bestaat uit het labelen van data voor verschillende bedrijven, waaronder RTL Nederland. Het labelen van data — ook wel data-annotatie genoemd — is het proces waarbij mensen stukken tekst, afbeeldingen, video's of andere informatie voorzien van een beschrijvend label of categorie, zodat een AI-model er later van kan leren. Denk aan het aangeven of een foto een hond of een kat bevat, of het classificeren van een video als 'nieuws' of 'entertainment'. Zonder die gelabelde data kan een AI-model simpelweg niet worden getraind. Data-annotatie is dus de onzichtbare, maar fundamentele bouwsteen achter vrijwel elk AI-systeem dat we kennen.
Waarom is dit onderwerp zo relevant voor bedrijven die met AI aan de slag willen?
Bijna elk bedrijf dat serieus met AI wil werken, heeft vroeg of laat te maken met de vraag: wie gaat onze data labelen? Die vraag wordt vaak over het hoofd gezien in de enthousiaste beginfase van een AI-project, maar ze is essentieel. De kwaliteit van een AI-model staat of valt met de kwaliteit van de trainingsdata. Goede, betrouwbare labels zijn dus geen bijzaak — ze zijn het fundament. Het AI Annotatielab biedt bedrijven de mogelijkheid om die taak zorgvuldig en kwalitatief goed uit te voeren, terwijl ze tegelijkertijd bijdragen aan een maatschappelijk doel: mensen helpen terugkeren naar de arbeidsmarkt.
Zijn er bij RTL tegenwerpingen geweest om met het AI Annotatielab in zee te gaan?
Grote tegenwerpingen zijn er eigenlijk niet geweest. Wat wel speelde, is dat we bewust voorzichtig zijn begonnen. We zagen al snel de potentie van de samenwerking, maar we hebben eerst gekeken welke taken er het meest geschikt waren om mee te starten. We hebben bewust niet onze meest bedrijfskritieke processen als eerste naar het Annotatielab gebracht. Een bedrijfskritiek proces is een werkproces waarvan de organisatie direct afhankelijk is voor haar kernactiviteiten — als dat proces uitvalt of faalt, heeft dat onmiddellijk grote gevolgen. Door juist met minder gevoelige taken te starten, konden we rustig ervaring opdoen, vertrouwen opbouwen en leren hoe we de samenwerking het best konden inrichten.
Een veelgehoord bezwaar is dat bedrijven hun data niet willen 'weggeven'. Hoe kijk jij daartegen aan?
Dat bezwaar begrijp ik, maar het berust op een misverstand. Je geeft je data niet weg — je laat je data annoteren, waardoor die data juist waardevoller wordt. De data blijft van jou; wat je terugkrijgt zijn gelabelde, verrijkte datasets waarmee je AI-modellen kunt trainen. Dat is een wezenlijk verschil. Wat ik me ook realiseer, is dat het voor veel bedrijven eigenlijk helemaal niet duidelijk is waar dit soort labelwerk normaal gesproken plaatsvindt. Als het alternatief is om data naar een anoniem crowdsourcingplatform te sturen — een platform waar duizenden onbekende mensen wereldwijd kleine taakjes uitvoeren voor een minimale vergoeding — dan is het plotseling heel logisch om te kiezen voor een transparant, begeleid en kwalitatief sterk alternatief als het AI Annotatielab.
Je zegt dat het soms ook 'verborgen werk' was. Wat bedoel je daarmee?
Wat ik daarmee bedoel, is dat het labelen van data bij ons in de organisatie soms gewoon niet zichtbaar was als een aparte taak. Het was werk dat erbij werd gedaan, of waarvoor geen goede structuur bestond, of waar simpelweg niemand echt aan toe was gekomen. Doordat we via het AI Annotatielab konden gaan annoteren, konden we ineens ook een aantal use cases — concrete toepassingen van AI — oppakken die we daarvóór niet hadden kunnen realiseren, simpelweg omdat de data-infrastructuur ervoor ontbrak. Soms weet je pas dat iets mogelijk is als je de juiste tools en partners hebt.
Hoe gebruik je data-annotatie bij RTL als eerste validatiestap voor een AI-project?
Wij zien data-annotatie steeds vaker als een uitstekende eerste stap vóórdat we überhaupt beginnen met het bouwen van een AI-model. We starten bij de business case: wat willen we bereiken? Dan reduceren we die vraag naar: welke data hebben we beschikbaar? En vervolgens: welke vragen kunnen we aan mensen stellen over die data, die een goed signaal geven of een AI-model hier later van zou kunnen leren? Op die manier gebruiken we het annotatieproces als een soort verkenning. We ontdekken hoe moeilijk het probleem werkelijk is, hoe consistent mensen zijn in hun oordelen, welke categorieën zeldzaam zijn en welke veel voorkomen. Dat zijn allemaal waardevolle signalen vóórdat je investeert in het bouwen van een model.
Is dat dan ook een soort 'proof of concept' voor de haalbaarheid van een AI-oplossing?
Ja, je kunt het inderdaad zien als een proof of value — een manier om snel en relatief goedkoop te toetsen of een idee in de praktijk haalbaar is. Een van de eerste vragen die je jezelf moet stellen bij een AI-project is: kunnen we dit eigenlijk aan een mens uitleggen? Kunnen mensen deze taak überhaupt goed en consistent uitvoeren? En zijn mensen het met elkaar eens over wat het juiste antwoord is? Als dat niet het geval is, is het ook voor een AI-model een erg moeilijke opgave. Als mensen het al niet eens zijn over wat een 'juist label' is, dan heeft een model geen stevige basis om op te leren. Data-annotatie geeft je al vroeg in het proces antwoord op die fundamentele vragen.
Kun je een concreet voorbeeld geven van hoe dat werkt bij RTL?
Een goed voorbeeld is een project waarbij we korte videoclips van RTL.nl laten categoriseren. De vraag is: is dit entertainment, is het nieuws, of valt het in een andere categorie? We hebben daarvoor een selectie gemaakt van de meest populaire video's op ons platform, omdat die het grootste effect zullen hebben op welk AI-model we ook gaan bouwen. Na een eerste ronde labelen ontdekten we dat een aantal categorieën ondervertegenwoordigd was in onze dataset — er waren dus te weinig voorbeelden van bepaalde soorten content. Dat is waardevolle informatie: we gaan nu actief op zoek naar video's uit die categorieën om ze extra te laten labelen, zodat we uiteindelijk een diverse, evenwichtige dataset hebben. Een gebalanceerde dataset is cruciaal voor een goed presterend AI-model, omdat een model dat alleen maar voorbeelden heeft gezien van één type inhoud ook alleen dat ene type goed zal herkennen.
Hoe bepaal je welke taken geschikt zijn om bij het AI Annotatielab neer te leggen?
Het begint altijd bij de business case. Wat wil je uiteindelijk bereiken met de data? Vanuit die gewenste uitkomst werk je terug: welke data heb je beschikbaar, en welke labels of antwoorden heb je nodig om een AI-model op te trainen dat die businesswaarde kan creëren? Daarna is het belangrijk om na te denken over hoe je de taak zo formuleert dat die begrijpelijk en uitvoerbaar is voor de mensen in het lab. Je kunt niet zomaar ruwe data aanleveren met een vage instructie en verwachten dat de kwaliteit goed is. Er zit echt een stuk ontwerp in — het nadenken over de instructies, de categorieën, de randgevallen. Maar als je dat goed doet, profiteer je er enorm lang van.
Je zegt dat het ontwerpen van een goede taak belangrijk is. Waar loop je tegenaan als je dat niet goed doet?
We hebben dat zelf ook meegemaakt. In het begin hadden we taken die gewoon niet goed werkten — de instructies waren onduidelijk, de categorieën overlapten, of mensen interpreteerden de vraag op heel verschillende manieren. Dat leverde labels op die inconsistent waren en dus weinig waarde hadden voor het model. Je ontvangt dan ook feedback vanuit het lab: dit werkt niet, mensen begrijpen de vraag niet, de resultaten zijn verwarrend. En dat is eigenlijk heel waardevol, want het dwingt je om scherper na te denken over wat je nu écht wilt weten. Maar het benadrukt wel dat je er van tevoren goed over moet nadenken. Het Annotatielab helpt bedrijven ook mee om die taken goed op te zetten, juist omdat ze inmiddels al veel ervaring hebben met wat wel en niet werkt.
Hoe zorg je ervoor dat de kwaliteit van de gelabelde data hoog blijft?
Kwaliteitsborging is een wezenlijk onderdeel van het proces. Niet alleen in de technische zin — door bijvoorbeeld dubbele annotatie, waarbij meerdere mensen hetzelfde item labelen en de uitkomsten worden vergeleken — maar ook door de begeleiding die de deelnemers ontvangen. Ze worden goed ingewerkt op elke nieuwe taak, ze kunnen vragen stellen, en er is iemand die toezicht houdt op de voortgang en kwaliteit. Dat is een groot verschil met anonieme crowdsourcingplatformen, waar je als opdrachtgever weinig controle hebt over wie er werkt en hoe zorgvuldig ze dat doen. Bij het AI Annotatielab ken je de mensen, je weet wat hun niveau is, en je kunt de taak aanpassen als dat nodig is.
Wat kost het om gebruik te maken van het AI Annotatielab, en hoe verhoudt zich dat tot alternatieven?
Het kost ongeveer 25 euro per gewerkt uur. Dat is de prijs voor goed begeleid, kwalitatief hoogwaardig annotatiewerk. Je kunt het inderdaad goedkoper krijgen als je het uitbesteedt aan platforms in lagelonenlanden, maar dan mis je twee dingen: de sociale meerwaarde én de kwaliteitsgarantie. Platforms zoals Amazon Mechanical Turk — een veelgebruikt crowdsourcingplatform waarbij grote aantallen mensen kleine, repetitieve taken uitvoeren voor een kleine vergoeding — bieden weliswaar lage kosten, maar de vergoeding die de werkers zelf ontvangen is vaak minimaal en de kwaliteitscontrole is beperkt. Bij het AI Annotatielab weet je wat je krijgt, wie het heeft gedaan, en waarom. De prijs van 25 euro per uur is kostendekkend — het is een stichting zonder winstoogmerk, dus alle middelen gaan naar het draaiende houden van het programma en de begeleiding van de deelnemers.
Waarom kozen jullie als Joop voor die begeleide aanpak en niet voor een goedkoper alternatief?
Ik had zelf ooit meer dan tienduizend afbeeldingen te labelen en koos ervoor om dat zelf te doen, simpelweg omdat ik niet wist dat er betere alternatieven bestonden. Ik wilde het niet uitbesteden aan lagelonenlanden — het voelde niet goed om te werken met een platform waarbij de tussenpersoon het meeste verdient en de mensen die het werk doen er nauwelijks iets aan overhouden. Maar zelf labelen was ook verre van ideaal: het kostte enorm veel tijd die ik liever had gestoken in het bouwen van het model zelf, en eerlijk gezegd was het ook gewoon niet het leukste werk. Als ik toen had geweten dat er zoiets bestond als het AI Annotatielab, had ik daar zeker gebruik van gemaakt.
Hoe zit het met de juridische en organisatorische structuur achter het Annotatielab?
Het AI Annotatielab wordt gerund door Media Perspective, een stichting. Dat betekent dat er geen winstoogmerk is. De samenwerking met Regio Gooi en Vechtstreek is essentieel: zij zorgen voor de jobcoaches en de begeleiding van de kandidaten, en ze zorgen ervoor dat er vanuit de gemeenten in de regio mensen worden aangedragen voor het programma. Het is dus een samenwerkingsverband waarbij de sociale infrastructuur — de begeleiding, de trajecten, de doorstroom — door de regio wordt ingevuld, en het AI Annotatielab de werkplek en de taken verzorgt. Die combinatie is wat het initiatief zo krachtig maakt.
Hoe ziet een typische dag eruit voor iemand die deelneemt aan het AI Annotatielab?
Mensen komen er heel divers in. De ene deelnemer is de eerste dag al een uur te laat, omdat hij of zij nog moet leren dat negen uur echt negen uur betekent. Een ander is er misschien nog nooit aan gewend om te ontbijten voor ze aan het werk gaan. Weer een ander heeft er heel lang niet gewerkt en vindt het doodeng om in een ruimte met andere mensen te zijn en normaal sociaal contact te hebben. En dan is er ook iemand die meteen vol energie aan de slag gaat. Ze komen allemaal kwetsbaar binnen, elk op hun eigen manier. Maar het mooie is dat ze vrijwel allemaal vol zelfvertrouwen vertrekken. Het werk zelf — het labelen — is bewust afwisselend gehouden. Een uurtje afbeeldingen beoordelen, dan een uurtje video's bekijken en categoriseren, dan een stuk tekst lezen. Die afwisseling houdt het werk interessant en uitdagend genoeg om bij te blijven.
Het programma duurt zes maanden. Wat gebeurt er daarna?
In principe duurt het traject zes maanden. Het uiteindelijke doel is dat mensen daarna de stap naar de reguliere arbeidsmarkt kunnen zetten, en dat lukt ook regelmatig. Maar niet voor iedereen is dat na zes maanden haalbaar. Voor sommige deelnemers is de grootste winst dat er heel helder in kaart is gebracht waar hun potentie ligt en welke route ze verder moeten volgen om uiteindelijk die stap te kunnen maken. En voor een kleine groep wordt ook geconcludeerd dat betaald werk op de reguliere arbeidsmarkt er gewoon niet meer in zit — en dat is ook een eerlijk en waardevol inzicht. Die mensen worden dan ook niet langer lastiggevallen met de voortdurende druk om een baan te zoeken die niet bij ze past. Dat is ook een vorm van zorg en respect.
Welke rol speelt de jobcoach in het traject?
De jobcoach is absoluut onmisbaar. Ze heeft een bijzondere gave om mensen die diep in hun schulp zitten langzaam maar zeker te laten opbloeien. Naast de begeleiding bij het werk zijn er ook zogenaamde jobhunters — professionals die individueel met de deelnemers werken aan praktische zaken zoals het opstellen van een cv, het ontdekken wat bij iemand past, en het actief zoeken naar bedrijven die bereid zijn om iemand in dienst te nemen. Dat alles loopt parallel aan het annotatiewerk. De deelnemers zitten dus niet de hele dag te labelen — ze zijn ook bezig met hun eigen persoonlijke en professionele ontwikkeling, voeren ontwikkelingsgesprekken, maken hun cv, en werken aan de vaardigheden die ze nodig hebben om weer actief mee te doen in de samenleving.
Zijn er ook samenwerkingen met instanties zoals het UWV?
Ja, die samenwerking is er. Vanuit Regio Gooi en Vechtstreek zijn er verbindingen met de betrokken gemeenten en instanties, waardoor de deelnemers de juiste begeleiding kunnen krijgen. De regio zorgt ervoor dat er een continue aanvoer is van kandidaten die passen bij het programma, en dat de begeleiding en re-integratietrajecten goed zijn ingericht. Die samenwerking is ook de reden waarom het lab kan functioneren zoals het nu doet: het zijn geen losstaande initiatieven, maar een goed geïntegreerd geheel van werk, begeleiding en doorstroom.
Wat betekent dit initiatief voor jullie persoonlijk?
Voor mij persoonlijk is het fantastisch om te zien wat dit project teweegbrengt. Het is iets bijzonders als je ziet hoe mensen binnenkomen — soms angstig, soms gedesoriënteerd, soms al jaren buiten het arbeidsproces — en hoe ze na een paar weken of maanden veranderen. Je ziet het letterlijk aan ze. Ze staan rechter, ze praten meer, ze helpen elkaar. En als ze dan ook nog een baan vinden nadat ze hier zijn doorgestroomd — hoe mooi is dat? Dat iemand door het labelen van data, wat op het eerste gezicht een heel technische en droge taak lijkt, een compleet nieuwe toekomst heeft gekregen. Dat is iets waar ik elke dag energie van krijg.
Wat doet deze samenwerking met jou als technoloog bij RTL?
Voor mij persoonlijk is het heel leerzaam om aan de andere kant te staan. Data-annotatie is bij ons intern altijd iets wat vrij anoniem en op de achtergrond gebeurde. Nu zie ik wie het doet, wat het met ze doet, en wat de directe impact is van ons project op hun leven. Dat verandert iets. Tegelijkertijd leer ik ook veel over hoe ik mijn instructies moet formuleren. Als ik zie dat een uitleg die voor mij volkomen vanzelfsprekend is, voor een deelnemer helemaal niet duidelijk is, dan dwingt me dat om beter te communiceren. Eenvoudigere instructies leveren in bijna alle gevallen betere en meer consistente labels op. Dat is een les die verder gaat dan dit project alleen.
Er wordt veel gesproken over 'ethical AI'. Hoe past dit initiatief in die discussie?
Er wordt inderdaad heel veel gesproken over ethical AI — richtlijnen, risicobeheersing, regelgeving, transparantie. Veel van die discussies gaan over het afdekken van gevaren en het minimaliseren van schade. Dat is belangrijk, maar het kan ook een beetje somber stemmen. Wat het AI Annotatielab laat zien, is dat er ook een positieve ethische kant is aan AI. Niet het vermijden van schade, maar het actief creëren van waarde — voor mensen, voor de maatschappij, voor bedrijven. Het is een heel concrete, praktische invulling van wat het betekent om AI op een verantwoorde manier te gebruiken. Geen theoretisch kader, maar gewoon doen. En die tegenstrijdige mix van hoogtechnologische AI-ontwikkeling gecombineerd met mensen die een stap willen zetten naar de arbeidsmarkt — die twee werelden bij elkaar brengen — dat is wat dit initiatief zo bijzonder en zo krachtig maakt.
Welke impact heeft dit project op jouw eigen kijk op de samenleving?
Het maakt je bewust van je eigen geprivilegieerde positie. Als je hoog opgeleid bent, in een stabiele omgeving bent opgegroeid en nooit echt met armoede, werkloosheid of andere structurele uitdagingen te maken hebt gehad, dan is het heel makkelijk om te vergeten dat een groot deel van onze samenleving er heel anders uit ziet. Ik was die andere kant eigenlijk nauwelijks tegengekomen in mijn normale leven. Nu zie ik het elke dag. En dat is soms confronterend — maar het is ook verrijkend. Je realiseert je hoeveel talent en potentieel er is bij mensen die gewoon de verkeerde kaarten hebben gekregen, en hoe weinig er soms voor nodig is om ze te helpen toch vooruit te komen.
Er is momenteel een wachtlijst voor deelnemers. Wat is nodig om te groeien?
We hebben op dit moment inderdaad een wachtlijst van mensen die willen deelnemen aan het programma — er zijn meer mensen die willen dan dat we ruimte voor hebben. Dat is enerzijds een prachtig signaal: er is behoefte aan dit soort trajecten. Maar het betekent ook dat we moeten groeien. En die groei is alleen mogelijk als er meer bedrijven zijn die taken aanleveren, en als er voldoende diversiteit in die taken is. Want als iedereen hetzelfde type data aanlevert, worden de deelnemers overdag niet gevarieerd genoeg beziggehouden, en dat heeft effect op hun motivatie en ontwikkeling. We hebben dus écht meer bedrijven nodig die de stap willen zetten.
Over de gasten
Daan Odijk is een professional met ervaring in het ontwikkelen van innovatieve oplossingen binnen de AI-sector. Hij heeft een sterke focus op het creëren van waardevolle data door middel van annotatie, waarbij hij ook maatschappelijke impact nastreeft. Daan is betrokken bij projecten die mensen met een afstand tot de arbeidsmarkt ondersteunen in hun ontwikkeling en terugkeer naar werk.
Bekijk gastprofiel
Muriël Serrurier Schepper is betrokken bij het AI Annotatielab, waar mensen met een afstand tot de arbeidsmarkt de kans krijgen om zich te ontwikkelen en werkervaring op te doen door data te labelen. Ze speelt een cruciale rol in het begeleiden van deze mensen en het creëren van een omgeving waarin ze hun vaardigheden kunnen verbeteren en zelfvertrouwen kunnen opbouwen. Haar inzet draagt bij aan zowel de sociale als de professionele ontwikkeling van de deelnemers aan het lab.
Bekijk gastprofielTranscript
[Muziek] Hoi, leuk dat je weer luistert naar een nieuwe aflevering van de AI Today Live. Mijn naam is Joop Snijder, CTO bij Aigency. Mijn naam Niels Naglé, chapter lead Data & AI bij Info Support. En we zitten weer met Daan en Muriel van het AI Annotatielab. Als je de vorige aflevering niet geluisterd hebt, doe dat alsjeblieft. Daar leggen we uit, of zij leggen uit, met z'n allen denk ik, waarom het zo belangrijk is. En we praten even verder, vooral eigenlijk van hoe je als bedrijf, welke drempels moet je misschien overen om dit te gaan doen. Daan, jullie hebben hiervoor gekozen als RTL. Zijn er tegenwerpingen geweest binnen de organisatie om te zeggen van, nou zouden we dit wel moeten doen? Na tegenwerpingen zijn er niet zo heel erg geweest. Ik denk wel dat we relatief voorzichtig zijn begonnen. We zagen gelijk de potentie wel ervan, maar zijn gaan kijken van welke taken zijn er interessant om mee te gaan starten. En dat waren niet onze bedrijfskritieke processen, die we gelijk in de annotatielab hebben neergezet. Mariaal kijkt me ondertussen heel verbazend aan. Misschien nog even, sommigen zullen er in deze aflevering in invallen, wat is de AI Annotatielab? Dat is een plek waar mensen met een afstand tot de arbeidsmarkt zes maanden de kans krijgen om zich weer te ontwikkelen naar die arbeidsmarkt toe. En daar krijgen zij individuele begeleiding bij en daarna doen zij werk en dat werk is het labelen van data voor verschillende bedrijven, waaronder RTL. Ja, en we roepen eigenlijk op bedrijven van maak je gebruik van, want het is en maatschappelijk verantwoord ondernemen en je krijgt geweldige data. Daar zijn we op gekomen. Het is natuurlijk nog wat, want je geeft gevoelsmatig wel je data weg. Hoe hebben jullie dat ervaren? Ja, we geven natuurlijk niet onze data weg. We laten onze data annoteren, waardoor het een waardevollere data wordt. Dat is denk ik vooral wat... Ik denk wat een drempel is om hiermee te gaan starten. Wat ik me kan voorstellen is dat het... vaak heel lastig te zien is waar dit soort labelwerk gebeurt. Als het alternatief is om het naar een crowdsourcing platform te sturen, is het denk ik heel makkelijk om te bedenken, want dat gaan we hier doen. Maar ik denk dat heel vaak, bij ons in ieder geval, dit ook voor een deel verborgen werk is geweest. of dingen waar we niet aan toe kwamen. En dat doordat we hier kunnen annoteren, dat we een aantal use case kunnen oplossen, die we daarvoor niet hebben kunnen doen ook. Ja, ik heb zelf, dat vertelde ik in de vorige aflevering natuurlijk ook, van, moest ik 10.000 plaatjes, en dat waren er zelfs nog iets meer dan 10.000, ik rondel het even naar beneden af. Dus wel heel jammer dat ik niet wist dat dit bestond. Waarom ben je dat dan zelf gaan doen? Waarom ben je dat dan zelf gaan labellen? Nou, ik wilde het niet uitbesteden aan lage loonlanden. Ik weet niet, dat voelt toch niet zo goed. Dat Mechanical Turk, weet je, daar zit Amazon tussen. Volgens mij romen die het meeste af en dan houden die mensen in het buitenland helemaal niks aan over. Dus het was bij gebrek aan kennis en dan denk je, ja, het moet gebeuren. De teamleden waren druk met het ontwikkelen van de modellen, waren andere dingen aan het doen. Dus ik dacht van, dan doe ik het maar het was niet het leukste werk. Ik had begrepen dat ze het hier wel heel erg leuk vinden toch? Ja ze vinden het hartstikke leuk en vooral ook als er afwisseling is. Ze willen ook niet 10.000 plaatjes achter elkaar doen, maar als ze een uurtje plaatjes doen... en daarna een uurtje video's kijken en daar dingen in aangeven en dan weer een stuk tekst moeten lezen. Dan houden we het ook gewoon divers wat ze kunnen doen. Wat ik me nogal vraag, we zitten nu heel vaak bij organisaties, juist data is het nieuwe goud en waarom zouden we het inderdaad uit handen gaan geven? Wat zijn de overwegingen geweest voor jullie om het niet zozeer uit handen te geven, maar die werkzaamheden toch hier te beleggen? Dus ik denk dat wij het ook vaak zien als een goede eerste stap naar iets automatiseren. We hebben dit vaak gedaan op nieuwe taken gestart op een terrein waar we nog niet AI modellen hadden ook. Dus eerst verkennen van hoe goed kunnen we daar data van krijgen en wat voor kwaliteit heeft die data. Zodat we ook weten hoe moeilijk het probleem is en hoe vaak verschillende categorieën voorkomen. Bijvoorbeeld dat soort dingen. Oeh, dat is mooi. Dus eigenlijk al een soort van eerste validatie. Ja, eigenlijk wel inderdaad. Voordat we aan AI-modellen gaan maken, gaan kijken van kan het eigenlijk wel? Kunnen we er wel een taak van maken? Zouden we dat een mens kunnen laten doen? Voordat we beginnen met het aan de machine uit te gaan. Dat is wel mooi, want de workshops die ik doe bij bedrijven gaat eigenlijk bijna altijd over van, begin pas met machine learning als het überhaupt iets van een business case is. En daarna proberen we dan, wij noemen dat een 'proof of value', dat je een hele korte periode eigenlijk kijkt van het idee wat je hebt, is dat haalbaar met de techniek en dat soort daken. En dan zou dit dus heel mooi erbij kunnen dat je zegt van, oh ja, maar is je data ook niet alleen kwalitatief goed, maar waar loop je tegen aan? Ja, en kunnen we het aan mensen uitleggen? Zijn mensen het met elkaar eens op deze taak? Dat zijn allemaal hele goede signalen. Oh, mooi. Vervolgens zijn er een model daarvoor. Ja. Ja, en ik heb ook al gezien dat het wel belangrijk is, ook dat je echt een goede taak creëert. Want daar kregen we ook feedback op dat het niet ging. En je hebt ook wel andere bedrijven geholpen met van, hoe zet je dat nou goed op? Want daar moet je ook wel even goed over nadenken. Want je kan niet zomaar je data erin gooien en succes. Dus daar zit wel een stukje werk in wat je moet doen. Maar als je dat gewoon goed doet, dan heb je daarna enorm veel profijt van. Dus eigenlijk bepaalt dat dan een beetje wat gelabeld moet worden, wat de opties zijn. Moet ik daar dan aan denken als taakzijnde? Ja, zeker. Dus we beginnen te denken vanuit de business case... wat zouden we met deze data kunnen gaan doen? En dan terugreduceren van welke data hebben we dan beschikbaar? Welke video content bijvoorbeeld? En wat voor vragen daaromheen zou je kunnen stellen... die een goed signaal geven om een model op te trainen... om die businesswaarde uiteindelijk te kunnen creëren. En dat stukje validatie, want ik neem aan dat je... dat ga je niet over je hele data doen. Dus je maakt daar een selectie in, denk ik. Ja, dat hangt denk ik heel erg van de taak af. Dus bijvoorbeeld, in de vorige podcast noemden we ook het voorbeeld waar we nu naar kijken, waarbij er gekeken wordt naar korte clips van rtl.nl, waar we categorieën vragen. Is het entertainment, is het nieuws? Van allerlei verschillende vormen content die we hebben daar. voor zo'n taak, welke modellen we ook gaan maken, het meeste impact zullen de video's hebben die het meest populair zijn. Dus we hebben daar de meest populaire video's geselecteerd, en dat is wat ze hier annoteren. En nu we een eerste lading labels hebben, zien we dat er een behoorlijk aantal categorieën onder vertegenwoordigd zijn. Dus daar gaan we nu actief naar op zoek, om die weer extra te laten labelen, zodat we een goede diverse data set hebben. En als bedrijven nu luisteren, Muriel, en niet zeggen van dit lijkt me wel wat. Zou je iets van een orde van grootte van kosten? Is het heel veel duurder dan als ik het zou laten doen in het buitenland? Ik weet niet wat het allemaal in het buitenland kost. Het ligt erbij welk land je in Afrika of Azië gaat selecteren. Maar wat wij doen is, het kost ongeveer 25 euro per uur, gewerkt uur. En daar heb je goede mensen voor die ook begeleid worden. Dus ja, je kan het goedkoper ergens anders krijgen, maar dan heb je niet dat sociale aspect eraan. En waarschijnlijk ook niet de kwaliteit die wij kunnen leveren. Dus dat is eigenlijk hoe we het... En daarmee proberen we kostendekkend dit neer te zetten. - In 25 euro per uur echt een hele schappelijke prijs. - Ja, en belangrijk daarbij te zeggen denk ik ook, dat het annotatielab wordt gerund door Media Perspective, dat is een stichting, is er geen winstopmerk hier verder. Het is bedoeld om dit te kunnen faciliteren. Ja. -Ja, en wij doen het in samenwerking. Het zou niet kunnen zonder Regio Gooi en Veststreek, want daar... Die zorgen eigenlijk voor de begeleiding van de kandidaten... en ook zorgen dat er vanuit de gemeentes hieruit in de regio... kandidaten op dit project komen. En dat gaat nu heel goed. We hebben zelfs een wachtlijst op dit moment. Dus dat is heel mooi. Er willen meer mensen aan de slag. Maar dat kan alleen als we meer bedrijven hebben en meer taken. Zodat we een beetje diversiteit erin kunnen houden. Dus er is echt wel ruimte tot groei. En de doorstroming, je noemde in het begin zes maanden. Is het na zes maanden gewoon klaar? Zijn ze dan klaar om ander werk te gaan doen? Of is er nog wat dat ze kunnen verlengen en nog door kunnen gaan? In principe is het zes maanden. En heel af en toe blijft iemand om bepaalde redenen nog wat langer. En voor een deel van de mensen is het streven echt dat ze de arbeidsmarkt op gaan en dat lukt ook met regelmaat. Maar voor andere mensen is dat nog gewoon een brug te ver en zijn ze al heel blij dat we goed in kaart hebben waar zit hun potentie of welk pad moeten ze verder volgen om uiteindelijk op die arbeidsmarkt te komen. En voor sommige mensen wordt ook gewoon geconcludeerd dat het er gewoon niet meer in zal zitten. Maar dan worden ze ook niet meer lastig gevallen met continu een baan moeten zoeken. Terwijl ze eigenlijk dat gewoon niet in zich hebben. - Hebben jullie dan ook samenwerking met UWV of zoiets? - Ja, dus vanuit de regio Goeien-Vegstreek. We hebben een jobcoach die de mensen begeleidt. Maar er zijn ook allemaal jobhunters, heet het geloof ik, die met deze mensen individueel aan de slag gaan. Ook met CV's opstellen en kijken wat past bij jou. wat past bij jou en vervolgens ook gaan zoeken naar bedrijven om hen te plaatsen. - Oh, zo gedurende het proces dat ze hier zijn. - Ja, dus dat is onderdeel van het programma. Dus de mensen zitten niet de hele dag te labelen. Nee, ze moeten ook aan hun eigen ontwikkeling, ze moeten ook hun cv gaan maken. - Mooi, mooi. - Ze moeten ook andere ontwikkelingsgesprekken hebben. Dus dat hoort er echt allemaal bij voor hun. Het is een heel volledig programma in dat omzicht. En krijgen ze een opleiding voordat ze hier aan de slag gaan? Of is dat gedurende dat je werkt? Nee, ze krijgen niet van tevoren iets. Ze komen binnen en de een komt binnen en die is meteen al een uur te laat. Want die moet nog leren, negen uur is negen uur. De ander komt binnen en heeft nooit ontbeten. Weer een ander komt binnen die al een tijdje bezig is, die gaat gewoon lekker aan de bak. Weer een ander komt binnen en die vindt het doodeng omdat er andere mensen zijn... waar je sociaal mee moet doen. Dus ze komen vaak heel kwetsbaar binnen. En gaan weg met vol zelfvertrouwen. En in het ultieme geval met een baan. Dat is natuurlijk helemaal mooi. Wat betekent het voor jullie persoonlijk eigenlijk? Want dit is best wel... Je werkt met een speciale groep. Het is echt superbelangrijk werk. Wat doet het met jullie persoonlijk? Ja, ik vind het fantastisch. Ik vind het echt fantastisch dat we dit neerzetten. En zeker ook de jobcoach die we erop hebben. Die vrouw is zo fantastisch met hun en weet echt van mensen die in hun schulp zitten, weer mooie bloemen te maken. En je ziet het gewoon aan degenen die hier zitten. En ook gewoon dat we steeds meer mensen aan het werk krijgen. aan het werk krijg. Ja, hoe mooi is het dat je door het labellen van data, hoe saai is dat, dat is data, dat je gewoon mensen een hele nieuwe toekomst biedt. Ja, ik vind dat fantastisch. Ja, voor mij ook. Dit labellen is toch iets wat meestal anoniem gebeurt en wat heel makkelijk is om gewoon ergens op een platform neer te zetten en op een gegeven moment terug te krijgen. En dat is echt heel anders met dit project, waar we een directe link hebben aan deze mensen, daar ook direct zien wat voor impact het heeft, wat wij hier doen ook in dit project. En het is ook gewoon heel leerzaam om aan de andere kant te zien van een hoop dingen die bij ons heel vanzelfsprekend zijn en heel gewoon zijn in hoe ik uitleg wat voor nieuwe taken we hebben. Dat ik eventjes rondkijk en denk van nee, dit moet ik even opnieuw doen. Ik denk dat het een heel mooi project is. Ik denk dat het een heel mooi project is. Ik denk dat het een heel mooi project is. Ik denk dat het een heel mooi project is. Ik denk dat het een heel mooi project is. Ik denk dat het een heel mooi project is. Ik denk dat het een heel mooi project is. Ik denk dat het een heel mooi project is. Ik denk dat het een heel mooi project is. Ik denk dat het een heel mooi project is. Ik denk dat het een heel mooi project is. Ik denk dat het een heel mooi project is. Ik denk dat het een heel mooi project is. Ik denk dat het een heel mooi project is. Dat is helemaal mooi, als ze al wat anders hebben gevonden. Dat is heel erg top om te zien. Ja. -En dat maakt je ook wel bewust... ja, hoe geprivileerd wij zijn. Dat je hoog opgeleid bent en dat je in een stabiele omgeving bent opgegroeid. In een stabiele omgeving woont. Maar er is ook echt een andere kant in onze maatschappij. En ik kwam hem in mijn normale leven eigenlijk niet tegen. En nu zie je andere mensen en je denkt, oh jemig, dat heb ik het ook goed eigenlijk. Voor de luisteraars niet zichtbaar, maar ze zitten allebei echt te stralen. Als ze dit even vertellen met vol passie, dus ik denk dat het voor de luisteraars wel heel goed om te weten. Er zitten hier twee stralende gasten bij ons aan tafel die echt laten zien hoeveel het met hun doet. En ook hoeveel mooie dingen er voor de maatschappij naar voren komen. Want Joop, we hadden het hier over, toen we dit hoorden dacht ik van, waarom is dit dit nog niet? of waarom wisten wij dit nog niet? Wat waren de gedachten die jij kreeg toen je dit hoorde? Nou, nu dat we... want we praten al een tijdje. Wat ik eigenlijk wel heel erg mooi vind is dat... we hebben het heel vaak over allerlei ethische bezwaren, problemen, weet je. Er wordt er zoveel over gesproken. En als je nu dit bekijkt, dat is ook een ethisch aspect aan het verhaal rondom AI. Er zitten ook zoveel mooie kanten aan. En dan vind ik dit wel echt een heel geweldig initiatief. Zo zie ik dat. Dat is waar. Het is een hele mooie praktische invulling van de ethische kant van AI. Ik denk dat wij dat ook zeker bij de StartFund project heel leuk vonden hieraan. De eigenlijk soort van bijna tegenstrijdige mix van hoogtechnologische ontwikkelingen, gecombineerd met mensen die af en toe naar de arbeidsmarkt willen. En dat toch bij elkaar brengen. En daar kansen vinden voor allebei eigenlijk. Ja, want er wordt allemaal heel veel gesproken over ethical AI en allemaal guidelines en allemaal dat soort zaken. Dat gaat allemaal over het afdekken van risico's. Hier hebben we het gewoon over iets wat in zijn hele wezen gewoon positief is. Ja, we hebben het goed uitgelicht. Ja, prachtig. Ja, echt mooi inderdaad. En we mochten net ook even bij ze kijken. Met passie zaten ze ook gewoon te labellen en lichten ze het graag toe wat ze aan het doen. Dus ze zien ook, je ziet ook dat het wat met ze doet, dat ze die impact kunnen maken en dit mogen doen inderdaad. Dat vond ik wel mooi om mee te krijgen. En vooral met de verhalen inderdaad, dat ze vervolgens ook weer het werkleven in kunnen stappen en de volgende baan op kunnen pakken. Want ja, we hebben niet genoeg werklui in Nederland om de klussen te klaren. Dus alle hulp kunnen we goed gebruiken. Ja, en het leuke is ook wel dat het vaak deze doelgroep... Daar wordt natuurlijk wel heel veel gemeentes mee kijken van... hoe krijgen we mensen aan de slag? Maar dan met de moeilijke doelgroepen, dan mogen ze in de groenvoorziening... of mogen ze in een fabriek iets doen wat niet te ingewikkeld is. Maar achter een computer op een kantoor... dat werk is er eigenlijk niet in dit soort trajecten. En ja, we doen het nu in de regio GroenVegststreek... maar dat kunnen andere gemeentes, andere regio's ook zomaar doen. En daardoor krijg je ook weer een andere manier... en krijg je dat mensen ook weer andere kansen krijgen. Want niet iedereen is geschikt voor de groenvoorziening. Maar wel achter een computer zitten. Ik heb ook twee linkerhanden hoor. Klussen en groen is ook allemaal niks voor mij. Toetsenbord is goed, maar... En ook voor onze mensen hier niet. Dus dat is heel mooi dat er gewoon ook andersoortig werk is... om hier naar die markt te komen. Ja, en diversiteit ook. Diverse groep mensen die hier voorbij komen. Jong, oud, leeftijd, mannen, vrouwen, verschillende achtergronden. Dat is ook iets wat je nog niet binnen alle organisaties tot je beschikking hebt. Dus wil je dat meenemen in jouw data labeling, dan is dit wel een ideale groep om dat soort werkzaamheden bij te beleggen. Heel mooie punt die erbij komt. Ja, dus wil je maatschappelijk verantwoord ondernemen, neem dan ook, onderneem dan ook actie denk ik, hè? Dus neem contact op met Muriel. Wil jij nog mensen een oproep doen? Ik neem contact op, kijk ook even op annotatielab.nl. Daar vind je ook mijn gegevens, maar daar zie je ook allemaal voorbeelden, use cases van verschillende bedrijven. Zie je ook wat voorbeelden van de mensen die we hebben. En als je daarna denkt, ja dit is het, dan stuur me een berichtje. Met onze ervaring van de afgelopen twee jaar, denk ook heel graag mee met andere bedrijven over wat voor hun kan helpen, welke vragen wel en niet werken. We gaan inderdaad nog een hackathon organiseren. Waarbij bedrijven denken, ik heb een idee van een taak. Die kunnen dan komen met hun idee. En dan gaan wij op die dag, hopelijk ergens in mei, gaan wij ze helpen die taak te creëren. En als dat allemaal goed gaat, ook aan het eind van de dag al te beginnen met labelen door onze mensen. zodat ze ook meteen al zien, hé het werkt. Dus, ja was ik helemaal vergeten te zeggen, maar daar zijn we nog mee bezig. De datum kondig, maar misschien geef ik die daarna nog wel door, dat het nog in de show notes erbij kan komen. - En het idee is echt dat we dat heel hands-on doen. Dat we aan het einde van de dag een taak hebben staan, dat we eventueel afspraken kunnen maken om dat verder te gaan ontwikkelen. En vanuit het team bij RTL hebben we een stuk of vijf mensen, denk ik, die inmiddels ervaring hebben met dit soort taken, die die dag komen meehelpen en Angder ook gaan verder helpen om hierin te starten. Mooi. -Mooi. Mooi, ja zeker. En ook jouw aanbod dat je zegt van, weet je, ik ben bereid om te helpen. Geweldig. -Ja. Spring nog een dingetje er binnen Joop, die wil ik niet vergeten om niet te noemen. Dit initiatief hebben wij niet op onze raden gehad. Zijn er nog meer van dit soort initiatieven luisteraars waar wij echt van moeten weten? Neem dan alsjeblieft contact met ons op, want dit soort pareltjes, die moeten we gewoon met elkaar bespreken. Dus neem contact met een van ons twee op. - Hele goede. Super. Leuk dat je weer luisterde naar een aflevering. Muriel, Daan, hartstikke bedankt dat jullie hier aan mee wilden doen. Belangrijk onderwerp, dus meld je aan. En tot de volgende aflevering. - Ja. [Muziek]