Baloe of Berry? Challenges for Good

Kun je je voorstellen aan onze luisteraars en uitleggen wat Fruitpunch AI precies doet?

Natuurlijk, aangenaam. Ik ben Sako Arts, CTO van Fruitpunch AI. Wij bouwen samen de wereldwijde AI for Good community. Wat dat precies betekent? Nou, AI for Good definiëren wij door de projecten die wij uitvoeren te koppelen aan een van de Sustainable Development Goals van de Verenigde Naties. Dit zijn zeventien internationale doelen voor duurzame ontwikkeling, zoals klimaatactie, schoon water, duurzame energie en het beschermen van ecosystemen. Door deze formele koppeling te maken, zorgen we ervoor dat onze projecten meetbare maatschappelijke impact hebben.

Hoe werkt jullie aanpak in de praktijk?

Onze hoofddoelen zijn het educeren en toepassen van AI for Good, en ons belangrijkste mechanisme daarvoor zijn onze AI for Good challenges. We gaan actief op zoek naar organisaties wereldwijd die een dataset en een probleem hebben, waarbij de oplossing van dat probleem aansluit bij de Sustainable Development Goals. Zodra we zo'n organisatie en project hebben geïdentificeerd, maken we daar een AI for Good challenge van. Dan komt het interessante deel: we crowdsourcen mensen uit onze community om samen in tien weken dat project op te lossen. Op die manier kunnen we voor zo'n organisatie echt een probleem oplossen met AI, maar tegelijkertijd leren we mensen ook hoe je AI in de praktijk toepast. Zoals iedereen met een technische achtergrond weet: de enige manier om technische vaardigheden echt onder de knie te krijgen, is door ze in het echt te doen. Dat faciliteren wij.

Waarom hebben jullie gekozen voor precies tien weken voor zo'n challenge?

Tien weken is eigenlijk een geoptimaliseerde tijdsduur die we door experimenteren hebben ontdekt. We doen dit nu sinds 2020, dus meer dan drie jaar, en hebben in die periode geëxperimenteerd met kortere en langere tijden. Mensen besteden gemiddeld zo'n acht uur per week aan zo'n challenge, dus je doet het typisch naast je werk. Dan hebben we echt gekeken naar de vraag: hoe kunnen we nou daadwerkelijk bruikbare output krijgen? Veel mensen kennen het concept van de hackathon, waar je één, twee of soms drie dagen aan iets werkt. Maar daar bereik je eigenlijk nooit echt iets mee. Je bent aan het spelen met een bepaalde technologie, maar een implementatie die iemand daadwerkelijk kan gebruiken, komt daar vrijwel nooit uit. Met tien weken hebben we genoeg tijd om door alle fases heen te gaan: van probleemverkenning tot daadwerkelijke implementatie.

Hoe groot zijn de teams die aan zo'n challenge werken?

Het totale team dat we crowdsourcen bestaat uit dertig tot vijftig personen. Dat klinkt misschien overweldigend, maar we proberen echt heel veel verschillende perspectieven bij elkaar te halen. Natuurlijk delen we ze wel op in kleinere subteams, want één groot team van vijftig man is niet echt managebaar. Door ze in kleinere subteams op te delen, laten we verschillende groepen hetzelfde probleem vanuit verschillende hoeken tackelen. Dat levert vaak verrassende en innovatieve oplossingen op.

Kun je een concreet voorbeeld geven van een afgeronde challenge?

Mijn favoriet is het project voor wildlife bescherming in Zuid-Afrika, waar ik ook persoonlijk langs ben geweest bij de rangers. Wat daar aan de hand was: ze hadden een fixed wing drone, dat is geen quadcopter met vier rotoren, maar echt een klein vliegtuigje. Deze drone vloog 's nachts over de wildlife reservaten van Zuid-Afrika. De reden dat het een vliegtuig was en dat het 's nachts vloog, heeft alles te maken met het hoofddoel: het detecteren van stropers. Wat ze voorheen deden: rangers zaten in een mobiele cabine de hele nacht naar een zwart-wit infraroodbeeld te staren dat de drone direct live terugstreamde naar dat studiootje. Het probleem daarmee is dat je heel veel menselijke fouten krijgt. Als je de hele nacht naar een zwart-wit beeld zit te staren, dan hou je op met opletten. Daarnaast vliegt dat vliegtuig zo langzaam mogelijk, maar dat is nog steeds zo'n 40 kilometer per uur. Je vliegt dus nog steeds vrij snel over een potentieel interessante target heen. Dit waren significante problemen waardoor het systeem ook niet schaalbaar was. En dat is waar wij instapten met de vraag: kunnen we dit automatiseren met AI? Kunnen we een AI bouwen die automatisch mensen detecteert op die infraroodbeelden?

Welke technische uitdagingen kwamen jullie tegen bij dit project?

Met de huidige staat van technologie is object detection - het automatisch herkennen van objecten in beelden - relatief goed te doen. Maar de leuke extra uitdaging was dat het model moest draaien op de drone zelf. Die drone had namelijk geen mobiele verbinding, geen 4G of 5G. Dat zit ook helemaal niet in die wildlife reservaten. Ze konden alleen maar via een radio terugpraten met die cabine op de grond. Dus we moesten op een of andere manier een signaal terug naar de grond krijgen op het moment dat er een stroper gedetecteerd werd. We hebben daarom een Jetson Nano geïnstalleerd op de drone, een platform van NVIDIA met een mini-GPU, om die AI live te laten draaien. Maar toen kwamen we tegen een volgend probleem: dat computertje verbruikte behoorlijk veel stroom. De range van het vliegtuig ging van ongeveer vier uur vliegen naar anderhalf uur. Dat was natuurlijk veel te weinig.

Hoe hebben jullie het stroomprobleem opgelost?

We hebben uiteindelijk een slim twee-traps AI-model gebouwd. Het eerste model is heel klein en stroombesparend, en detecteert alleen of er iets interessants in het beeld is. Alleen op het moment dat dit kleine model detecteert dat er iets interessants is, dan pas schakelt het zware model in dat daadwerkelijk mensen kan detecteren. Op die manier hebben we een systeem gebouwd dat zowel stroom-efficiënt is als effectief werkt.

Wat gebeurt er als het systeem een stroper detecteert?

We sturen via een radiografisch signaal direct een melding terug naar de grond. Dan gaan er letterlijk alarmbellen in de cabine, het scherm gaat flitsen, en er wordt een boxje getekend rondom de gedetecteerde persoon. In de tweede iteratie van de challenge hebben we ook technologie toegevoegd waardoor de drone dat stuk gaat cirkelen. Dat is de hele reden dat we voor object detection zijn gegaan: zodat we precies kunnen aanwijzen in het beeld waar het point of interest is, de persoon. De drone kan daar dan omheen cirkelen, zodat de rangers erop afgestuurd kunnen worden.

Hoe werkte het systeem voordat jullie AI implementeerden?

Voorheen moesten de rangers, zodra ze iets zagen, eerst de dronepiloot wakker maken. Die drones vliegen namelijk een soort standaard patroon, en als ze eenmaal in de lucht zitten, hoeft de dronepiloot daar niet meer zoveel mee te doen. Maar op het moment dat er iets gevonden werd, moest hij eruit, naar buiten, en het ding gaan besturen. Het was dus een heel arbeidsintensief en foutgevoelig proces.

Waarom ben je zelf naar Zuid-Afrika gegaan voor dit project?

We hadden een aantal projecten draaien in de regio Zuid-Afrika, met verschillende partnerbedrijven en universiteiten daar. We hadden via die kanalen een oproep gedaan of mensen nog een gaaf AI for Good challenge-idee hadden, en dit project kwam daaruit. We hebben toen alles gecombineerd om ook echt een trip te maken, en dat was echt heel cool. Met de rangers sliepen we echt in van die ouderwetse barakken, midden in het wildlife reservaat. Dus het zijn niet die resorts met grote hekken eromheen, maar echt simpele barakken waar het water ook niet stroomde omdat een olifant een dag eerder op één van de zonnepanelen was gaan staan. Daardoor werkte de pomp niet en was er geen lopend water. Dat was wel een bijzondere ervaring.

Wat is de meerwaarde van fysiek on-site zijn bij zo'n project?

Bij de meeste challenges doen we dat eigenlijk niet, want de extra kosten passen niet binnen een challenge budget. We doen projecten echt wereldwijd: Australië, Noord-Europa, Afrika, India. Maar in dit geval was er al een hardware platform, die drone. Daar hielp het wel heel erg om mee te gaan kijken van: wat is nou de problematiek? Hoeveel ruimte is er in dat ding? Wat kunnen we daar wel en niet in installeren? Ook echt helpen met die installatie en daar brainstormen was waardevol. We moesten bij een aantal apparaten bijvoorbeeld remote toegang regelen, en ze hadden daar niet zo veel verstand van netwerkinstellingen. Het helpt als je dat fysiek ter plekke kan doen. Omdat er al een fysiek platform was, was het dus wel heel handig om even langs te kunnen komen en echt te zien hoe alles werkt.

Ben je vanaf het begin betrokken geweest bij Fruitpunch AI?

Fruitpunch AI heeft een tijd bestaan als alleen maar een studententeam, dat was de oorsprong hier op de universiteit in Eindhoven. Ik was toen al betrokken bij dat studententeam. Ik werkte toen al als AI-specialist en had daar een data science afdeling. Mijn huidige co-founder vroeg me op een gegeven moment of ik een leuke presentatie wilde geven voor de studenten. Dat heb ik toen gedaan en zodoende was ik betrokken bij het studententeam. Op een gegeven moment kwam het idee: volgens mij kunnen we dit proberen te schalen, het groot maken buiten Eindhoven. Maar dan moeten we er wel echt een bedrijf van maken. Want als non-profit, als stichting, is groei echt heel lastig. Dan ben je honderd procent afhankelijk van donaties en dan word je heel snel eigenlijk gewoon een marketingclub om die donaties binnen te schrapen. Dus toen zijn we voor het VC-funded startup model gegaan, waarbij je bij investeerders geld ophaalt om je organisatie te kunnen laten groeien. Vanaf dat moment ben ik aangesloten toen we echt als bedrijf doorgingen.

Wat was het eerste project dat jullie als Fruitpunch AI hebben aangepakt?

Heel lang geleden zijn we begonnen met een stukje serious gaming. Daar ging het echt over: kunnen wij reinforcement learning agents zelf bouwen? Reinforcement learning is een vorm van machine learning waarbij een AI leert door trial and error, een beetje zoals een kind dat leert lopen. We trainden die op virtuele omgevingen die we zelf bouwden. Maar de eerste echte AI for Good projecten waren in de AI for Wildlife ruimte. We zijn daar al heel sterk in geworden, met name in ecologie en het identificeren van dieren. En dan hebben we het niet over simpelweg 'er is een hond in beeld', maar veel specifieker.

Kun je een voorbeeld geven van zo'n identificatieproject?

We doen dat bijvoorbeeld met zeehonden in de baaien van New York. We krijgen daar foto's binnen en kunnen dan zien: dit is Perry de zeehond. Dit heet individual identification oftewel het herkennen van specifieke individuen binnen een diersoort. Daarmee kunnen ze dus de populatie tracken. Want dan weet je precies welke zeehonden op elke foto opnieuw terugkomen. Over verschillende jaren heen kun je dan kijken hoe het met de populatie gaat: groeit die, neemt die af, welke individuen overleven? Dat zijn wel echt het type projecten waar ik trots op ben. Een van die zeehonden die daar rondzwemt heet zelfs Sako, vernoemd naar mij. Dat is denk ik mijn grootste eerbetoon tot nu toe.

Hoe herken je individuele zeehonden van elkaar?

Het is uiteindelijk een vorm van gezichtsherkenning, vergelijkbaar met de technieken die je kent van menselijke gezichtsherkenning. Maar het verschilt wel per diersoort welke technologie daar het beste voor werkt. Bij zeehonden kijk je naar gezichtskenmerken, net als bij mensen. We hebben dit ook met zeeschildpadden gedaan, en daar zie je weer dat een hele andere techniek effectief is. Die herken je namelijk op basis van het patroon op het schild. Dat is een soort mozaïek met heel duidelijke contrasten. Bij zo'n mozaïek is het makkelijker om features uit te extracten - dus herkenningspunten te vinden - dan bij iets subtiels als een gezicht.

Werken jullie nu aan nieuwe dieridentificatieprojecten?

Ja, we gaan dat nu ook met beren doen. Daar hebben we een nieuwe uitdaging bij: beren veranderen heel veel over een jaar heen. Ze worden behoorlijk dik als ze heel veel zalm gegeten hebben voor de winterslaap, en vallen dan heel erg af over een jaar. Daarnaast hebben ze wintervacht en zomervacht, en veranderen ze ook qua kleur. Ze veranderen dus heel veel, ook in het gezicht. Dat is de volgende uitdaging op dat gebied.

Wat is het doel van het berenproject?

Het gaat daar om twee dingen. Één is echt het tracken van de populatie. Maar ook het tracken van waar ze zich bevinden. Dat kan heel erg helpen met het managen van het landschap. Als er bijvoorbeeld een vraag is of een bepaald stuk bos gekapt kan worden, kunnen ze nu zeggen: dat kan niet, want hier zijn die beren actief. We weten hoeveel individuen er zijn en waar ze zich ophouden. Aan de andere kant is er ook een stukje dat ze human-wildlife conflict noemen, oftewel situaties waar dieren en mensenpopulaties botsen. Bij beren kan het gebeuren dat zo'n beer inbreekt in een boerderij en dan de lammetjes, koeien of schapen slacht. Of misschien wel herden en andere voedselvoorraad te grazen neemt.

Wat is het probleem met beren die boerderijen binnendringen?

In eerste instantie is het natuurlijk niet zo'n ramp dat een beer één keer een boerderij binnenkomt. Maar het probleem met beren is dat die heel intelligent zijn. Zo'n beer wordt heel snel wat ze een 'probleembeer' noemen, want die leert dat gedrag aan. Die denkt: zo kan ik een snelle snack halen. Dat heeft als probleem dat één zo'n beer alleen maar blijft inbreken bij alle boerderijen die hij kan vinden. Dan wordt het natuurlijk ook een serieus risico voor de volksgezondheid en veiligheid. Uiteindelijk moeten ze zo'n beer dan afschieten, en dat willen we natuurlijk voorkomen. Dit soort technologie wordt dan ook gebouwd om op tijd zo'n beer te kunnen detecteren op camera's en dan afstotende systemen te activeren.

Welke afstotende systemen worden gebruikt om beren af te schrikken?

Dat kan beer spray zijn - dat hebben we in Nederland niet, maar in Amerika is dat een bekend middel. Maar ook harde geluiden of flitsende lichten. Het doel is om die beren af te schrikken en te zorgen dat ze dit ongewenste gedrag niet aanleren. Als je ze vroeg genoeg afschrikt, leren ze dat boerderijen geen goede plek zijn om voedsel te zoeken.

Waar vinden deze berenprojecten plaats?

We doen dit met twee verschillende organisaties. Eentje in Noord-Amerika waar we voornamelijk met bruine grizzlyberen werken. En eentje in Noord- en Oost-Europa, waarbij Roemenië een van de hotspots is. Dat zijn allebei bruine beren, maar ook dat kun je met AI uit elkaar halen - je kunt met de juiste technieken zelfs verschillende populaties van dezelfde soort onderscheiden.

Is het herkennen van beren technisch uitdagend?

Ja, dat kan zeker lastig zijn. Een van de problemen zit vaak in de beschikbare data. Er is relatief weinig data beschikbaar van beren, en wanneer je een classifier - een AI-model dat objecten classificeert - vanaf de grond af traint, dan heb je best wel veel data nodig om dat goed te kunnen doen. Bij sommige projecten was de dataset beperkt en had deze ook geen andere dieren. Wat dat betekent: het is leuk dat het model een beer kan herkennen, maar dan denkt hij heel gauw dat een hond ook een beer is. Als je alleen maar beren hebt getoond, dan wordt alles wat enigszins op een beer lijkt ook als beer geclassificeerd.

Hoe hebben jullie het dataprobleem opgelost?

We hebben van verschillende bronnen data verzameld. Van Sense Inclusive, een organisatie hier in Nederland die met verschillende Europese organisaties samenwerkt om dieren te beschermen, hebben we een dataset met beren gekregen. Van de SLU, eigenlijk de Zweedse equivalent van Wageningen Universiteit, hebben we beelden van heel veel verschillende dieren gekregen: everzwijnen, herten, enzovoort. En uit Noord-Amerika hebben we beelden van verschillende beren. Zodoende hebben we een veel grotere en gevarieerder dataset kunnen verzamelen. Een classifier die kan onderscheiden of iets een beer is of niet ligt zeker binnen de scope van huidige technologie. Maar als je gewoon niet voldoende en gevarieerde data hebt, dan kan het nog wel eens een uitdaging zijn.

Hoe zit het met de kwaliteit van die verschillende datasets?

Die datasets hebben allemaal variërende kwaliteiten. De ene zijn telefoon- of camerafoto's en de andere zijn van camera traps - dat zijn doosjes die tegen een boom hangen en automatisch een foto maken als ze beweging detecteren. Die hebben ook allemaal andere resoluties en beeldkwaliteiten. Eén set is heel goed gelabeld met echt de gezichten van de beren erop geselecteerd. De reden dat je dat wilt doen is omdat je zoveel mogelijk storende elementen eruit wilt snijden voordat je probeert een dier te identificeren. Dan kan het model niet afgeleid worden door de achtergrond of andere elementen. Bij de andere datasets hebben we dat niet, dan hebben we de beren in hun geheel. Dat hebben we er dan zelf nog uit moeten snijden.

Hoe automatiseren jullie het proces van het uitsnijden van beren uit foto's?

In de laatste jaren zijn er een aantal technieken uitgekomen die je heel goed vrijwel unsupervised kan gebruiken. Unsupervised betekent: zonder die specifiek te trainen, of in ieder geval zonder veel training met dit soort data. Die kun je vrijwel meteen inzetten om bijvoorbeeld te zeggen: knip het berengezicht eruit. We hebben dat toevallig vorige week getest en het werkt echt heel goed. Het model heet SAM, Segment Anything Model, en is ontwikkeld door Meta. Een van de mooie dingen aan dit model is dat het doel is om iets te segmenteren - dus echt uit te snijden, niet alleen maar een vierkantje eromheen te tekenen. Het kan dat automatisch doen vanaf de grond.

Hoe werkt het Segment Anything Model precies?

Je hebt een aantal verschillende inputs die je dat model kan geven om tot die segmentatie te komen. Je kunt zeggen 'ik heb helemaal niks', en dan gaat die zelf gewoon het meest relevante segmenteren. Je kunt ook point labels geven - dus je klikt drie keer op het object dat je interessant vindt - en dan neemt het model dat als input. Je kunt ook een bounding box meegeven, een vierkantje om het object, en dan weet het model binnen dat vierkantje het juiste ding uit te snijden. Maar wat bij de beren toevallig heel goed werkte, is de tekstprompt. Je kunt letterlijk 'bear face' als tekst meegeven als input van het model. Dan pakt het zowel de beer als los nog het gezicht. Het weet die dus eigenlijk perfect uit te snijden in de foto's die ik getest heb. Ik zal niet beweren dat het honderd procent accuraat is voor de hele dataset, maar het helpt je al enorm op weg.

Hoe controleren jullie de kwaliteit van de automatische segmentatie?

Het gaat om duizenden foto's, maar we hebben ook een team van vijftig man. Om die allemaal met de hand te laten segmenteren is heel veel werk. Maar om door al die foto's te klikken en die segmentatie te controleren van 'hé, is dit accuraat? Klopt dit?' - dat is wel goed te doen met zo'n team. Op die manier kunnen we de kwaliteit waarborgen terwijl we toch veel tijd besparen.

Hebben jullie ook te maken met uitdagingen rondom dag- en nachtfoto's?

Ja, dat is zeker een uitdaging. We zullen van beide een groot genoeg dataset moeten verzamelen. We hebben van beide data in de dataset, maar ik weet op dit moment nog niet wat het percentage aan nachtfoto's is. Daar zijn we wel benieuwd naar of dat lukt. Het enige probleem is dat de identificatie die we hebben van de beren - waarbij we echt het individu weten, waarbij we weten 'dit is Berrie de beer' - die zijn allemaal overdag gemaakt. Dus uiteindelijk wordt het een drie-traps systeem: eentje die herkent 'is er een beer?', eentje die herkent 'wat is het gezicht van de beer?', en eentje die dan zegt 'dit is Berrie de beer'. Dat laatste stapje zullen we dus nog niet voor 's nachts kunnen doen, tenminste niet in eerste instantie.

Hoe ga je om met de beperkingen van nachtfoto's voor identificatie?

Met dit soort projecten kun je heel makkelijk bewijzen wat wel werkt en wat niet werkt. We proberen daarmee ook allemaal verschillende technieken uit. Een vakgebied zoals individual identification is echt niet uitgespeeld op het gebied van AI. Dat betekent dat je heel veel verschillende, compleet andere types algoritmen hebt die dit in theorie kunnen. Dan moet je nog maar eens uitzoeken welke het beste gaat werken. Het kan nogal verschillen, ook per diersoort. Dat is echt wat we bij die challenges doen: we gebruiken die vijftig teamleden effectief door ze allemaal verschillende algoritmische hoeken uit te laten proberen. Zo komen we tot de beste oplossing en leren we ook wat de ontbrekende of mindere kwaliteit data is voor vervolg acties.

Jullie werken veel in wildlife, maar hebben jullie ook projecten buiten dat domein?

Ja zeker. We doen ook best wel veel in carbon emission monitoring. We proberen in te schatten hoeveel CO2-uitstoot bepaalde activiteiten veroorzaken. De laatste tijd hebben we daar grote stappen mee kunnen maken door de GenAI-revolutie, dus die large language models - de grote taalmodellen zoals GPT. We hebben het zowel toegepast op persoonlijke financiën als op bedrijfsfinanciën. We analyseren de transacties die je doet, bijvoorbeeld van je eigen bank. Die transacties staan echt heel grof beschreven waar ze over gaan. Dat is als mens al bijna niet te vertalen naar wat er nou ook alweer echt was. Dan gebruiken we large language models om context toe te voegen op basis van andere informatie die we hebben over die transactie.

Hoe werken die large language models voor het categoriseren van transacties?

We voeden alle beschikbare informatie over een transactie in het model. Dan weten die modellen daar context bij te trekken die vaak genoeg informatie is om de transactie te categoriseren. Hetzelfde hebben we ook voor bedrijven gedaan. We hebben gekeken naar de facturen die zij betalen. Ook op facturen staat vaak maar vijf woorden of zo beschreven wat een product is dat gekocht wordt. Vroeger - ik doe data science al de afgelopen acht jaar minstens - als iemand dan vroeg 'ik wil iets met deze data doen', dan zei ik 'dat kan niet, want die data zit niet in jouw database'. Dan heb je pech. Maar dat is niet meer zo, want die large language models kunnen zoveel context toevoegen.

Kun je een concreet voorbeeld geven van hoe AI context toevoegt aan factuurdata?

Met die vijf woorden die op een factuur staan en de locatie waar de factuur vandaan komt, kan het model enorm veel afleiden. Op basis van bijvoorbeeld het Duitse woord 'Verpacken', kan het model bedenken: dit is waarschijnlijk een bepaald type verpakte ham, want dat wordt veel in die regio gemaakt. Dus dit is waarschijnlijk deze specifieke ham, die wordt normaal in honderd gram verpakkingen verkocht. Dus waarschijnlijk is het dit product. Op basis daarvan kunnen we dat dan koppelen aan een carbon impact - de CO2-uitstoot die gepaard gaat met productie en transport van dat product. Zodoende kun je op basis van het financiële systeem van een bedrijf in één keer helemaal je scope 3 emissies doorrekenen. Dat is een hele game-changer voor duurzaamheidsrapportage.

Hoe zorg je voor transparantie en uitlegbaarheid van jullie AI-systemen?

Dat is een interessante vraag waar we veel over nadenken. Ik ben altijd zelf wel fan van de geautomatiseerde benaderingen. Want wat je veel ziet in het gebied van ethiek is dat uiteindelijk de conclusie is: ja, dat is leuk dat je daar van alles van kan automatiseren, maar uiteindelijk zul je de use case toch echt helemaal moeten doorgronden en dat met de hand moeten doen. Ik denk dat dat klopt, maar daardoor vind ik het minder interessant, want dan kun je het moeilijk opschalen en automatiseren. Vanuit ons perspectief, waar wij dat voor veel verschillende gebruikers tegelijk willen kunnen doen, zijn de technieken waarmee je echt inzicht krijgt in waar het model naar gekeken heeft heel waardevol.

Welke concrete technieken gebruiken jullie om AI-modellen uitlegbaar te maken?

Bij vision models - modellen die met beelden werken - kun je klassiek vaak inzien waar het model heel erg veel op let. Zo kun je inzicht krijgen in wat je model doet. Maar ook het testen op externe datasets is belangrijk: oké, leuk dat het op mijn trainingsset werkt, maar kan ik dat ook valideren met een paar afbeeldingen die ik van Google trek? Dit soort technieken kun je uit een model trekken van 'hier heeft hij op gelet'. Met het attention mechanism dat in GenAI-modellen is ingebouwd, is dat ook mogelijk. Dat vind ik een belangrijke eerste stap om modellen die zich klassiek black box noemen - volledig ondoorzichtig - grey box te maken, om daar bepaald inzicht in te krijgen. Dat is wel iets dat wij vrijwel elke challenge doen: even valideren van 'hé, heeft ons model nu iets nuttigs geleerd, of is hij eigenlijk zwaar aan het overfitten?' Overfitting betekent dat een model alleen maar haalt wat hij gezien heeft in de trainingsdata, maar niet generaliseert naar nieuwe situaties. Kernpunten en Praktische Adviezen Maatschappelijke impact door AI: Koppel AI-projecten aan concrete doelen zoals de Sustainable Development Goals van de VN om meetbare impact te creëren voor milieu, duurzaamheid en natuurbescherming. Leren door te doen: De beste manier om AI-vaardigheden te ontwikkelen is door aan echte projecten te werken met daadwerkelijke datasets en problemen, niet alleen via theoretische cursussen of korte hackathons. Optimale projectduur: Tien weken met ongeveer acht uur per week blijkt de ideale tijdsspanne voor vrijwilligers om naast hun werk aan complexe AI-projecten te werken en tot bruikbare resultaten te komen. Crowdsourcing met structuur: Grote teams van 30-50 personen kunnen effectief samenwerken als je ze opdeelt in kleinere subteams die verschillende benaderingen uitproberen, wat leidt tot innovatieve oplossingen vanuit meerdere perspectieven. Edge computing overwegingen: Bij AI-toepassingen op drones of andere apparaten zonder stabiele internetverbinding moet je rekening houden met stroomverbruik en verwerkingskracht. Twee-traps modellen kunnen helfen: een licht model voor initiële detectie en een zwaarder model alleen wanneer nodig. Fysieke aanwezigheid bij hardware: Voor projecten met fysieke componenten zoals drones of camera's is het waardevol om on-site te zijn om installatie-uitdagingen te begrijpen en direct te kunnen helpen met technische implementatie. Datakwaliteit boven kwantiteit: Een diverse, goed gelabelde dataset met variatie in omstandigheden (verschillende dieren, belichting, hoeken) is belangrijker dan alleen een grote hoeveelheid data van beperkte kwaliteit. Preventie boven repressie: Bij wildlife management is het effectiever om AI in te zetten voor vroege detectie en afschrikking van probleemgedrag dan om achteraf in te grijpen wanneer dieren al gevaarlijk gedrag hebben aangeleerd. Context door AI toevoegen: Moderne large language models kunnen beperkte informatie (zoals korte factuuromschrijvingen) verrijken met context, waardoor analyses mogelijk worden die eerder onmogelijk waren door datatekorten. Automatisering van populatiemonitoring: Individual identification van dieren via AI maakt het mogelijk om populaties te volgen over tijd, migratieroutes te begrijpen en evidence-based beslissingen te nemen over natuurbeheer. Multi-stage AI-architectuur: Voor complexe taken zoals dieridentificatie werkt een gelaagde aanpak het beste: eerst detecteren of iets een beer is, dan het gezicht isoleren, en tenslotte het specifieke individu identificeren. Moderne segmentatietools: Modellen zoals Segment Anything Model van Meta kunnen met minimale input (tekstprompts, enkele klikken) objecten accuraat uitsnijden, wat enorm veel handmatig labelwerk bespaart. Explainable AI in de praktijk: Maak AI-modellen begrijpelijker door attention mechanisms te visualiseren die laten zien waar het model op focust, en test modellen op externe datasets om te valideren dat ze echt generaliseren. Van non-profit naar startup: Voor schaalbare impact kan een VC-gefinancierd startup-model effectiever zijn dan een volledig op donaties gebaseerde non-profit, omdat het snellere groei mogelijk maakt zonder constant fundraising. Technologie-selectie per use case: Verschillende diersoorten vereisen verschillende AI-technieken voor identificatie (gezichtsherkenning voor zeehonden, patroonherkenning voor schildpadden), dus experimenteer met meerdere benaderingen om te vinden wat het beste werkt. AIToday Live is een podcast die zich richt op de nieuwste ontwikkelingen in AI en de impact ervan op verschillende sectoren. In elke aflevering spreken hosts Niels Naglé en Joop Snijder met experts uit het veld om inzicht te krijgen in de mogelijkheden en uitdagingen van AI-technologie. Luister via je favoriete podcast app: Spotify, Apple podcasts, YouTube Music, en meer.