Vinden van de perfecte balans tussen menselijke beslissingen en AI-modellen

Hoi, fijn dat je weer luistert naar een nieuwe aflevering van de EOTD Live Podcast. Mijn naam is Joop Sneijder, CTO bij Agency. Mijn naam Niels de Clee, Chapter Lead, DT&AI bij Infosport. En we zitten vandaag met een gast in Den Bosch. Ja. Heel mooi pand, heel ouderwets pand denk ik. We zitten met Marijn van Aerle. Marijn, dankjewel dat je te gast wil zijn in onze podcast. Zou je jezelf even willen voorstellen aan de luisteraars? Ja zeker, leuk om hier te zijn. Ik ben Marijn, ik ben de CTO en een van de oprichters van Florijn. Wij zijn een bedrijf dat geld uitleent aan andere bedrijven. En dat doen we met behulp van onder andere AI en heel veel software vooral. Ja, want zo zijn wij met elkaar in contact gekomen. Jij bent of je had een presentatie gegeven over het onderzoek waar je mee hebt gedaan van de Hoogschool Utrecht, wetenschappelijk onderzoek naar explainable AI in de financiële sector. En jij vertelde daar een verhaal waarvan ik dacht van ja, maar dat moeten onze luisteraars eigenlijk ook horen. Wat ik me daarvan herinner is dat je in ieder geval zeg maar een achtergrond nodig hebt over te vertellen wat Florijn is, wat jullie doen, om zo direct echt goed te kunnen begrijpen waarom je explainable AI hebt ingezet, toch? Ja, het is wel fijn om een beetje idee te hebben inderdaad. Geld uitlenen op zich is natuurlijk een heel... Nou ja, dat snapt iedereen ergens wel. Dat bestaat natuurlijk ook al heel erg lang. De functie van Florijn daarin is... Wij doen het eigenlijk op een andere manier dan dat de bank het al deed. Ondanks dat het product zelf nog steeds geld is. Wij verkopen in die zin geld. Wat wij echt anders doen, is de klantervaring. Dus het is een klant die komt bij ons voor een financiering. Dat is dus een ondernemer. En wij kunnen eigenlijk veel sneller dan veel van onze concurrenten kunnen wij bepalen of een klant bij ons geholpen kan worden of niet. Er zijn een heleboel bedrijven die om heel veel verschillende redenen geld willen lenen. Maar als het heel erg lang duurt, dan staat je bedrijf soort van op pauze. Dan ben je drie maanden bezig en dan moet je opnieuw cijfers opsturen en nog maar weer een keer een bezoekje. Dat duurt allemaal ontzettend lang en ondertussen weet je eigenlijk niet hoe je nou verder moet met je bedrijf. Wij hebben er echt voor gezorgd dat we dat heel snel kunnen doen... en ondernemers heel snel duidelijkheid kunnen geven. Dus dat is eigenlijk één. Ja. En twee is dat we natuurlijk een hele goede beslissing willen nemen. Want dat is belangrijk voor ons, want anders krijg je je geld niet terug. Dan houdt de muziek snel op. Maar dat is ook belangrijk voor een ondernemer. Want een lening is natuurlijk mooi, maar een lening dient een bepaald doel. En een lening wordt vaak weer terugbetaald... en is bedoeld om bijvoorbeeld een bedrijf te laten groeien. Wij willen natuurlijk de juiste beslissing maken... over welke ondernemers wij accepteren, om ervoor te zorgen dat we een gezonde relatie met elkaar hebben... en dat we er allebei van kunnen groeien en dat we een bedrijf echt verder kunnen helpen... in de stappen die zij willen zetten. Jullie kunnen echt significant sneller zo'n besluit nemen, toch? Ja, zeker. - Dan de concurrentie. Ja, we hebben één technisch ding daarin, wat denk ik het belangrijkste is. Wij bepalen of we een klant accepteren, voornamelijk op basis van transactiegegevens van de bank. Dus dat betekent dat jij je zakelijke rekening koppelt met ons. En dat wij op basis van die transactiehistorie een kredietmodel hebben gemaakt. Dat is iets anders dan hoe het normaal werkt, want meestal werkt dat met rekeningen bijvoorbeeld van de afgelopen drie jaar. Wij kunnen veel gedetailleerder kijken en ook veel korter eigenlijk. Dus wij kunnen bijvoorbeeld met zes maanden kunnen we vaak al wat zeggen van een onderneming. Dus bedrijven die snel groeien... Met zes maanden aan data denk ik of niet? Ja precies, met zes maanden aan data. Niet aan doorloop tijd. Nee, nee, nee, sorry. Nee, met data inderdaad. Dat betekent dat als je bedrijf snel groeit, dan kijken wij net iets korter in de tijd. Maar wel veel gedetailleerder. Want op een zakelijke rekening zie je natuurlijk heel veel transacties gebeuren... die heel veel vertellen over een bedrijf. En op basis daarvan maak je een risicoprofiel van het bedrijf... en dan besluit je of je wel of niet de lening toekent. Ja, nou de praktijk is natuurlijk altijd... Het is nooit binair ja/nee en het is nooit een eenvoudige beslissing, maar er zitten heel veel lagen in die beslissing gebouwd. Het belangrijkste is inderdaad dat je snel duidelijkheid kan geven over denk je dat dit hem gaat worden of niet. En bij ons gaat zo'n beslissing eigenlijk twee kanten op. Dus je hebt een, we hebben een hele serie aan machine learning modellen getraind, die op basis van deze data eigenlijk geaggregeerde informatie die hieruit gehaald wordt, gecombineerd met andere bronnen, een beslissing kan maken. Maar we hebben ook nog steeds een team van mensen dat eraan werkt. Dus we hebben een team van underwriters. Dat is de jargon voor mensen die kijken naar een financieringsaanvraag. Die ook naar deze data kijken. En die combinatie van die twee is echt superbelangrijk, vinden wij. Modellen zijn heel erg goed in altijd precies hetzelfde doen. Die zijn superconsistent. Dat is prachtig als je leningen wil beoordelen. Want je wil geen bias. Je wil niet dat het afhangt van met welk been iemand uit bed is gestapt. Maar als je incidenten hebt of nieuwe situaties, denk aan covid bijvoorbeeld, dan wil je eigenlijk niet iets wat de hele tijd hetzelfde doet. Dan wil je een slimme mens die weet wat er om hem heen gebeurt en die zichzelf razendsnel kan aanpassen aan een veranderende situatie. Dus die combinatie tussen mens en machine die maakt het, vinden wij, heel erg sterk. Ja en als de machine, die moet natuurlijk wel ergens uitleg geven van hoe die tot een besluit uitgekomen is. Wat me nog heel erg bijstaat van die presentatie die je daar gaf, is de quote dat je zei "wij waren al met explainable AI bezig voordat we wisten dat het zo heette". Ja, dat klopt. Door die setup die we eigenlijk hebben, er zijn allerlei redenen ervoor, maar de belangrijkste reden is wat ik eigenlijk net vertelde, die combinatie van mens en machine. Geld uitlenen, dat gaat vaak om veel geld. Dus bijvoorbeeld we lenen 100.000 euro of we lenen tot 3 miljoen euro eigenlijk uit per bedrijf. Ja, dat is fors. Ja, dat is niet zoiets als spamdetectie waarbij je dan even aan de klant kan vragen... "Goh, was het allemaal oké wat we hebben gedaan?" Ja, dan is het geld weg. Dus als je dit als puur machine learning experiment gaat doen... nou, dan gaat het heel snel fout. Dus wij zijn begonnen met kennis van experts. En langzaam hebben we die steeds meer omgezet in een geautomatiseerd systeem... en in een model. En daarom moeten we vanaf het begin al calibreren met die experts... wat het model eigenlijk doet. We kunnen niet wegkomen met een black box. Nee. Vanaf dag één eigenlijk al niet. Dus in onze cultuur is het heel erg dat de mens, de underwriters met hun kennis, eigenlijk de baas zijn over welke parameters zitten er in het model. En ja, zijn we het daarmee eens? Ja. De vraag die bij mij opkomt is, die underwriters, hoe erg technisch savvy zijn die? Kennen die machine learning? Weeten ze hoe we dat moeten toepassen? Die zijn in de basis niet technisch. Dat zijn juist financiële experts vaak. Nou is het wel zo dat als je hier werkt, dan is dat vaak wel uit een bepaalde interesse voor het nieuwe maken van processen. Dus die zijn vaak wel... Het is juist leuk, want doordat je feedback kan geven op een model... en doordat je eigenlijk in die dialoog zit... kun je op zich ook je werk interessanter maken. Omdat je de hele repetitieve dingen... en de parameters die iedereen al snapt en die iedere keer hetzelfde zijn... ja, die worden wel opgelost door de machine. Maar de interessante cases, daar kun je dan je kennis op toepassen. Hoe zorg je ervoor dat die mensen de juiste informatie in hun jargon krijgen... om het wel begrijpbaar te maken voor ze dan? Ja, dat is een lange reis. Dus je hebt natuurlijk de machine learning experts... en die komen met de F1-scoren en dat soort termen aanzetten. Nou ja, dan heb je aan de andere kant de writers... dan zeggen ze nou ja, de verhouding tussen omzetten en belasting betalen is -.45. En we hebben de threshold eigenlijk op -.6 gelegd. Ja, nou ja, dat kan natuurlijk... En dat zijn eigenlijk gewoon technische waarden die uit de machine learning model komen. Ja, zo zijn we begonnen. Of met iets wat shop plots heette, dat kunnen we ook noemen. Dat zijn ook bekende manieren om een soort van uitleg te geven aan een modelbeslissing. Maar daar kunnen domeinexperts helemaal niks mee. Nou ja, dat is overdreven. Ze kunnen de onderlinge verhouding tussen dingen, die kun je goed zien. Maar de experts zijn natuurlijk gewend van, oké, maar hoeveel omzet is dat dan in euro's? Precies. Dus we hebben heel veel tijd besteed om... Versie één van Explainability voor ons was eigenlijk die shop-variant, waar je echt die technische waardes ziet. Versie twee is eigenlijk veel meer toegespitst op het uitleggen van de features. Dus daar gaat iets minder op de correlaties tussen alles, maar iets meer op hoeveel omzet is het dan? En een trend, daar wil je ook een grafiekje van zien. Heel erg visueel en uitlegbaar maken wat de inputwaardes zijn die ten grondzag liggen aan de beslissing. En we hebben ook nog versie 3. Daar zijn we nu heel druk mee. Dat is de afgelopen maanden live gegaan. En dat er ook feedback wordt gevraagd op iedere beslissing aan die mens. Op specifieke features. Dus we hebben al heel lang dat de mens het oneens kan zijn met de machine. Dat was een van de eerste processen die we natuurlijk hebben moeten inbouwen. Maar we hebben nu ook dat de mens het oneens kan zijn op een bepaalde variabel. Of op een bepaald detail. Dus oké, je bent het niet eens met deze beslissing. Waarom dan? Bijvoorbeeld, nee de omzetberekening klopt niet. En die mensen, is die mens die underwriter? Of is dat jouw klant? Nee, dat is de underwriter. Dat is ook wel een goede. De klant is ook weer een hele andere dimensie. Maar inderdaad, dit gaat over de interne dialoog tussen onze underwriters en onze machine learning experts. Ja precies. En als zij dan, want dan komen we straks op die klant uit, want daar ben ik ook nog wel heel erg benieuwd naar. Als die underwriter dan zegt, ja maar met dit element, Dit aspect van de uitleg ben ik het niet mee eens. Wat gebeurt er dan? In de basis wordt die feedback in ieder geval opgeslagen, zodat we die in groepjes kunnen behandelen, die feedback. Kijk, we oordelen heel veel aanvragen, dus je kunt niet bij iedere mismatch meteen daar opduiken, dat deden we in het begin wel. De mens heeft in principe dan gelijk. Dus wat er sowieso gebeurt, is dat de menselijke beslissing de overhand heeft. De mens gaat op dat moment beslissen wat er moet gebeuren met die post. Kan ook voor onze use case, omdat een lening is best wel een stevig product als het ware. Dat is ook niet iets waar je er een miljoen per dag van, of een miljoen per maand van gaat verkopen. Die volumes die zijn te overzien. En het is zo'n belangrijke beslissing dat het ook wel waard is om daar een mens goed ook naar te laten kijken. Met name de goedkeuringen. Zowel goedkeuringen als afwijzingen kunnen we volledig automatisch doen. Maar eigenlijk in de meeste gevallen vinden we het wel fijn Als er ook nog even een mens naar kijkt. Het belangrijkste automatische factor, de belangrijkste categorie, sorry, is de afwijzingen. Die zijn natuurlijk het makkelijkst om te automatiseren, want daar heb je er het meest van. En daar is ook de impact als het misgaat, kleiner dan als je natuurlijk een goedkeuring hebt waarbij het misgaat. Ja, qua risico. Als bedrijfsrisico voor de ondernemer is het natuurlijk nog steeds een grote impact. Maar de klant kant gingen we zo... Ja, nee, absoluut. En in die ontwikkeling van wat je zegt versie 1, 2, 3, hebben daar de feedback van jouw klanten daar ook nog een rol in gespeeld? Zeker, ja dat is ook eigenlijk een van de, nou dat is de andere reden dat we vroeg met explainable AI zijn begonnen. Onze allereerste proof of concept van het afwijzingsmodel, die hebben we, ik denk dat het inmiddels wel drie jaar geleden is ofzo, dat we die live gingen zetten of dat we daarmee aan het experimenteren waren. En toen zagen we eigenlijk, de eerste naïeve variant was, nou oké, iemand wordt afgewezen. In eerste instantie kwam daar nog niet eens een reden uit, maar een threshold van een score met een betrouwbaarheid en een benchmark erop. Als je dat naar je klanten gaat sturen, dan krijg je meteen vragen. En terecht ook. Dus we hadden een variant die gewoon vrijwel direct een mail stuurde, maar dan kregen mensen dus op zondagavond om 11 uur een mail, twee seconden nadat ze zich hadden aangemeld. Dat is natuurlijk niet goed. En wat vooral eigenlijk daaruit kwam, dat was een experiment. Dus dat was op zich niet hoe we het echt op al onze klanten hebben gedraaid. Maar wat je dan ziet is dat je ten eerste veel weerstand krijgt daarop. En ten tweede de superlogische vraag, waarom? Dus ja, wij moesten daar uitleg aan geven aan die klant. Ten eerste, dat vind ik moreel verplicht. Maar volgens mij ben je het ook juridisch verplicht om uit te leggen aan een klant. Als er geautomatiseerde beslissingen over iemand genomen wordt, over iemand genomen wordt die veel impact heeft, dan ben je verplicht om als een klant daarom vraagt uit te leggen hoe die beslissing tot stand heeft kunnen komen. En dan hebben onze interne mensen nog die ook willen weten waarom dat is gebeurd. Dus ja, we moesten eigenlijk wel uit gaan leggen aan mensen waarom een bepaalde beslissing genomen was. En wat was daar in je eerste stap die je bent gaan doen? Want ik kan me best wel voorstellen dat dat schrikken is, dat je dit soort feedback krijgt. Ja, het was natuurlijk een klein experiment waarin we eigenlijk wel hadden verwacht dat het zou gaan gebeuren, maar we proberen heel snel te ontwikkelen. Dus we proberen heel snel in kleine releases, kleine stapjes dingen te maken. En dan horen dit soort dingen daar soms bij. Zolang je ze maar heel klein en geïsoleerd houdt, kan dat. Onze eerste stap, die is eigenlijk best wel voor de hand liggend, maar dat is wel vaker. AI is super complex, maar als je gewoon mee aan de gang gaat, dan ben je gedwongen om dingen simpel te houden. Precies. Dus dat is gewoon kijken naar de allergrootste features die je hebt, de feature met de meeste impact. en die gewoon als eerste te isoleren en daar een menselijk verhaal van te maken. Dus je ziet gewoon dat een bepaalde feature, bijvoorbeeld de omzet dat het bedrijf maakt. Kijk, dat snapt eigenlijk iedereen, dat als een bedrijf drie miljoen euro wil lenen en het maakt vijfduizend euro omzet per maand, dan is dat waarschijnlijk... Nou ja, goed, er zijn allerlei situaties te bedenken waarin dat wel kan. Er zijn andere bepaalde type financieringen, maar dat is natuurlijk een sterke indicator dat het misschien niet zo'n goed idee is. Want waarom moet je dat dan ooit terugbetalen? En dat is voor de ontvanger van de uitleg ook duidelijk? Dat je zegt, dit is het geval. Ja, dat wisten we. We hebben natuurlijk een hele bak aan menselijke beslissingen waar we op kunnen trainen. Dus ons model is gebouwd in de basis. We hebben nu meerdere modellen naast elkaar draaien. Maar zeker in het begin hebben we een model gebouwd op mensen. Omdat we simpelweg niet genoeg bedrijven hadden... die in de problemen zijn gekomen om een model op te trainen. Dat is ook nog een goede ja. Dus je moet wel, niet altijd falsementen... maar je moet wel probleemgevallen hebben om een model op te kunnen trainen. En die hadden we heel weinig en daar waren we ook heel blij mee. Ja, daar zijn we nog steeds heel blij mee. Dus die menselijke beslissingen zijn daarin heel belangrijk. En daarvan wisten we ook wat onze experts de belangrijkste features vinden. Nou, die kun je modelleren, daar kun je je model op draaien. En vervolgens kun je ook simuleren wat er zou gebeuren. En hoeveel van die klanten dan op die redenen worden afgewezen. Nou, daar kun je een menselijke tekst van maken. En die kun je dan op de mail zetten. Ja, cool. Ja, want we hebben net namelijk zelf een podcast opgenomen. Explainable AI is echt een van mijn passies. Weet je, ik geloof helemaal ook wat jij zegt, van als er namelijk die uitleg niet komt... en niemand begrijpt het niet, dan heb je er ook niet zo heel veel aan. Daarom is dit ook juist zo'n interessante case. Je kan wel iets vertellen van dit is de reden waarom je bent afgewezen. Maar het is uiteindelijk aan de ontvanger of die het accepteert dat de uitleg duidelijk genoeg is. Ja, zeker. Het is ook zo dat in bijna alle gevallen spreken wij de ondernemer ook. Dus we hebben heel veel geautomatiseerd, maar daardoor is er eigenlijk meer ruimte voor persoonlijk contact, omdat de medewerkers niet bezig hoeven te zijn met een grote administratieve romslomp, maar tijd over hebben om gewoon een gesprek met de ondernemer te voeren over hoe het gaat met het bedrijf. Dus in bijna alle gevallen is er een gesprek met een ondernemer of is de ondernemer al gesproken en kun je dus op die manier ook uitleg geven aan een beslissing. Dus je hebt eigenlijk de kracht van de mens daar gelegd, waar die heel strikt noodzakelijk is en waar die een meerwaarde is ten opzichte van als je dit niet zou automatiseren. Ja, dat denken we wel. Kijk, we zijn natuurlijk voortdurend in ontwikkeling, dus dit is echt een beetje vallen en opstaan geweest. Maar ja, dat persoonlijk contact is vaak heel belangrijk en daar kun je ook weer feedback uit krijgen die je model verbetert. Kijk, er gaan veel dingen fout met data natuurlijk. Er is altijd wel een dingetje gemislabeld of er is een nieuwe partij op de markt... waardoor ons algoritme toch net anders had bekeken dan verwacht. Dat verandert voortdurend, dus je moet er ook altijd klaar voor zijn... om het verkeerd te hebben. Ja, precies. - Dat gebeurt namelijk gewoon. En je had het over Shep. Shep geeft een grafiek aan met verhoudingen ten opzichte van features. Hebben jullie die grafieken ook aan klanten laten zien? Nee, dat hebben we niet gedaan. Nee, ik denk niet dat dat goed zou gaan. Nee, toch? Nee, we geven er echt de voorkeur aan om het of textueel of telefonisch toe te lichten aan een klant. Ook omdat je dan, nou ja, gewoon omdat je ook de diepere lagen, als het ware, dan kan uitleggen die nog niet altijd uit zo'n shop komt. Ja, daarnaast die shops die zijn super technisch. Dat is, alle waardes zijn op dezelfde schaal gezet, zodat je ze mooi onderling kunt vergelijken. Maar ja, daardoor gaat de betekenis voor mensen totaal verloren. Absoluut. En daar kan een ondernemer, daar kunnen onze interne mensen al niet zoveel mee, laat staan. Een ondernemer. Je moet echt wel een data scientist zijn wil je uiteindelijk die Shep grafieken kunnen snappen. Ja, en we hebben dus mensen die de features al begrijpen, maar ook die mensen die kunnen eigenlijk niet zoveel met zo'n Shep plot. Nee, dat werkt niet. Dat is lastig hè? Dat is natuurlijk al heel veel stagiairs die meegekomen zijn van "hé, kunnen we niet?" Ja, dat zou super cool zijn, maar dat is natuurlijk helemaal niet nodig, want de redenen die we hebben, zijn natuurlijk de mensen die het zelf doen. En dat is natuurlijk ook een van de grote dingen. En dat is ook een van de grote dingen. En dat is ook een van de grote dingen. En dat is ook een van de grote dingen. En dat is ook een van de grote dingen. En dat is ook een van de grote dingen. En dat is ook een van de grote dingen. En dat is ook een van de grote dingen. helemaal niet nodig, want de redenen die zijn... Het gros van de redenen is... Daar hebben we gewoon stukken tekst voor liggen waarvan we weten dat mensen ze snappen, die gewoon gevet zijn door mensen en door ervaring. En al die edge cases, daar zul je toch echt zelf iets voor moeten typen. En dat is ook de moeite waard, vinden wij. Zeker. En ik denk ook, dan heb je ook altijd de mogelijkheid om door te kunnen vragen en daarop in te gaan en te kijken wat past deze uitleg bij deze type ondernemer. Ja, dat ook heel waardevol is. Ja, en wij zijn ook best wel trots bijvoorbeeld op onze Google Review scorers. Die webshops en restaurants zijn daar heel goed in. Wij ook. Omdat de financiële instellingen vaak best wel, ja, er zitten wel negatieve associaties mee. En ja, wij moeten nog steeds de overgrote meerderheid teleurstellen, omdat er gewoon heel veel behoeftes in de markt zijn. en wij kunnen ze nou helemaal niet allemaal invullen. En wij willen altijd verantwoord financieren. Dus wij willen zeker weten dat het geld terugkomt. Wij zijn daarin, denk ik, wij nemen meer risico, denk ik, dan een aantal andere partijen. Ook door de manier waarop we werken, doordat we meer data hebben, nauwkeuriger kunnen kijken. Maar je wil wel dat die mensen ook met een relatief prettig gevoel de samenwerking verlaten. Misschien zodat ze in de toekomst weer terug kunnen komen. Maar ook zodat iedereen toch een gevoel heeft van, oké, weet je, het is hem niet geworden, maar ze zijn in ieder geval snel met de terugkoppeling en ze zijn duidelijk over wat er aan de hand is. En met die duidelijkheid kun je natuurlijk eventueel aan de slag als je een bepaalde onderneming runt, dat je denkt van, oh ja, maar dan weet ik eigenlijk waar ik naartoe moet groeien, of waar ik het risico moet verkleinen om misschien zo direct wel die aanvraag er doorheen te krijgen. Ja, dat gebeurt vaak. Wij zien vaak ondernemers terugkomen op een later tijdstip, omdat we ook kunnen aangeven van, nou ja, als die omzet op dit niveau is, of als er dat aan de hand is, dan kunnen we je wel helpen. Ja, ik denk heel mooi duidelijk verhaal over het belang van de uitlegbaarheid en dat groeien. Je zegt wel, we zijn gewoon ergens begonnen. En vanuit de praktijk zijn we gaan leren van wat is er nodig, wie heeft wat nodig. Je hebt duidelijk denk ik verschillende belanghebbenden en daar de dingen op afgestemd. Ja, en de mens eigenlijk als circuit breaker daarin bouwen. Ja, dat. Dat is denk ik wat je in staat stelt om ook te kunnen experimenteren. Want ja, je kunt een model beslissingen laten maken. Die beslissing hou je voor jezelf. Dan laat je mensen naar kijken en dan pas ga je communiceren in eerste instantie. En dat is de manier waarop dit kan. En die luxe heb je niet altijd. Als je bijvoorbeeld veel grotere schaal dingen moet gaan labelen met miljoenen per maand. Dan heb je die luxe niet. Moet je naar andere dingen op zoek. Ja. Nou mooi, dankjewel voor je inzicht Marijn. Hartstikke inspirerend toch? En gaaf om te zien hoe dit in de praktijk toegepast wordt. Dankjewel. Geen dank. Leuk dat je weer luisterde naar een aflevering van EOTD Live. Zorg dat je je inschrijft, nee wat zeg ik, dat je je abonneert op je favoriete podcast app. En als je ons een beetje wil steunen in Spotify kan je ons sterren geven en dat helpt enorm. Dankjewel alvast. [Eind culmini]