Alle afleveringen
S09E10 - Proces omgooien: zoek het uitgangspunt waar je nooit aan dacht
S09E10

Proces omgooien: zoek het uitgangspunt waar je nooit aan dacht

Seizoen 9 12 min Hosts: Joop Snijder & Niels Naglé
0:00 —

Wat leer je in deze aflevering?

Elke week 15 tot 20 minuten transcripties nakijken, terwijl bijna alles al klopt: dat is geen leesprobleem maar een ontwerpprobleem. Joop begon met een versnelling die het nakijken terugbracht naar 10 minuten, maar het proces bleef hetzelfde: de hele tekst van boven naar beneden lezen. De doorbraak kwam toen hij zich afvroeg wat de taak eigenlijk is: niet tekst lezen, maar twijfelgevallen beoordelen.

Hij liet drie prototypes bouwen en koos de variant waarin drie 'getuigen' elk een mening geven over een verdacht woord, zodat alleen de woorden waarover ze het oneens zijn bij een mens terechtkomen. Een opname van drie kwartier kijkt hij nu in twee tot drie minuten na, tegenover 15 tot 20 minuten eerst. Morgen kun je bij een taak die je vervelend vindt opschrijven welke stappen het echte werk zijn en welke alleen bestaan door hoe het proces is ingericht.

01
Zoek het onbewuste uitgangspunt Snijder las altijd de hele tekst, van boven naar beneden. Zijn eigenlijke taak was echter het beoordelen van twijfelgevallen. Wie dat uitgangspunt loslaat, kan het proces anders inrichten.
02
Stap voor stap verbeteren Eerst een eigen tool met markering van verdachte woorden en een sneltoets voor audio (van 15-20 naar ca. 10 minuten).
03
Drie prototypes naast elkaar Met AI liet hij drie werkende varianten bouwen op dezelfde aflevering. Zo kon hij de tijdwinst echt vergelijken. De beslisstapel gaf elk woord evenveel aandacht, en bij meeluisteren moest hij toch de hele aflevering terugluisteren.
04
Drie getuigen-methode Per verdacht woord vergelijkt hij drie meningen: de ruwe transcriptie, de correctieslag van een taalmodel en een tweede transcriptie van de losse zin.

Kernbegrippen

Transcriptie
Het omzetten van gesproken audio naar geschreven tekst, al dan niet door een AI-model.
Taalmodel
AI-systeem dat tekst genereert en verwerkt, en hier gebruikt om transcripties te corrigeren.
Sneltoets
Toetscombinatie waarmee een handeling direct wordt uitgevoerd, zoals het afspelen van een audiofragment.
Twijfelgeval
Een woord of passage waarover verschillende transcriptiebronnen van mening verschillen en die menselijke beoordeling vereist.

Wat er gezegd wordt

“

Wie heeft dat bepaald? Mijn werk was niet het lezen van de tekst. Mijn werk was het beoordelen van de twijfelgevallen.

Joop Snijder
“

En vraag daarna waar je aandacht heen gaat en of die plek dat ook verdient.

Joop Snijder

Wat kun je morgen doen?

  1. 1 Vraag bij een terugkerend klusje eerst wat de eigenlijke taak is, en niet hoe het sneller kan. Zo vind je het uitgangspunt dat het proces onnodig lang maakt.
  2. 2 Laat AI meerdere werkende prototypes bouwen in plaats van erover na te denken. Test ze op dezelfde data om tijdwinst te meten.
  3. 3 Gebruik meerdere onafhankelijke controles (zoals een tweede AI-run op een kort fragment) om aandacht te richten op de twijfelgevallen.

Transcript

Hoy, leuk dat je weer luistert naar de korte aflevering van AIT Live. Ik ben Joop Snijder van jij bij een support. En we gaan verder waar we vorige week gebleven zijn. Dus als je die aflevering nog niet geluisterd hebt uit de donkere kamer van ons vak luister die even terug. We gaan het namelijk hebben over het verschil. Of tenminste, toen hadden we het over het verschil tussen een stap sneller maken en een stap overbodig maken. En over wat er gebeurt wanneer je niet vraagt hoe je de proces versnelt, maar waarom het er zo uitziet. Nu is dat makkelijker gezegd dan gedaan. Durf je proces om te gooien, daar knik dan iedereen bij. Maar hoe doe je dat dan. Ik kan niet heel makkelijk nu zeggen van een proces overslaan. Daar heb ik het alles wel eerder over gehad, maar ik ga het toch hebben over versnellen. En wat komt er dan allemaal bij kijken. En ik doe het vandaag voor met een klusje uit mijn eigen werkweek. Om het voor iedereen begrijpelijk te maken, neem ik iets uit het proces rondom deze podcast. En dat gaat namelijk over het transcriberen van een opname. Spraak omzetten naar tekst kan AI goed. Maar er zit er nog best wel veel fouten in. Soms omdat een woord onduidelijk uitgesproken wordt, soms omdat het een ongebruikelijk woord is. En soms zit de AI er gewoon helemaal naast. Wij willen vanuit onszelf de kwaliteit van onze uitvoer zo hoog mogelijk hebben. Dat het recht doet aan wat onze gasten zeggen, dat is het eerste. Maar die tekst moet natuurlijk ook goede invoer zijn voor ons productieproces. De transcriptie. De tekst, wat gezegd is, is het startpunt van heel wat tekstomzettingen die we daarna nodig hebben. En is de bron goed, dan hoef ik niet de rest meer heel erg na te lopen. Want dat controleren kost tijd. Transcriptie heeft naast de tekst per regel een tijdsaanduiding, het moment waarop iets uitgesproken is. En bij het nakijken begon ik ooit met een tekstscherm links. waarin ik de tekst las, klopt er iets niet. Of kwam ik er niet uit. Dan zocht ik rechts in de andere scherm de audio op en luister ik het na. En dan kan je zeggen. Maximaal gedoe levert dat op. Bedenk dat een opname met gasten 45 minuten tot 60 minuten duurt. Dus dat is heel veel tekst om door te lezen. Later heb ik het proces aangepast. Ik heb zelf een kleine toepassing gemaakt die net als Word, bijvoorbeeld verdachte woorden aanmerkt. Met een sneltoets kreeg ik dan de audio van die regel te horen. En oorspronkelijk kostte het verbeteren met zo'n 15 tot 20 minuten per aflevering. Wel fors voor zo'n aflevering om dat na te kijken. Maar met die wijziging ging ik terug naar zo'n 10 minuten. Flinke verbetering, maar toch nog best wel een hoop werk. Dat ik het liefst toch korter wilde maken. En dan zaten er dan ook nog hele subtiele foutjes in. Dus dan staat er bijvoorbeeld centje in plaats van seintje in het tekst. Wat allebei natuurlijk keurig Nederlandse woorden zijn, alleen op de verkeerde plek. Dat leverde zoveel werk op. Toen dacht ik van dat moet toch handiger kunnen. Met het idee uit vorige weken laten we eens eens anders naar een proces kijken, nam ik juist deze taak om die onder de loep te nemen. Omdat het zo'n vervelend klusje is, wat zoveel tijd kost. Toen ik die taak opnieuw probeerde te ontwerpen, viel me eigenlijk pas op wat ik al die tijd waar ik al die tijd aan had vastgehouden, namelijk de hele tekst. Van boven naar beneden alles beschikbaar, niets overgeslagen. En zo zat dat proces ook in mijn hoofd. Dat lees je en je eindigt onderaan. Wie heeft dat bepaald? Mijn werk was niet het lezen van de tekst. Mijn werk was het beoordelen van de twijfelgevallen. Dus niet het lezen van 45 minuten aan afleveringen. Maar dus juist kijken: waar gaat dan mis. En daar zat dan de vraag: hoe werkt het dan eigenlijk nakijken? Wat dat was de taak wanneer je het uitgangspunt loslaat van alles lezen. Kijk, dit moest ik natuurlijk wel eerst bedenken. Dus het loslaten van alles lezen. Toen ik dat had, gaf ik, daar heb ik. Je komt dan ook zo fijn om de hoek kijken. Ben ik gaan brainstormen over van. Als de taak nou echt nakijken is en je hoeft niet meer alles te lezen. Hoe zou dat er dan uit kunnen zien? Dus ik heb drie antwoorden op deze vraag heb ik laten bouwen. Dus geen schetsen, maar werkende prototypes met dezelfde woorden uit een andere aflevering van een bekende aflevering in, zodat ik ook na kon kijken hoeveel sneller het werd. En dat is precies eigenlijk waar het werken met de AI is zo voor bedoeld, een idee binnen een hele korte tijd tastbaar maken, zodat je het kunt beoordelen in plaats van erover praten of nadenken. Zo kreeg ik dus drie varianten. En de eerste werd de beslisstapel genoemd. Elk verdacht woord is een kaart. En daaromheen een fragment van drie seconden dat het woord afspeelt vanzelf afspeelt, de zin eromheen, staat er dan bij, die kan ik dan lezen. En dan kies je met één woord uit varianten die gekozen zijn. Wat het dan misschien wel zou kunnen zijn. En dan komt de volgende kaart. Dus één ding tegelijk meer niet. Sterk aan deze variant, dus één toets per woord en het luisteren gaat helemaal vanzelf. Wat zwak was, hieraan aan deze variant, elk woord krijgt evenveel aandacht. Dus ook de woorden die overduidelijk goed zijn. En een fout zonder markering, die mis je dan volledig. Want ja, de rest van de tekst komt helemaal niet langs. De tweede variant, dat was meeluisteren. Dus het gesprek speelt af en de tekst loopt mee, woord voor woord zoals je kent van karaoke. Twijfelwoorden beslis ik dan terwijl het terwijl het doorloop, hoor je een fout die niemand gemarkeerd heeft, dan druk je dan op het toets, de M in dit geval. Dit is de enige variant die ook fouten vind, die het systeem niet aanwees. En toch viel natuurlijk direct voor mij af. Want je luistert uiteindelijk de hele aflevering terug. Ook al doe je dat op bijvoorbeeld anderhalf keer de snelheid. Daar hou je nog veel te langen over. Dit viel natuurlijk af. Maar de derde variant, die was wel heel interessant. En die werd dan de drie getuigen genoemd. En het idee is eigenlijk heel simpel. En ook wel elegant vond ik. Want bij elk verdacht woord verzamel ik meningen. En hoe eens die het zijn, bepaalt hoeveel aandacht het woord van mij uiteindelijk krijgt. En die eerste mening zou je kunnen zeggen, is de ruwe transcriptie. De tweede is de verbeterslag van het taalmodel, die er al de meest voor de hand liggende fouten uit haalde. Dus ik gaf dan de transcriptie nog eens een keer aan het taalmodel. En zei van kijk, nou eens woord voor woord. Of daar vreemde woorden in staan en die automatisch mag vervangen, maar wees wel heel strikt. De derde is wel heel grappig, dat is namelijk het tweede luisterbeurt. En zou je denken, hoezo dan. We knippen namelijk dan per zin het stukje audio uit het bestand uit het audiobestand, en laten dat nog een keer omzetten naar tekst. Dat lijkt onzin, want het is hetzelfde model op dezelfde opname. Maar bij AI geeft bij dezelfde invoer dus niet altijd hetzelfde uitkomst. En eigenlijk is het niet eens hetzelfde invoer, want het is in één keer één losse zin iets anders dan een gesprek van drie kwartier. En daar komt dan een vaak een preciezere tekst uit. Daar heb ik dan later ook nog eens een keer spellingscontrole bij gehaald als extra getuigen. En nu krijg ik op mijn scherm in één keer drie vlakken, namelijk alles waar de drie getuigen met elkaar eens zijn, wordt overgeslagen, hoef ik niet te zien. Waren er maar twee met elkaar eens zijn, krijg ik een blok te zien met nog verdachte woorden. Waarbij ik waarbij ik heel snel kan zeggen, die is goed, die is goed, die is goed, hier moet ik straks nog een aanpassing hebben. Daarnaast krijg ik een blok. Waar bijna heel zeker is, dat het vervangende woord het juiste woord is. Dat zijn er dan een paar. Daar kan ik gewoon doorheen lezen. Dan kan ik met één druk op de knop zeggen van ja, zet allemaal maar door. En het derde. Daar krijg ik woord voor woord. Wat nog aangepast moet worden, waarvan de getuigen gewoon zo oneens met elkaar zijn dat ik daarnaar moet kijken. Krijg ik meteen een stukje audio eromheen. Ik krijg snel toetsen dat ik heel snel kan kiezen van ja, doe het voorstel maar. Nee, ik moet het met een eigen tekst doen. En in één keer kan ik super snel kan ik nakijken. In twee minuten. Soms drie als het een uur aan opname is. Maar in twee, drie minuten ben ik nu door een opname van drie kwartier tot een uur er doorheen. Wat betekent dat nou als we terugga naar de vraag van het begin. Hoe gooi je in een proces om? Zoek eerst het uitgangspunt dat je misschien nooit waar je nooit aan gedacht hebben. Dus bij mij was dat de hele tekst van boven naar beneden lezen. Terwijl het eigenlijk ging om nakijken. En vraag daarna waar je aandacht heen gaat en of die plek dat ook verdient. En kijk, uiteraard snap ik dat dit niet hetzelfde is als het volledig herontwerpen van een kritisch bedrijfsproces. Maar wel hoop ik dat ik je inspiratie heb gegeven om anders naar bekende taken te kijken. En dat dan mee te nemen naar je procesontwerp. En hoe je dat procesontwerp dan weer uitsplitst in meerdere mogelijkheden om te kijken van wat past, wat lukt en wat werkt daadwerkelijk. Leuk dat je luisterde naar deze korte aflevering van ETD Live. Vind je dit soort praktijkverhalen nou nuttig? Abonneer je dan in je podcast app, dan mis je een aflevering. Tot de volgende keer.