Over GPT-4o-mini met maximale prestatie

Hoi, welkom bij AIToday Live, de Nederlandse podcast over AI. Met vandaag de korte aflevering. En of je nu een zakelijke professional, IT-specialist of AI-enthousiasteling bent, wij bieden waardevolle inzichten en duidelijke uitleg over de nieuwste ontwikkelingen en toepassingen in de wereld van AI. Er is iets geweldigs aan de hand. En daar wil ik het vandaag met je over hebben. OpenAI heeft een nieuw taalmodel uitgebracht, GPT-4o-mini. Hele mond vol, kan er ook niks aan doen. Die taalmodellen krijgen steeds excentriekere namen. Maar de naam Mini, GPT-4o Mini, is een beetje misleidend. Want hoewel het een kleiner model is dan alles wat OpenAI tot nu toe heeft uitgebracht, is het ongelooflijk groot in prestaties. Let wel op, want dit krachtige model is nog niet voor iedereen te gebruiken vanuit ChatGPT, maar wel als je met programmatuur GPT aanstuurt met zogenaamde API's, programmeerinterfaces. Via de gebruikersinterface die je misschien gebruikt, komt het later in ChatGPT beschikbaar. En dan geldt hetzelfde voor wat ik je nu ga vertellen. Want waarom ben ik nu zo blij met dit model? Het is niet alleen de kracht, maar vooral de snelheid en de kosten die indruk maken. Dit model is razendsnel. En met snel bedoel ik de tijd die het kost om je prompt te versturen, te verwerken tot een antwoord en deze weer terug te ontvangen. Soms duurt het minder dan een seconde voor je antwoord hebt. Ik weet nog, in het begin, toen de eerste modellen uitkwamen, dan moest je echt wel seconden, dan had je het over misschien wel 10, 12, 15 seconden wachten voordat je een antwoord hebt nu. Wat? In een mum van de tijd heb je je antwoord. En zoals je wellicht weet, gebruiken we voor de podcast ook taalmodellen om transcripties om te zetten. Zo halen wij door gasten genoemde bronnen als boeken, artikelen, websites en meer geautomatiseerd uit de transcriptie. In een aflevering van 45 minuten aan tekst jaagt dit mini-model er in 1,5 seconde doorheen. Van begin tot resultaat. Gaaf toch? Deze snelheid opent een deur naar nieuwe mogelijkheden. Dan de kosten. Die zijn bijna onwerkelijk wat mij betreft. 15 dollarcent per 1 miljoen input tokens en 60 dollarcent per miljoen output tokens. En die input en output tokens laten we het voor het gemak even gewoon woorden noemen. Dus dat betekent dat je 0,0000015 cent per woord dat je erin stopt. Onwaarschijnlijk. Als je bedenkt dat OpenAI met GPT-4 Turbo begon met 60 dollar per miljoen output tokens. Dus die prijsverlaging binnen een jaar wat mij betreft onwaarschijnlijk. En dat betekent dat business cases makkelijker te maken zijn. En omdat die business cases zo veranderen moet je ook heel goed gaan kijken tussen het verschil tussen open source modellen en dit soort cloud initiatieven van OpenAI. Open source is natuurlijk een ontwikkeling die best wel heel groot is. Waarbij je je modellen ook op je eigen hardware kan gaan draaien. En in eerste instantie was dat ook gewoon goedkoper bijvoorbeeld. Maar nu moet je heel goed gaan nadenken over je moet je hardware aanschaffen, je hebt de onderhoud erop. Dus die afweging die gaat iets anders worden. Ik zeg niet dat je het een moet gebruiken ten opzichte van het ander. Maar qua kosten is er echt iets veranderd. En uiteraard kent open source andere voordelen dan alleen maar kosten. Maar goed, die afweging is aan jezelf. Nou voor de podcast gebruiken wij zo'n 15+ prompts die ik de afgelopen week uitvoerig heb getest en omgezet naar dit nieuwste GPT-4o-mini model. En gelukkig hebben wij daar automatiseerde testen voor. Dus we kunnen echt kijken of de prompts tegen nieuwe modellen aanhouden of de uitkomsten nog semantisch hetzelfde zijn. En weet je hoeveel prompts ik niet kon overzetten van dat grote… Ik gebruikte trouwens daar nog GPT-4 turbo voor. Van dat hele grote model nu naar de zogenaamde mini model. Weet je hoeveel prompts ik niet kon overzetten? Nul. Allemaal konden ze over. Alles goedkoper en sneller. Is het wel belangrijk om te benadrukken dat het beste model het model is dat het ook het beste bij je past. Het is de snelheid en laag kosten van GPT-4o-mini maken het aantrekkelijk voor veel toepassingen. Maar het blijft essentieel om de juiste balans te vinden tussen open source oplossingen, commerciële alternatieven en daarmee rekening houden met kosten, onderhoud en de specifieke voordelen van beide opties. Met de introductie van GPT-4o-mini zien we wel een trend van steeds krachtigere en betaalbare AI-modellen. Dit zal de toegankelijkheid en implementatie van AI in verschillende sectoren juist verder stimuleren. De snelheid en kostefficiëntie van GPT-4o-mini kunnen nieuwe deuren openen voor innovaties, denk ik juist ook in real-time data-analyse, automatisering en nog veel meer. Dus dat real-time gaan we heel dichtbij komen. Zoals je hoort, ik ben ontzettend enthousiast over de nieuwe mogelijkheden die GPT-4o-mini biedt en kijk uit naar de verder ontwikkelingen en toepassingen waar het naartoe gaat. Voor degene die werken met AI en op zoek zijn naar een krachtig, snel en kostefficiënt model. GPT-4o-mini is het overwegen waard! Dank je wel weer voor het luisteren naar AI-today live. Meld je aan voor onze maandelijkse nieuwsbrief voor het laatste nieuws en exclusieve inzichten in de wereld van AI. De link vind je in de shownote. Tot de volgende keer! [Muziek]