496 – Waarom draait je AI nog in de cloud?

[0:00:12] Randal Peelen:
Welkom bij Met Nerds om Tafel. We praten vandaag met

[0:00:15] Felienne Hermans:
Felienne Hermans.

[0:00:16] Randal Peelen:
En mijn naam is Randal Peelen. Dan moet ik even duiden, want Felienne, jij bent vandaag eigenlijk cohost. Ja, de officiële term. Ja. Want wij hebben ook Paul Veugen tegenover ons, als echte gastnerd. En Paul bouwde een aantal start-ups in Amerika, maar kwam daarna heel bewust weer terug naar Nederland. En je zat er ook al twee keer eerder aan tafel. De eerste keer over Detail, een app die video's opnemen en editen makkelijk maakt. En met de stelling dat we het fundament onder AI hier in Europa niet moeten inhuren, maar zelf moeten gaan bouwen. Misschien in net andere woorden, maar ik denk dat je het ermee eens bent.

[0:00:57] Paul Veugen:
Zeker.

[0:00:58] Randal Peelen:
En nu zorg je er ook voor dat het niet hoeft, want er is een nieuwe start-up: Desert Ant Labs. Moet ik even beginnen met een compliment, want ik ken twee ondernemers persoonlijk die terug naar Nederland zijn gekomen om te zeggen: hé, Silicon Valley is leuk, maar we hebben het hier ook nodig. Dat zijn Jelle Prins en jij. Alleen als ik Jelle tegenover me aan tafel heb, dan gaan mijn oren klapperen over hoe je DNA kan printen en dat kan editen. En dat vind ik dan heel moeilijk. Maar de toekomstvisie die die schetst, die kan ik wel voor me zien. Maar daar ging ik bij jou de eerste keer de mist in. Want toen je vertelde over Detail en dat je dat allemaal op een iPhone op kan nemen, zat ik nog heel erg met die podcastmindset: daar heb je toch een Mac voor. En dit was

[0:01:46] Paul Veugen:
drie jaar geleden.

[0:01:47] Randal Peelen:
Ja, ongeveer. En ik kan wel zo eerlijk zijn om te zeggen dat je gelijk hebt gekregen. Want Detail als app is nu zelfs te zien in een Apple-keynote, Paul. Lekker bezig.

[0:02:01] Paul Veugen:
Ja, mooi. De grootste verrassing die ik tot nu toe gehad heb, in ieder geval.

[0:02:04] Felienne Hermans:
Nou, wist je dat van tevoren wel? Wat ze gingen laten zien, of was dat in overleg met jullie? Mocht je daar iets voor aanleveren? Mag je daar niks over zeggen?

[0:02:13] Paul Veugen:
Mag ik daar iets over zeggen? Even snel in mijn hoofd de contracten doornemen. Wij wisten in de periode voor de keynote dat we zeer waarschijnlijk ergens tevoorschijn getoverd zouden worden, in de periode dat er wellicht iets nieuws zou komen waarvan wij officieel het bestaan nog niet wisten.

[0:02:31] Randal Peelen:
Ja, precies.

[0:02:32] Paul Veugen:
Dus het is extreem secretive.

[0:02:34] Felienne Hermans:
Wow.

[0:02:35] Paul Veugen:
Met hele zware contracten. Daarom grap ik nu van: ik weet niet of ik hier iets over mag zeggen. Ik weet echt niet of ik hier iets over mag zeggen. Maar we wisten wel dat er iets aan zat te komen. We waren in een unieke positie en we waren ergens in de VS aan het werk aan iets. Dus we hadden eerder toegang tot bepaalde dingen, maar dan weet je nog niet waar het gaat gebeuren.

[0:02:56] Felienne Hermans:
En ook misschien niet wat ze gaan laten zien.

[0:02:58] Paul Veugen:
Moet je je voorstellen: je investeert extreem veel tijd en energie in iets, en inclusief reiskosten, want het is niet naast de deur. Je mag niet vertellen waar je bent en wat je doet.

[0:03:09] Felienne Hermans:
Iedereen dacht dat je meedeed met Wie is de Mol? of zo.

[0:03:12] Paul Veugen:
Nou ja, dus er waren andere teams daar, waarvan je dan ook niet mag zeggen dat ze er zijn. En daar waren dus ook grotere teams. In ons geval was het een heel klein team. Dus mensen wisten wel ongeveer waar ik uithing, maar ze wisten technisch gezien niet waar ik aan werkte. Dus mijn collega's wisten niet waar ik mee bezig was. En dan vervolgens weet je ook niet of er iets mee gebeurt. En dat is heel vaak, zeg maar, in het geval van dit soort speciale projecten, of iedere vorm van marketing.

[0:03:38] Felienne Hermans:
Dat ze op het laatst nog kiezen wat dan de mooiste showcase is.

[0:03:42] Paul Veugen:
Exact. Ja. Dus het was echt letterlijk een verrassing. Ik zat op de bank thuis, want ik was ook uitgenodigd voor de keynote. Maar ik was toen al zo vaak van huis geweest dat ik thuis op een gegeven moment zei: ja, het kan gewoon niet meer. Dit keer was mijn vrouw zelf een paar dagen weg, dus we kregen het thuis gewoon niet gepland. Maar anders was ik daar fysiek aanwezig geweest. Dus ik zat letterlijk thuis op de bank naar de keynote te kijken. En ik denk van: ja, misschien komen we morgen ergens in een persbericht voor en worden we ergens

[0:04:08] Felienne Hermans:
Gewoon even een screenshot in de galerij. Of een logootje.

[0:04:11] Paul Veugen:
Ja, dus we waren de eerste keer al aan het juichen: we hadden ons app-logo gezien ergens in de introslide. En dat was al: fuck, daar staan we. En toen kwam op een gegeven moment het apparaat voorbij, en we gingen eigenlijk vrij lang door. Dus we hadden het idee dat het ergens eerder misschien vermeld zou worden. Want we hadden een aantal dingen gedaan. Want we hadden in juni al het idee van: we willen graag onze AI-modellen die we trainen terug laten komen in de marketing door middel van Detail. Dus we zijn eigen modellen gaan trainen, met dus Desert Ant, jouw introductie. En het hele masterplan was eigenlijk: als we nou die modellen in Detail mee kunnen nemen en dat ook zichtbaar kunnen maken, dan snijdt het eigenlijk aan twee kanten en hebben we daar extreem veel voordeel mee. Want dat zou een hele mooie eerste introductie kunnen zijn. Want de dag ervoor hadden we ons lab aangekondigd. En dat was natuurlijk wel zo ontworpen. Want stel dat er iets zou gebeuren tijdens de Apple-keynote, dan hadden we ons lab net aangekondigd. De eerste modellen waren beschikbaar voor andere developers om hun eigen applicaties mee te maken. En dan zouden we met een beetje geluk een mooie finale hebben, dat we ergens in de persberichten tevoorschijn kwamen. En toen was het de keynote met Craig Federighi, een van de vp's van Apple. Met Desert Ant: Detail built on-device AI, met eigen modellen die heel snel draaien. En ja, dat is een soort van de ultieme accolade natuurlijk.

[0:05:34] Randal Peelen:
Hair Force One himself.

[0:05:37] Paul Veugen:
Ja, ja, dat is echt... Ik kan het niet. Dus we hebben met het team de afgelopen vier, vijf jaar heel hard gebuffeld om bepaalde dingen voor elkaar te krijgen. Toen we elkaar drie jaar geleden spraken, toen hadden we nog nul zichtbaarheid in de App Store en waren we alles zelf aan het doen. En in de drie jaar zijn we een soort van eigenlijk boven het playing field uitgekomen en zijn we zichtbaar geworden. En ja, dat geeft een enorme tailwind natuurlijk. Dus extreem, voor mijn team ook. Als je vier, vijf jaar lang keihard ergens voor knokt en je ziet dan in één keer het werk wat je gedaan hebt in de keynote van een van de meest waardevolle bedrijven ter wereld, ja, dat is wel vrij bijzonder.

[0:06:13] Randal Peelen:
Dat is [gok: voor het team echt gaaf]. Maar ik vind dat heel bizar.

[0:06:15] Paul Veugen:
Er zaten collega's te janken op de bank.

[0:06:18] Randal Peelen:
Ja, maar ik had dit moment namelijk eerder een keer. Ik was altijd heel erg fan van Apollo, de app waarmee je naar Reddit kon. En op een gegeven moment kwam er een einde aan dat tijdperk, want Reddit ging geld vragen voor API-toegang. En Apollo was echt zo'n app die, net zoals Detail in jullie geval, zo toegespitst was op de iPhone, door iemand helemaal in zijn eentje die daar zo ontzettend ver in ging om zich aan de Apple-standaard te houden, maar ook dat alles soepel werkt, en zo ver achter de komma dat je denkt: nou, die man moet eigenlijk bij Apple gaan werken, weet je wel. Die kwam op een gegeven moment ook in een Apple-keynote. En op dat moment... Ik ben geen sportliefhebber, maar op dat moment is het alsof ik voor Ajax ben en

[0:07:04] Felienne Hermans:
Ajax scoort, zeg maar.

[0:07:05] Randal Peelen:
Ik heb die app en die staat daar. En ik had dat moment ook een beetje bij Detail. Enerzijds heb ik er helemaal niks mee te maken, maar op een andere manier heb ik wel zoiets van: ja, ik ben voor dat team.

[0:07:17] Paul Veugen:
Ja, nee, dat waardeer ik heel erg. En voor het team hetzelfde. Dus mijn collega's die gewoon... En sommigen als voorbeeld, maar Elizabeth, onze iOS-engineer, die met name aan de UI-kant werkt, dus aan alle details en [gok: de mooie afwerking].

[0:07:30] Randal Peelen:
De details.

[0:07:31] Paul Veugen:
Die zit dus dagelijks obsessief met het goed krijgen en hoe het werkt, en de eerste transities naar de iPad. En zij is een engineer die binnen is gekomen bij ons met een beetje mid-level, zeg maar, vrij vroeg in de carrière eigenlijk nog. En die is in de afgelopen vier jaar enorm gegroeid. En dan kom je in één keer tussen Slack en Zoom en andere bedrijven terecht. En wij werken met een team van, in dit geval aan de iPhone-app, in de orde van grootte vijf, zes mensen. En we zaten daar tussen teams met honderden engineers. Dus het idee dat je dan kan competen... Als je het hebt over een sportmetafoor, zo voelt het wel een beetje.

[0:08:12] Felienne Hermans:
Echt vechten boven je gewichtsklasse.

[0:08:13] Paul Veugen:
Absoluut, ja, zeker.

[0:08:15] Randal Peelen:
Ja. Wat ik er wel leuk aan vind, is: ik kan me namelijk op een gekke manier wel voorstellen, die Chris-nogwat [Christian Selig] van Apollo, ik dacht: ergens is het ook wel makkelijk om in je eentje te zijn. Als je dan zo ver in de details wil treden en je wil een paar puntjes op de i zetten die niemand anders de moeite waard zou vinden, of daar gewoon het budget niet voor heeft, dan is een klein team stiekem ook wel alweer handig.

[0:08:38] Paul Veugen:
Ja, maar je moet wel... Om dit soort dingen te doen, moeten alle details kloppen. Dus je ziet de applicatie en de manier waarop het gebouwd is, en daar kun je over obsessen en extreem goede kwaliteit bouwen. Maar als voorbeeld: als wij screenshots maken voor onze applicatie, dan moet in die screenshot ook alles kloppen. En dus als voorbeeld: een van de shots die wij gebruiken in de marketing, in de keynote, is een shot die twee collega's gemaakt hebben in de bloemenvelden bij Lisse toen die in bloei stonden, waarbij ze een podcast in de flower fields opnemen.

[0:09:11] Randal Peelen:
Oké.

[0:09:12] Paul Veugen:
De copy in het screenshot is safe, en daar staat het transcript in, dus de transcriptie van de video. En dat is ook chitchat. Dus dat kan gewoon. Er staat verder niks onveiligs of iets wat niet in Apple-marketing meegenomen kan worden. De shot klopt, de achtergrondbelichting klopt, de tijdlijn in de screenshots die ze tonen staat netjes in het midden, want dan ziet de screenshot er mooier gebalanceerd uit. En als je hem een klein beetje naar rechts schuift, dan zit er best wel wat lege space als je hem net opent. Het zijn wat kleine voorbeelden natuurlijk. En alles, de klok in de screenshots moet altijd op de juiste tijd staan: negen uur veertig, want dat is de tijd... Negen uur eenenveertig, moet je niet vergeten, want dat is de tijd waarop zij zelf een screenshot maken. De batterij moet altijd volledig geladen zijn. Er kan geen netwerkicoon zijn, want anders is... En daar heb je wel tools voor om dat makkelijker te maken, maar als je die niet

[0:09:59] Felienne Hermans:
Dat zijn eigenlijk een soort nepscreenshots. Het is niet gewoon eventjes... Of stel je dan... Zet je dan met programmacode eerst de klok op de juiste tijd en de batterij op honderd, en ga je dan een screenshot maken?

[0:10:11] Paul Veugen:
Ja, het moet sowieso... In dit geval zijn de screenshots opgenomen met het apparaat verbonden met je MacBook. Dus als je dan QuickTime opent, of een andere opnamesoftware, dan zet hij in ieder geval de klok en zo goed. Dus dan zet hij vanzelf de klok goed voor je de screenshot maakt.

[0:10:24] Felienne Hermans:
Wow, ik had er nooit over nagedacht dat dit een probleem zou zijn.

[0:10:28] Paul Veugen:
Maar dan moet je nadenken over de timing van de video en welke projecten je gebruikt. En dat is waar het bij ons dan vaak lastiger wordt, want dan heb je extra echte video nodig. Als je een mock-up maakt, een statische afbeelding, is heel makkelijk. Ja, want dan kun je daar omheen, dan Photoshop je gewoon. Maar met een video, een opname, dus een keynote, zeg maar, waarbij dus een video afspeelt, dan moet dat ene clipje kloppen. En wat je dus ziet in de keynote, is dat ze een statisch screenshot gebruikt hebben. Want op het moment waarop dit gebeurde, was de app eigenlijk nog helemaal niet klaar. Dus ik wist al van: oh, ik wist wel, we kregen goedkeuring. En ook de modellen, iedereen moet afgetekend zijn. We hebben wel eens gehad dat we een screenshot deelden en dat er in de screenshot een klein icoontje stond, en dat in het icoontje twee mensen stonden, en dat we voor die twee mensen moesten aftekenen. Ja, want ze kunnen het risico niet lopen. Hetzelfde geldt als je een podcastmicrofoon in beeld hebt, als voorbeeld, en er staat een logo op van Rode. Dat betekent dus dat zij bij Rode eigenlijk ook goedkeuring moeten krijgen, potentieel. Dus alles moet afgeplakt worden en geredigeerd. Dus dat soort details zitten bij Apollo, de app: als hij screenshots maakt, moet hij dus ook nadenken over welke content van Reddit hij wel of niet in beeld zet.

[0:11:41] Felienne Hermans:
Ja, dan kan je daar geen scheldwoorden in je screenshot hebben staan.

[0:11:45] Paul Veugen:
Ja, ja, ja. Dus dat soort details.

[0:11:47] Felienne Hermans:
Want dat wil je echt wel dan niet laten zien.

[0:11:48] Paul Veugen:
Ja, dat vind ik het knapste aan indie developers, dus individuele developers, die dus in hun eentje dat soort dingen voor elkaar krijgen. Ja, dat is het werk wat erachter zit, waar we eigenlijk niet over nadenken.

[0:11:59] Randal Peelen:
Ik ben ook blij dat ik daar niet over na hoef te denken. Want dit is dus het type werk achter de komma waar ik niet voor in de wieg gelegd ben. Zeg maar, ik ben meer van de creatieve ideeën, en dat dan net niet tot een zesje brengen, en dan ga ik weer door met het volgende project.

[0:12:14] Felienne Hermans:
En dan moet je eigenlijk een team van mensen hebben die dat dan wel kunnen.

[0:12:17] Randal Peelen:
Dat zou ik eigenlijk moeten hebben. Kun je iets vertellen? Want [gok: als ik kijk naar] Desert Ant Labs: het zijn, wat zijn het, achttien modellen die jullie hebben getraind en gepubliceerd. Dus in mijn hoofd zijn het kleine modellen, dus miertjes. Maar waarom zijn ze in de woestijn, en hoe zijn ze ontstaan uit de start-up Detail?

[0:12:37] Paul Veugen:
Dit wordt een lang verhaal.

[0:12:38] Randal Peelen:
Daar zijn wij voor.

[0:12:39] Paul Veugen:
Er was eens een miertje. Nee, de afgelopen vijf jaar bouwden we eigenlijk alles wat we konden bouwen on-device. Dus we probeerden zoveel mogelijk de rekenkracht van je, in eerste instantie, MacBook en later je iPhone of je iPad, zoveel mogelijk de rekencapaciteit van die apparaten te gebruiken. Omdat we dan enerzijds de informatie niet van je apparaat af hoeven te sturen naar een server om daar vervolgens te verwerken. En het tweede: dat je een product veel goedkoper aan kan bieden. Dus als jij op het apparaat de videorendering doet bijvoorbeeld, dus van losse clipjes één lange video maken, dan betekent dat dat je dat goedkoper kan doen. Dan duurt het soms wel wat langer, maar uiteindelijk was de gok dat de performance van dat soort apparaten zo snel beter wordt, dat je eigenlijk voor de meeste processen geen servers nodig hebt. Dus dat we heel veel rekenkracht gebruiken in de cloud, maar dat je het overgrote deel van de dingen, de dagelijkse dingen die je doet, uitstekend op een telefoon of een laptop kan doen.

[0:13:33] Randal Peelen:
En dan is het kantelpunt, denk ik, 2020, als de eerste M1-MacBook uitkomt.

[0:13:39] Paul Veugen:
Ja, dat was voor ons een realisatie: hé, je kan vier, vijf videostreams tegelijk analyseren. Dus toen we Detail begonnen, hadden we eigenlijk ook in de pitch naar onze investeerders toe: we gaan real-time video produceren. Dus tegen de tijd dat je stopt met opnemen, moet de video klaar zijn. Dan heb je de content om te delen. En dat kan omdat je de video kan analyseren. Dus je kan de beelden van die video en de audio van die video zo snel analyseren dat je tegen de tijd dat je stopt met opnemen, met een kleine vertraging, in principe gewoon de informatie uit die video gehaald hebt en daar dus een video van kan produceren. Toen kwamen op een gegeven moment LLM's, en de eerste ChatGPT en de eerste versies van GPT, dus 3.0, 3.5, 4. Vervolgens kwamen Claude-modellen uit. En wij gebruikten die modellen steeds meer om in ieder geval op basis van de tekst in de video je video te kunnen bewerken. En hetzelfde geldt voor als jij de audiokwaliteit van deze opname wil verbeteren. Er staat hier in de achtergrond, als voorbeeld, een verwarming te blazen. En dat geluid kun je er heel prima uit filteren.

[0:14:42] Randal Peelen:
Dat is echt waar, er staat zo'n Philips-blazertje.

[0:14:44] Paul Veugen:
Ja, en dat kun je prima filteren. Dus daar heb je filters voor en heb je audioprocessen voor. En steeds vaker gebruik je daar AI-gedreven modellen voor. Alleen dat deden we met name server-side, omdat de bouwblokken op je telefoon en op je laptop niet direct beschikbaar waren voor developers. Dus dat waren eigenlijk gewoon processen, dat moet je zelf... Daar moet je zelf mee aan de slag.

[0:15:05] Randal Peelen:
Ja, en als het wel bestond, was het closed source, dus daar moest je nog steeds licenties aan betalen.

[0:15:09] Paul Veugen:
Ja, en het merendeel van de modellen... Dus ik grapte altijd: ieder kwartaal ging ik een rondje langs Hugging Face, de grote marktplaats voor modellen. En ik ging langs GitHub, open-source repositories, om te kijken of er code beschikbaar was om mee te bouwen. En of wij dingen konden gebruiken, open-source bouwblokken waarmee we onze software beter konden maken. En die kwamen niet. En ieder jaar zat ik in het publiek bij Apples developerconferentie eigenlijk te wachten op de API's en te wachten op de bouwblokken waarmee wij als developers dit soort dingen op het apparaat kunnen doen.

[0:15:38] Randal Peelen:
Ja, dat Apple het ging regelen.

[0:15:40] Paul Veugen:
Exact, ja, en dat gebeurde wel. Dus de onderliggende infrastructuur en dus de chips werden beter, de onderliggende bouwblokken werden beter. Maar eigenlijk is de hele industrie eromheen achtergebleven. Met andere woorden: als je nu kijkt naar de capaciteit van een moderne MacBook of een moderne Windows-machine of een modern Android-toestel, dan hebben we meer rekencapaciteit in onze zakken en op onze bureaus staan dan wat er in totaal beschikbaar is aan infrastructuur in grote datacenters.

[0:16:05] Randal Peelen:
Maar even vertaald naar de eindgebruiker: daar lopen ze in de VS dan voor, omdat je Apple Intelligence gebruikt en Siri daar meer kan. Dat zijn wel degelijk on-device...

[0:16:15] Paul Veugen:
Ja, maar die modellen... Dus als je kijkt naar de snelheid waarmee die modellen ontwikkeld worden, en de open-source bouwblokken... Dus we weten steeds meer over hoe je die modellen efficiënt toe kan passen. En een ontwikkelcyclus van Apple is een jaar of twee jaar. Dus dat duurt zomaar: wat ik in juni te zien krijg, wordt in september gelanceerd. En dan wordt het gelanceerd op je nieuwste iPhone. Want dat is een manier om natuurlijk die iPhone in de markt te zetten. En ook een manier om natuurlijk sneller te kunnen bouwen. Dus als jij geen rekening hoeft te houden met oudere apparaten, en dan noem ik oudere apparaten in dit geval twee of drie of vier of vijf jaar oud, ja, dan kun je vooral vooruit gaan bouwen. En dat is in de best interest van een producent van nieuwe apparaten. En dus de incentives zijn daar niet direct om dat volledig, zeg maar, voor iedereen toegankelijk te maken.

Lang verhaal kort: wij zijn erachter gekomen dat we die modellen uitstekend zelf kunnen trainen. Dus we zaten op een gegeven moment daar aan het experimenteren. En ik als investeerder heb naar de industrie gekeken, en dan was ik al lang op zoek naar eigenlijk bedrijven die op grotere schaal grote plannen konden maken over hoe je productiviteit kan genereren op lokale infrastructuur, en hoe je betere modellen kan draaien. En in plaats van dat je... Een heel groot model in de cloud is vaak generalistisch. Dus je gooit alles gewoon in één groot model, en vervolgens krijg je een antwoord terug en hoef je verder niet heel veel na te denken.

[0:17:38] Randal Peelen:
Maar daar zijn die modellen ook heel goed in.

[0:17:40] Paul Veugen:
Exact. We zijn eigenlijk... Als je het helemaal plat slaat, dan zijn we in de afgelopen twee jaar ongeveer erachter gekomen dat als je een LLM groter maakt en meer capaciteit geeft, dat het LLM eigenlijk heel erg bijna menselijke capaciteiten gaat krijgen. Dus de modellen die we nu gebruiken, dus, ik ga het zeggen, een Opus 5.5, het meest recente model van Anthropic, of de meest recente modellen van OpenAI: het zijn extreem grote modellen die het afgelopen jaar niet eens veel beter zijn geworden, maar eigenlijk veel meer harnas eromheen hebben gekregen en een klein beetje beter zijn geworden.

[0:18:12] Randal Peelen:
Opus 5.5 is wel echt een sprong, hoor.

[0:18:14] Paul Veugen:
Ja, maar dat is met name ook door hoe ze eigenlijk de posttraining... met name. Ze zijn met name beter geworden omdat we ze beter sturen, als je het helemaal plat slaat. Maar tegelijkertijd is de vraag eigenlijk: waarom gebruiken we deze grote modellen?

[0:18:30] Felienne Hermans:
Ja, want zoiets simpels als dat geluid van een verwarming eruit halen, dat is een relatief eenvoudige taak. Heb je helemaal niet een heel groot taal...

[0:18:37] Paul Veugen:
Dus als je een taalmodel vraagt om de audiokwaliteit van deze podcast te verbeteren... Is eigenlijk een heel mooi voorbeeld, want dat doen we dan. Dus dan pak je het grootste taalmodel, een large language model, wat eigenlijk heel goed is in het voorspellen van het volgende karakter, als je het helemaal plat slaat. Wat dat model gaat doen is: nou, dit is audio, dan schrijf ik code. En dan ga ik heel veel code

[0:18:59] Randal Peelen:
Scriptjes.

[0:19:01] Paul Veugen:
schrijven. En dan maak ik eigenlijk een model, waarschijnlijk, om dus de audio te filteren. Of misschien, als je geluk hebt, schrijft het wat Python-code om dan vervolgens inderdaad gewoon een audiofilter te schrijven. Maar met een beetje pech gaat het zijn eigen model trainen. En vervolgens, een paar uur verder, heb je extreem veel capaciteit eigenlijk verkwist om dat probleem op te lossen. Dus we zijn erachter gekomen: in principe zijn we van een soort van V2-tweetaktmotor naar een V16-motor gegaan in de afgelopen anderhalf jaar. Alleen we stellen heel weinig de vraag wat we eigenlijk nodig hebben.

[0:19:37] Felienne Hermans:
Ja, want die motor zit dan vervolgens in een auto, maar misschien ook in een grasmaaier en in je Roomba. Dat hoeft helemaal niet. In heel veel gevallen is het helemaal niet nodig.

[0:19:45] Paul Veugen:
Exact. Zestig tot zeventig procent van de vragen die we stellen, blijkt uit onderzoek, kunnen uitstekend beantwoord worden met lokale modellen eigenlijk. Alleen het probleem is: wat we gaan doen, is vervolgens lokale modellen uitproberen. Dan zeg je: oké, wat kan ik op, laten we zeggen, mijn laptop draaien?

[0:19:59] Randal Peelen:
Ga je kijken: wat is het grootste dat hierop werkt?

[0:20:00] Paul Veugen:
Het allergrootste wat ik kan draaien. En dat is dan niet zo'n heel groot model in vergelijking tot het grote cloudmodel. En dan stellen we vervolgens een algemene vraag aan dat model. Klopt. En dan kijk je naar de resultaten en denk je: ja, dit is niet zo goed als wat ik gewend ben van het cloudmodel. En dan val je dus heel snel weer terug in dezelfde patronen. En dus zwemmen we met z'n allen eigenlijk een soort van de fuik in van grote technologiebedrijven en worden we volledig afhankelijk en kopen we straks een groot deel van onze productiviteit in.

[0:20:29] Randal Peelen:
En dan nu een moment voor de sponsor van deze aflevering, en dat is Personio. Want Jur, heb jij wel eens meegemaakt dat iets klein en heel gezellig begon en opeens heel groot werd?

[0:20:41] Jurian Ubachs:
Nou, MNOT natuurlijk. En ik denk ook aan iets als Project X Haren. Dat staat me nog wel bij. Dat werd heel snel heel groot en werd trouwens niet zo heel erg goed gemanaged.

[0:20:51] Randal Peelen:
Nou ja, precies. Als iets te snel groeit, dan verlies je heel snel het overzicht. Ik zie het een beetje voor me als een serverrack. Je hebt tien kabels, ja, dat onthoud je nog wel. Maar als het er honderd worden, dan moet je al gaan labelen. En straks durft niemand meer een kabel aan te raken, want straks gaan de dingen kapot.

[0:21:07] Jurian Ubachs:
Nee, precies, kijk. Complexiteit an sich is niet het probleem. Onbeheerde complexiteit, dát is het probleem.

[0:21:13] Randal Peelen:
Ja, en de software die je als bedrijf gebruikt, kan daar enorm bij helpen, maar het kan je ook ontzettend hinderen of in de weg zitten.

[0:21:21] Jurian Ubachs:
Gelukkig is er een partij die dat gewoon goed doet, en dat is Personio. Personio zet ingewikkelde processen om in strategisch voordeel, zodat teams niet vastlopen in randzaken. En Randal, ze zijn ook nog eens Europees, en dat is ook wel fijn in deze tijden.

[0:21:35] Randal Peelen:
Is zeker lekker. En Personio is het intelligente HR-platform, gebouwd voor alle petten die HR tegenwoordig draagt. Ontdek meer op personio.nl of klik op de link in de shownotes.

Het ergste is dus dat ik alles wat je nu zegt weet, en ik ben het er zelfs mee eens. En toch is Opus gewoon mijn daily driver. Weet je? En ik heb zo'n model dat past in 128 gig, en dat is behoorlijk goed. Het is afgerond, zeg maar, Haiku qua niveau. Kun je heel veel van mijn dagelijkse shit mee. Ik laat al mijn e-mail daarmee analyseren. Het hele to-do-leven zit daarin. Van alles vuur ik daarop af, en dat is lekker goedkoop. Net niet zo snel als Haiku, ik heb niet zo'n heel groot datacentrum, maar die kleinere modellen inzetten is precies wat jij zegt: heel erg goed mogelijk. En een soort, ja, vergeten, moet ik het noemen, ambacht, wat we wel heel hard kunnen gebruiken. Maar het kost ook moeite. En je moet er ook bij nadenken: waar zet ik wat in? En daar heb ik een hekel aan. Ik wil gewoon liever elke keer dat mijn Opus-credits op zijn denken: dit was het waard, ik koop er nog meer. En dan ga ik gewoon weer lekker door waar ik gebleven was.

[0:22:47] Paul Veugen:
Ja, en dat is dus waar de wereld voor optimaliseert op het moment. Dus wat wij aan het doen zijn, wat we met Desert Ant bouwen, zijn dozens of small, dus tientallen kleine modellen die allemaal heel goed zijn in één specifieke taak. En op het moment dat die modellen toegepast worden op die ene taak, dan performen ze net zo goed of beter dan grote cloud-based modellen. Als voorbeeld: we hebben een auto-editfeature in Detail, waarbij je een lange video, zoals deze podcast, op kan knippen in korte clips. En daar gebruikten we Opus voor. En dat duurde ongeveer vijftig seconden. Dus je stuurt het volledige transcript van deze video naar Opus, en vervolgens krijg je vijftig seconden later een selectie van zinnen die je kan gebruiken voor je short clips, voor je clips.

[0:23:28] Felienne Hermans:
En dan bedenkt hij zelf op basis van bijvoorbeeld het volumeniveau of de inhoud: dit is een goeie korte clip?

[0:23:33] Paul Veugen:
Ja, dus met name op basis van de storyline. Dus wat we deden: we gaven Opus de prompt om te zoeken naar de beste hooks en de beste verhalen binnen deze volledige podcast. Een extreem domme kuttaak, sorry, voor modellen als Opus. Want je moet door alle zinnen heen. En eigenlijk wat Opus heel goed kan, is het volgende karakter voorspellen.

[0:23:55] Felienne Hermans:
Ja, een vraag beantwoorden die je hebt, is een heel ander soort taakje.

[0:23:59] Paul Veugen:
Exact. En dus die Opus-modellen, of Opus in dit geval, grote taalmodellen, kunnen deze taak heel goed doen, maar zijn er eigenlijk heel inefficiënt in. Want wat dit namelijk is, als je er helemaal neutraal naar kijkt: het is een semantisch probleem. Je moet zoeken naar de meest betekenisvolle onderdelen van dit verhaal. Die zoek je, en daarna zoek je naar verbanden daartussen. En als je dat doet, dan kun je dus in vijf seconden op een iPhone dezelfde taak uitvoeren. Dus we gingen van een groot taalmodel in de cloud, wat letterlijk draait op een reeks van servers, zeg maar. Sorry, dat was de camera. Een reeks van servers, zeg maar, een rek vol met grote, extreem dure, kostbare computers die heel veel energie verbruiken. Gingen we naar een model wat dezelfde taak... Blind, als je ze naast elkaar legt, dan zou jij het verschil niet kunnen zien. Het is een coin toss. Dus vijftig procent van de tijd kies je die van ons of de andere.

[0:24:57] Randal Peelen:
Ook als het tachtig procent zo goed was en het was honderd procent zo gratis, is het nog steeds een heel goed idee.

[0:25:03] Paul Veugen:
Exact. Ja, dus wij zijn eigenlijk stukje bij beetje iedere keer de features die we gebouwd hadden in Detail gaan commoditizen. En die geven we nu weg als opensource bouwblokken. En dat doen we in iedere categorie. En vervolgens, toen we dat voor twee of drie categorieën gedaan hadden, dachten we: shit, deze modellen outperformen eigenlijk cloud-based modellen. En als wij de developerervaring hieromheen goed kunnen krijgen, en het makkelijker kunnen maken om hiermee te bouwen en het eenvoudiger maken, dan verandert er eigenlijk het hele model rondom een heleboel van dit soort apps. Als voorbeeld: als in Detail de auto-edit niks meer kost, waarbij die eerst ongeveer vijftien cent of twintig cent per podcast kostte. En daarom moesten we dat als een betaalde feature aanbieden aan onze gebruikers. En dat rekenden we ongeveer uit: nou, dit is ongeveer hoeveel minuten video. Dus we konden het wel met een flat fee doen. Maar bijna in alle AI-features betaal je per token of betaal je voor usage. En in ons geval kunnen we nu de podcast-editing in theorie gratis aanbieden. Doen we nog niet, maar dat zijn we wel... We kunnen het hele model rondom onze app opnieuw gaan bouwen.

[0:26:10] Felienne Hermans:
En het heeft natuurlijk ook heel veel met digitale soevereiniteit of autonomie te maken.

[0:26:13] Paul Veugen:
Absoluut.

[0:26:14] Felienne Hermans:
Want als je zo'n model gebruikt, dan moet je ook maar vertrouwen dat als jij je video of je transcript daarnaartoe stuurt, dat het dan niet voor trainingsdata gebruikt wordt. Dat als iemand anders zegt: maak een leuke podcast over deze app, dat het dan niet jouw data erin komt en dat ergens is.

[0:26:27] Paul Veugen:
Nou ja, en ik denk dat het allerbelangrijkste is dat het überhaupt al verstuurd wordt naar een server. En in ons geval blijft het dus allemaal lokaal. Nooit uit. En dat deden we dus niet. Dus in eerste instantie, als je auto-edit gebruikte in Detail, werd het verstuurd naar Anthropic in dit geval. Nu draaien alle features in Detail volledig on-device. Dus we zijn in een halfjaar tijd van cloud-based, van grote modellen, met name voor een aantal van de features... Hebben we alles kunnen vervangen door lokale modellen, en daarmee ook echt tienduizenden euro's aan kosten weggesneden.

[0:26:56] Felienne Hermans:
Ja, maar ook, denk ik, een mooi marketingvoordeel, dat je zegt: jouw data is van jou, en er is geen enkele cloudprovider die toegang heeft tot jouw data om daar dan wat dan ook mee te doen. Om dat te trainen, of op een andere manier te verkopen tegen jouw zin. Dat is toch ook een waanzinnig voordeel? Niet iedereen zal dat altijd belangrijk vinden, maar ik wel. Ik vind dat echt fantastisch.

[0:27:15] Paul Veugen:
Ja, ik vind dat zelf persoonlijk ook heel belangrijk. Alleen in mijn persoonlijke ervaring vinden niet genoeg mensen dat belangrijk. Nee, helaas. Helaas. Ik vind dat bijna pijnlijk om te zeggen, maar dat is wel [gok: zo].

[0:27:30] Randal Peelen:
Als ondernemer komt het niet bovenaan je lijst.

[0:27:32] Paul Veugen:
Nee, en we hebben daar natuurlijk altijd hele goede principes in gehad. We zijn altijd volledig transparant geweest. Maar je zou willen dat het een belangrijkere maatstaf is. Dus dat betekent voor ons als bouwer van modellen: voor een groot deel van de klanten is dat niet de hoofdzakelijke reden om onze modellen te gebruiken, maar steeds meer een reden. En met name de Europese soevereiniteit is een extreem belangrijke, ook in de overheid, als voorbeeld. In sommige gevallen is dat een kritieke voorwaarde: we nemen niks meer af van andere partijen op het moment dat je die afhankelijkheid inbouwt.

[0:28:10] Felienne Hermans:
En dat zal misschien nog wel toenemen.

[0:28:12] Paul Veugen:
Heel sterk.

[0:28:12] Felienne Hermans:
Dat er steeds meer Europese wetgeving zal komen over AI, waarbij je zal zeggen: overheden mogen niet zomaar meer dingen naar de Amerikaanse cloud sturen. Dat hoop je ook een beetje.

[0:28:21] Paul Veugen:
Oh, maar dat is nu al duidelijk.

[0:28:22] Felienne Hermans:
En dan zitten jullie al helemaal vooraan.

[0:28:24] Paul Veugen:
Ja, alleen daarvoor moet je wel een beter product bouwen. Dus dat is altijd ook voor ons een drijfveer geweest. We zijn niet begonnen met Desert Ant om kleine modellen te bouwen. We zijn begonnen met Desert Ant en bouwen kleine modellen, omdat kleine modellen het begin zijn voor ons. We zijn gefocust op het bouwen van de skills eigenlijk: tientallen hele specifieke uitvoerders van taken. En als je een beetje nadenkt over werk, is dat ook hoe ons werk eruitziet. Dus heel veel bulkwerk wat je dagelijks doet. Dus als jij als voorbeeld tienduizend documenten moet indexeren en documenteren, dan begint dat dus in ons geval met een klein model. Vanuit die kleine modellen bouwen we uiteindelijk een routinglaag. Dus kunnen we het makkelijker maken om taken binnen die modellen te verdelen. En vanuit daar bouwen we uiteindelijk de grotere hersenen. Dus als je nadenkt over de metafoor: de achterkant van je hersenen is het cerebellum, dus de sensory processing. Dus dat zijn de sensory input, dat zijn je oren en je ogen. En daar zit ook wat snellere verwerking van informatie bij. Dus dat zijn de kleine modellen die we hebben gebouwd.

[0:29:28] Randal Peelen:
Zoveel Engels dat je het woord voor zintuigen kwijt bent. Ja, heel lastig.

[0:29:32] Paul Veugen:
Sorry. Ja, dit is mijn pitch, die gaat ook altijd in het Engels normaal.

[0:29:34] Randal Peelen:
Dat merk je.

[0:29:35] Paul Veugen:
Daarna ga je naar de cortex, dus eigenlijk de verbinding tussen de hersenhelften, dus de snelweg. En daarna kom je uit in de grote hersenen, en dat zijn de grote taalmodellen. Dus de tragere processen, maar die wel meer capaciteit hebben en waar ook veel werkgeheugen zit. Wij beginnen bottom-up. Als je een groot deel van de taakuitvoering lokaal kan laten doen, dan betekent dat dat de informatie die je lokaal al verwerkt, dus alles wat je te weten komt over dat audiobestand of over die video, en met name voor dat soort type bestanden, dus vaak grotere bestanden... Dat winnen we al van cloud-based, van infrastructuur die dus ergens op een server draait. Dus alles wat wij lokaal kunnen doen, is eigenlijk bonus qua informatie en inzicht wat je kan verwerven voordat je naar een groter model in de cloud stuurt.

[0:30:24] Felienne Hermans:
Ja, wat is dan straks de UI? Wel weer een taalmodel, of van jullie of van een andere partij, waar je dan zegt: produceer deze podcast. En dat hij dan op basis van die vraag die je hebt zelf die kleinere modellen gaat aanroepen, en dan bij jou met een antwoord komt op basis daarvan. Of wordt dat dan toch weer...

[0:30:40] Paul Veugen:
Nee, de aanname nu is dat een groot deel van de interactie met onze modellen plaatsvindt door middel van agents en andere modellen. Dus je geeft instructie aan je eigen taalmodel in dit geval, om onze modellen te gebruiken om je werk uit te voeren.

[0:30:54] Felienne Hermans:
Maar moet je dan zeggen: geef me dit model? Of kan zo'n tussenlaag van jullie dan zelf bedenken: oh, je wilt een podcast produceren, nou, dat betekent een transcript maken en een kort clipje?

[0:31:04] Paul Veugen:
Ja, dat is onze marketing. Dus onze marketing is eigenlijk erop gericht dat agents en andere modellen voldoende instructie hebben om te kunnen bouwen en produceren met onze modellen. En daarmee dus eigenlijk heel veel tokens server-side besparen. En dat doen we nu nog met andere modellen die dat aansturen.

[0:31:19] Felienne Hermans:
Precies. Ik hoor jou zeggen: dat is onze marketing. Dus daarmee bedoel je: dat kunnen we nog niet.

[0:31:24] Paul Veugen:
Nee, dus we richten ons op... Nee, nee. Wij kunnen dat wel. Dus die laag is er al, dat gebeurt al. Het enige is dat wij de grote modellen niet bouwen die dat aansturen. Ja, [gok: waar je geen] controle over [gok: hebt]. Precies.

[0:31:33] Felienne Hermans:
Dus je moet dan hopen dat daar als uitvoer Claude of ChatGPT bedenkt van: oh, dit is een model die dat kan, dus dan ga ik daar coden voor.

[0:31:42] Paul Veugen:
Ja. En uiteindelijk worden veel van de taken die we dagelijks uitvoeren gevat in producten, in software. En die software, de manier waarop we software schrijven, is extreem snel veranderd. Je zou kunnen aannemen dat er in de toekomst eigenlijk geen software meer geschreven zou worden. Maar dat zou een heel inefficiënte manier zijn om rekenkracht te gebruiken.

[0:32:06] Felienne Hermans:
En ongezellig voor ons programmeurs ook.

[0:32:08] Paul Veugen:
Ja, maar ik denk wel dat de manier waarop we producten maken echt volledig anders gaat zijn. En dus ook de producten: het idee dat je op een scherm op een vierkantje tapt, en dat dat vervolgens nog meer vierkantjes op je scherm tovert waar je dan doorheen tapt. Ja, dat geloof ik niet. Ik geloof niet dat die vorm van onze user interfaces, en de manier waarop wij computers en telefoons gebruiken, dat dat hetzelfde blijft. Dus ik denk dat een groot deel van de interfaces vervangen gaat worden door interfaces die eigenlijk bijna dynamisch gegenereerd kunnen worden op basis van jouw wensen en voorkeuren, en daarvoor bouwblokken gebruiken. Als dat het geval is, dan is er een soort van tussenlaag die overblijft. En dat is intelligentie, een soort van tussenintelligente laag die allerlei taken uit kan voeren, waarbij de interface, de manier waarop je ermee interact, heel anders zal zijn.

[0:33:00] Felienne Hermans:
En die de taken dan uitvoert, toch niet gewoon een gigantisch taalmodel te runnen, wat enorm duur is en waarschijnlijk nog veel en veel duurder gaat worden, want die bedrijven maken allemaal zoveel verlies.

[0:33:09] Paul Veugen:
Ja, en die taalmodellen zullen ook steeds meer toegepast worden voor hele andere, specifieke problemen. Als voorbeeld: de meest recente taalmodellen van Anthropic en OpenAI worden door de Amerikaanse overheid ingezet om op grote schaal China te hacken. En dus dat drijft de prijs van de tokens en de infrastructuur ook op. Dus uiteindelijk is er een soort van drijfveer naar efficiëntie die we nu nog niet voelen, want nu is alles volledig gefinancierd en the sky's the limit. Maar efficiëntie is extreem belangrijk. Dus als wij in Europa een vuist willen maken ten opzichte van Chinese labs en de US, dus grote Amerikaanse partijen, dan kun je proberen head-on, zeg maar, direct met ze te concurreren. Maar dat zal extreem lastig zijn, want dan concurreer je dus ook op dezelfde rekencapaciteit. En dat betekent dus dat je met z'n allen enorme, zeg maar, blokkendozen moet bouwen met extreem veel rekenkracht, alleen al om je basismodellen te krijgen.

[0:34:04] Felienne Hermans:
Alleen om iets te trainen wat dan net zo goed is als Claude of ChatGPT, wat waarschijnlijk helemaal niet meer makkelijk gaat lukken.

[0:34:09] Paul Veugen:
En de aanname daarin is ook dat die modellen en die infrastructuur, waarvan we per toeval achter zijn gekomen dat dit goed werkt, dat dat de richting is die we met z'n allen moeten nemen. Terwijl, misschien komen we er binnen nu en een jaar wel achter dat je met een model wat misschien een duizendste van de maat heeft dezelfde capaciteiten kan trainen. En dat onderzoek staat niet stil. Dus we zijn een soort van eenrichtingsverkeer ingegaan. Die modellen, grote taalmodellen, drijven de hele markt. Die drijven de rekencapaciteit, die drijven alle onderzoeksrichting, en al het kapitaal trekt daarheen.

[0:34:50] Felienne Hermans:
Ja. En de prijs van RAM enorm omhoog.

[0:34:53] Paul Veugen:
Alles, de hele technologiemarkt op dit moment is daarmee verweven. En dat betekent dat er extreem veel kansen ontstaan daaromheen. En dat is wat we proberen te bouwen met Desert Ant.

[0:35:03] Felienne Hermans:
Ja, dat geloof ik ook wel. Wil ik best een voorspelling doen, mag je me over een paar jaar weer in de studio uitnodigen: dat die grote taalmodellen uiteindelijk financieel niet sustainable kunnen zijn. Dat alleen kleine modellen, die ook op een preciezere taak getraind zijn, betaalbaar zijn en blijven, want die grote modellen zijn zo duur.

[0:35:20] Paul Veugen:
Ja. En ik denk dat die modellen wel gebruikt gaan worden voor specialistische taken. Maar dat voelt... Ik grap: het is alsof je een McKinsey-consultant naar de lokale bakker stuurt om voor 600 euro per uur de bonnetjes in te boeken.

[0:35:31] Felienne Hermans:
Ja. Dat kan wel.

[0:35:33] Randal Peelen:
En die kan dat.

[0:35:33] Paul Veugen:
Dus wat we letterlijk doen. Ja.

[0:35:35] Randal Peelen:
Nee, ik voel dit wel, maar ook op een ander niveau. Want wat je eigenlijk terloops zegt, maar waar minder nadruk op lijkt te liggen, is dat zo'n AI echt nuttig is als onderdeel van een product of een dienst. En waar ik steeds meer achter kom in mijn eigen denkwijze: kijk, ik ben zo'n early adopter, ik ben zo'n nerd, ik wil alle nieuwste speeltjes. En eigenlijk ga ik daarna kijken: wat kan ik ermee? Dus ik wil de iPhone Duo. En wauw, wat kan die eigenlijk? En hoe voelt dat ding in je hand? Dat bedenk ik daarna pas, weet je wel. Tussen neus en lippen door: Paul heeft mij net de eerste keer dat ik een iPhone Duo in mijn hand heb gehad cadeau gedaan. Ik heb vorige week zitten vertellen hoe ik hem had gepreorderd en weer heb gecanceld, en op dit moment zit ik een identiteitscrisis te beleven, of ik dat ding toch niet [gok: ga kopen].

[0:36:18] Felienne Hermans:
Je bent zelf een soort duo geworden.

[0:36:19] Randal Peelen:
Ik ben wel extra... Ik ben een enorm ingewikkeld mens soms. Maar wat ik wel merk in het dagelijks leven, een random voorbeeld dat bij me opkomt: ik heb een schurfthekel aan het verzamelen van facturen. Want een heleboel facturen die worden hier gewoon gemaild, en dan forward ik ze naar Moneybird, en dan staan ze in Moneybird, en daar worden ze dan voor een deel ook automatisch verwerkt. Maar je hebt ook partijen, meestal zijn dat telecomproviders en zo, dan moet je per se inloggen, en dan pas mag je je factuur zien. Nou, dit is typisch zoiets. Dat kan ik Codex laten doen. Dat kan ik Claude laten doen. Het enige wat ik hoef te doen, is mijn passwordmanager koppelen en een browser cadeau doen aan dat ding. En dan kan die dat prima voor mij doen. En ik weet, nogmaals, ik ben me hiervan bewust, maar dit is... Kijk, op het moment dat Uber in jouw stad komt en ze gaan straks gratis taxiritjes uitdelen, dan moet je je bewust zijn: dit is tijdelijk. We zitten nu [gok: in de VC-fase], maar ik ga wel die gratis taxiritjes doen. En nu ook: ik ga wel voor twintig euro per maand heel mijn boekhouding automatiseren.

[0:37:26] Felienne Hermans:
Maar ik denk dan meteen: hebben die partijen waar je je factuur moet [gok: ophalen], hebben die dan geen API? Kan je niet met vijf regels Python gewoon...

[0:37:33] Randal Peelen:
Ja, maar waarom zouden ze? Voor die drie nerds die dat willen doen?

[0:37:37] Paul Veugen:
Ja, meestal hebben ze dat wel. [gok: Afgeschermd,] om te voorkomen dat je het kan scrapen, misschien.

[0:37:40] Felienne Hermans:
Ja, ik weet het niet. Want die willen toch ook wel weer een API, omdat ze ook weer willen dat bijvoorbeeld Moneybird een automatische koppeling met ze kan programmeren. Dus ik zou dan denken: kan je dan niet of een API inderdaad laten doen, of ook een Python-scraper laten draaien? Daar heb je ook niet eens per se een chatbot voor, nou.

[0:37:56] Paul Veugen:
Ik weet dat Amazon in ieder geval geen bonnen stuurt met inhoud, omdat het gescrapet wordt. Dus dat je al... Oh, in de zin van: in je mailbox, en dan kan het...

[0:38:04] Felienne Hermans:
Google kan dan. Google kan dan.

[0:38:06] Randal Peelen:
Wow, dat zou ook nog kunnen.

[0:38:08] Paul Veugen:
Ik zeg: no one trusts each other.

[0:38:09] Felienne Hermans:
Nee. Ja, dan denk ik dus, ja, goed, sorry, maar ik denk nu: ah, leuk, kan je automatiseren met programmeren. Kan je Tampermonkey in je browser installeren, en dan kan je het gewoon in je browser opvragen. Kan je doen alsof je een browser bent die het wel op kan vragen.

[0:38:21] Randal Peelen:
Nee, maar kijk, bij telecom snap ik het. Dat zijn allemaal lastige persoonsgegevens. Die wil je niet op een onveilig medium gooien.

[0:38:26] Felienne Hermans:
Dus dat is echt [gok: waardevolle data]. Fair enough.

[0:38:29] Randal Peelen:
Maar ik had net een gekke gedachtegang. In eerste instantie denk ik: oké, ik kan dit nu doen met Opus 5.5, of met Codex en Astra 6 lukt dat ook. Daarna denk ik: oké, wat is het kleinste model dat dat ook voor me zou kunnen doen? Maar even later denk ik: eigenlijk is dit dus ook weer een soort nerdmanier van denken die de plank misslaat. Ik wil gewoon dat die facturen ingeboekt zijn. Ik wil een product dat dat doet. En dat dat toevallig een AI is die dat voor me uitvoert, zou irrelevant moeten zijn. Voor mij is dat leuk als nerd. Net als dat iemand onder de motorkap van zijn auto wil duiken en snappen hoe het werkt, vind ik het leuk om te weten hoe die AI in elkaar zit. Maar het is pas waardevol op het moment dat dit een product of een dienst is, en niet iets wat ik zelf moet gaan zitten bouwen met mijn eigen...

[0:39:14] Felienne Hermans:
Want de meeste mensen zullen dat helemaal niet leuk vinden, om dat nou met Tampermonkey of een Python-scriptje te doen, of met AI. Die willen gewoon dat het werkt, met één druk op een vierkantje, en dan op de ouderwetse manier.

[0:39:24] Randal Peelen:
En dat is in feite wel wat nu met Detail is gebeurd. Ik wil gewoon een video opnemen en die editen. Nou, daar is dan toevallig AI voor ingezet, en daarna komt dat hele autonome en lokale, soevereine verhaal nog overheen. Maar dat is bijna bijzaak. Vrij dichtbij, niet?

[0:39:41] Paul Veugen:
Ja, maar Detail als product is gemaakt om jou een creatieve outlet te geven. Dus ik denk dat creatieve producten op zich nog iets meer bestaansrecht hebben. Maar vrijwel iedere vorm, negen van de tien softwarepakketten die we gebruiken, zijn een pleister. Het zijn een soort van pleisters die we plakken op processen die eigenlijk helemaal niet zouden moeten bestaan.

[0:40:00] Randal Peelen:
En dan komt de SaaS-pocalypse er nog aan.

[0:40:03] Paul Veugen:
Nee, ik geloof er breed in. Ik zeg: geen enkele, geen enkele weldenkende investeerder investeert in SaaS.

[0:40:08] Felienne Hermans:
De SaaS-pocalypse is dat alle SaaS gewoon stopt, mensen.

[0:40:11] Randal Peelen:
Ja, want als ik kijk: ik heb namelijk meerdere dingen waar ik vroeger voor betaalde, zelf in elkaar gevibecoded. En dat doet net wat lekkerder hoe ik het wil. En nou ja, dan kom je erachter dat er zoiets is als onderhoud. En dat als je je PHP update en je gevibecodede slop werkt niet meer, dat je dan toch wel degelijk een probleem hebt.

[0:40:31] Paul Veugen:
Waar je het opnieuw…

[0:40:32] Randal Peelen:
En dan ga je toch misschien nog maar een keer [gok: betalen]. Dus er zijn wel dingen waar ik voor betaal, maar steeds minder. En dit geldt voor al die vibecodende nerds: ze gaan gewoon steeds meer beginnen. Eerst denken ze: hé, ik betaal voor die diensten, die kan ik zelf opbouwen. Daarna valt het kwartje om: maar wacht, dan kan iedereen het. Dus dan heb je een soort… Eerst komen alle andere start-ups als paddenstoelen uit de grond. Die maken hetzelfde en dan zijn er dertig Moneybirds. En daarna komen we erachter: o ja, die ene is toch wel echt veel beter.

[0:40:58] Paul Veugen:
Ja, dus wat er overblijft in mijn optiek, zijn platforms. Dus Moneybird zie ik eigenlijk niet als een SaaS-product. Moneybird is een financieel platform waarbij jij het volledige plaatje voor jou… Eigenlijk alle stress rondom financiële administratie en organisatie wordt door hen overgenomen.

[0:41:18] Randal Peelen:
Maar je hebt daar ook je bankrekening, tenminste, ik heb dat sinds kort gedaan. En dan kun je zeggen: ja, maar dat is eigenlijk [gok: ook maar data]. Ik zeg: ja, oké, maar ik ga niet mijn eigen banklicentie vibecoden. Weet je wel? Dat gaat net een stap te ver.

[0:41:27] Paul Veugen:
En dan zijn ze eigenlijk volledige integrators.

[0:41:29] Felienne Hermans:
Als we even bij die Moneybird blijven, vind ik het wel interessant als jij zegt: dus dat soort software is straks niet meer nodig.

[0:41:34] Paul Veugen:
Ik denk: ja, is Moneybird wel. Dus ik denk: Moneybird heeft voldoende schaal in jouw proces. Ik ben gewoon persoonlijk minder geïnteresseerd in eigenlijk de tools. Dus alles wat niet een volledige workflow over kan nemen… Maar Moneybird als dienstverlener zie ik zeker wel. Want ja, bankrekening gaat niet weg, bank gaat niet weg.

[0:41:55] Felienne Hermans:
En ook zoiets als een factuur sturen. Dan wil je waarschijnlijk toch niet tegen je [gok: agent] zeggen: ja, verzin even welke prijs mijn lezing moet hebben, of een boek, en maak daar een factuur voor. Dan wil je waarschijnlijk toch op de een of andere manier intikken welke prijs jij met die klant hebt afgesproken. En…

[0:42:09] Paul Veugen:
Dus ik denk dat een bedrijf als Moneybird, en dat zie je dus ook heel snel… Ik ken die jongens heel goed. Geweldig bedrijf.

[0:42:16] Randal Peelen:
Want die Joost, die heeft hier gezeten.

[0:42:18] Paul Veugen:
Zo'n vet bedrijf. Zo sympathiek en hard voor wat ze doen, en gefocust op juist het beste product bouwen voor hun klanten. Maar wat ik denk dat zij heel goed doen, is dat je dus veel van dat soort AI-functionaliteit… Eén is: ze bouwen heel veel met AI en daarmee kunnen ze sneller bewegen dan ooit. En twee is dat zij als platform voldoende oppervlakte hebben om jou goed van dienst te kunnen zijn als ondernemer. En tegelijkertijd dus ook dat soort AI, omdat ze voldoende oppervlakte hebben, eigenlijk die hele dienstverlening ook makkelijker kunnen maken met behulp van hun eigen modellen.

[0:42:58] Felienne Hermans:
Maar kan je dan een voorbeeld geven van wat voor software jij denkt dat straks niet meer gaat bestaan? Wat voor software?

[0:43:03] Paul Veugen:
Ik denk, als voorbeeld, dat veel software die je gebruikt ook als ondernemer… Als voorbeeld een applicant-trackingsysteem, dat vind ik een hele lastige categorie. Dus een systeem waarmee je de vacatures online plaatst en vervolgens kandidaten door je interne organisatie verspreidt om te interviewen, en vanuit daar dan vervolgens de scorekaart bijhoudt, ze scoort en ervoor zorgt dat iedereen ingepland wordt.

[0:43:30] Felienne Hermans:
Ja, SuccessFactors, die wij daarvoor gebruiken. Het zijn eigenlijk een soort van…

[0:43:34] Paul Veugen:
Ja, en die systemen zijn best wel… Daar zit best wel wat oppervlakte aan. Maar die zijn zo… Je moet als team dan zo in dat systeem.

[0:43:42] Felienne Hermans:
Ja, precies, op een bepaalde manier dingen doen.

[0:43:45] Paul Veugen:
En dat werkt heel lekker soms, want het helpt met processen, maar tegelijkertijd, ja, is dat misschien niet het beste proces. Dus als jij ervaring hebt met aannemen van veel mensen op grote schaal, dus als jij bijvoorbeeld bij een scale-up gewerkt hebt, dan ben je eerder geneigd om daar je eigen systeem voor te bouwen. En dan is er dikke kans dat dat net zo snel gebouwd is als je de skills hebt, dat je dat net zo snel kan bouwen en toe kan passen in je organisatie. En dat dus de kosten van het bouwen en onderhouden zeker afwegen ten opzichte van wat je anders in zou kopen. En dan heb je een systeem dat past in je workflows en naar eigen smaak ingericht is. En ik denk dat dat voorbeelden zijn van: ja, dat is net niet groot genoeg om het volledig te doen.

[0:44:26] Felienne Hermans:
Ja, want het is altijd een onderdeel van een andere keten. Want als je dan iemand hebt aangenomen, dan moet hij weer een arbeidscontract en dan gaat het door naar de volgende software.

[0:44:33] Paul Veugen:
Ja. En dus ik denk: als het dingen in gereguleerde markten zijn, zijn ze langer houdbaar. Want dat is dat Moneybird: financieel, [gok: bank, dat allemaal]. Je hebt de belastingaangiftes en integraties. Hoe meer integraties met externe systemen, hoe langer je houdbaar bent. Hoewel integratie ook steeds makkelijker is.

[0:44:47] Felienne Hermans:
Steeds makkelijker, ja.

[0:44:48] Paul Veugen:
Hoe hoger de stakes zijn, hoe langer het houdbaar is. Dus als er hele zware risico's zijn, waarbij dus de risico's van iets vibecoden extreem zware gevolgen kunnen hebben, dan is het ook anders. Wij gebruiken met name voor al onze interne tooling die we af kunnen schermen, waarbij bugs en andere dingen geen probleem zijn… Ja, dat is allemaal intern gebouwd. Dus we hebben bijna geen externe. Maar GitHub als voorbeeld, waar onze codeontwikkeling plaatsvindt: ja, dat ga ik nog niet zelf bouwen.

[0:45:21] Felienne Hermans:
Nee, want dat is ook een beetje zoals Moneybird. Ik denk aan onze GitHub. Er hangt zoveel aan, met een testomgeving, en automatisch, als het gemerged wordt, wordt het gedeployd. En dan kan je klikken en dan wordt het naar productie gedeployd. Alle tests runnen daarop en zo.

[0:45:34] Randal Peelen:
Ja, maar het is ook niet duur genoeg. Dus als je bijvoorbeeld weg wilt bij Microsoft en heel je enterprise gaat bij 365 weg, dan maak je best wel een dikke deuk in het budget.

[0:45:45] Paul Veugen:
Ja, dus alles wat heel hard gedreven was vanuit user interface en daar de waarde uit moest halen, dat is denk ik minder lang houdbaar. Alles wat een platform is of integratie levert, of infrastructuur, is veel langer houdbaar. Want ja, uiteindelijk is iedere vorm van technologie gewoon een nieuwe laag van abstractie op de vorige. En dat is in dit geval ook zo. Alleen is de interfacelaag veel makkelijker aan te passen naar eigen smaak en beter in je organisatie te passen.

Maar dan heb ik het wel… Ik bedoel, wij zijn wat dat betreft waarschijnlijk voorlopers en we werken met een relatief klein team. We hebben de skills in het team om dingen zelf te bouwen. En daarmee overschat je ook de impact. Want een gemiddeld, laten we zeggen, bedrijf met tienduizend werknemers: daar is de afdeling die hierover gaat, en de mensen die daarmee bezig zijn, hebben een hele andere skillset waarschijnlijk. En dan zul je misschien beginnen met wat kleine interne tooling en wat kleine problemen oplossen. Maar we zijn er zeker nog niet dat dat door iedereen toegepast kan worden en met een goede productsmaak binnen een organisatie uitgerold kan worden.

[0:46:51] Felienne Hermans:
En ook is soms het doel van software niet per se om het makkelijker te maken voor degene die het gebruikt. Ik werk bij een hele grote organisatie, een universiteit met duizenden medewerkers. Het interesseert de mensen die bij ons software inkopen helemaal niet of ik het handiger vind. Het interesseert ze dat het gecentraliseerd is en dat alle faculteiten en afdelingen op dezelfde manier dingen doen, ook als het helemaal niet handig is. Dus de reden dat zij dingen kopen, is juist omdat er allemaal verschillende doeltjes bestaan. Dat zijn dan gewoon… De ene afdeling doet het met een Excel-lijstje en de andere heeft inderdaad zelf iets ervoor gemaakt. En dan zegt ons hoofd IT: ho ho ho, dat is niet de bedoeling. Dus die zouden zich om hele andere redenen tegen zo'n toekomst verzetten. Want dan heeft de ene afdeling het ene en de andere het andere. Dat moeten we niet hebben. Het moet allemaal hetzelfde.

[0:47:34] Paul Veugen:
Het structureert je organisatie eigenlijk.

[0:47:35] Felienne Hermans:
Ja. Het stroomlijnt dan processen. En dan kunnen ze van hogerop, en dat zal voor veel grotere organisaties gelden, denk ik, overzicht krijgen in bijvoorbeeld hoeveel vacatures er openstaan op de hele VU tegelijk. Als iedereen zijn eigen gevibecodede systeempje heeft… Dat gaat er om die reden, denk ik, echt niet komen.

[0:47:52] Paul Veugen:
Nee, maar ik denk wel dat de manier waarop een organisatie uiteindelijk, zeg maar, software passend maakt, dat dat wel anders is. En dat de manier waarop je dus ook… Veel van de software die jullie inkopen, wordt extern ingekocht.

[0:48:05] Felienne Hermans:
Ja, zeker.

[0:48:06] Paul Veugen:
En de vorm daarvan zal ook anders zijn. Dus als jij een groot deel van de problemen niet meer door middel van een interface oplost, maar een agent hebt draaien die eigenlijk vierentwintig uur per dag zelfstandig bepaalde taken uitvoert, dan wordt de interface naar het product ook heel anders. En dan wordt eigenlijk de software die die infrastructuur is, waarbij de AI-agents kunnen praten met je software, die blijft het langst houdbaar.

[0:48:36] Randal Peelen:
Ik ben absoluut geen kundig programmeur, maar ik kan me daar veel bij voorstellen. Dus ik open mijn teksteditor, ik doe zo'n haakje openen, vraagteken, PHP. En dan ga ik wat classes maken en wat variabelen heen en weer schuiven. En op een gegeven moment echo ik een stukje HTML, en dat begint met een haakje openen, HTML.

[0:48:57] Paul Veugen:
Ik hoop dat je je server wel geüpdatet hebt vorige week.

[0:49:01] Randal Peelen:
Dezelfde dag nog. Maar toen… En dan weet ik ook nog een klein beetje hoe je dat met de hand met CSS mooi kan maken. Uiteraard doe ik dit niet meer. Uiteraard zeg ik gewoon: maak mij een website, enter, en dan gaat Opus los. Waar ik me niks bij voor kan stellen: hoe de fuck train je een AI-model?

[0:49:24] Paul Veugen:
Eigenlijk hetzelfde.

[0:49:25] Randal Peelen:
Waar begin je? Ik heb geen flauw idee.

[0:49:27] Paul Veugen:
Nou ja, wat wij doen is: we hebben bijna volledig geautomatiseerde processen om modellen te trainen. En dus als je nadenkt over hoe de skillset van onze teamgenoten, mijn collega-programmeurs, veranderd is – ik ben zelf ook geen programmeur – dat zijn allemaal managers geworden. En die managen allemaal een groep van agents. En dus meerdere; over het algemeen hebben ze meerdere processen tegelijk draaien. We identificeren een categorie of een probleem, zeg maar een categorie die wij kunnen tackelen, waarvan we denken: hé, hier zit iets. Dit is waar veel mensen grote modellen voor gebruiken, en waar je een taak hebt die vaker uitgevoerd wordt op grote schaal. Als voorbeeld: een van de modellen is contentmoderatie. Dus het detecteren van hate speech online. En waar je dan… Eén is: we weten dat er bestaande API-services zijn van Amazon en andere, waar je extreem veel geld betaalt om berichten te laten controleren op mogelijke hate speech, om ze vervolgens te kunnen identificeren: hé, dit is een bericht dat door een mens bekeken zou moeten worden. En dit is misschien, zeg maar, targeted harassment, of een bepaalde categorie van mensen wordt onheus benaderd. Dat is heel veel manual work normaal, en dat doe je dus met geautomatiseerde systemen. En daar zijn API's voor, en die API's zijn extreem duur, en die draaien allemaal bij Amazon Web Services en andere Amerikaanse bedrijven.

Dus dat is een voorbeeld van hoe je dat model traint. Dan weet je dus dat het een taalprobleem is. Dus het heeft iets met taal te maken in ons geval. Dus dan heb je een categorie van basismodellen waarop je voort kan borduren. Vervolgens weet je dat je trainingsdata nodig hebt, en in ons geval is dat vaak opensourcedata die beschikbaar is, of bepaalde data die we met een goede licentie kunnen gebruiken. En in heel veel gevallen is dat informatie die je door een model laat genereren. Dus je laat een model los om honderdduizend keer dezelfde, of honderdduizend variaties van bepaalde tekst te genereren. En dat gaat eigenlijk uiteindelijk in een trainingsproces, waarbij je dus een model meerdere keren in allerlei verschillende variaties laat trainen, waarbij je kijkt of het beter wordt of niet. Dus een bijna experimenteel proces.

In het geval van een clipper, als voorbeeld, het taalmodel waarmee we korte clips kunnen identificeren: ik denk dat ik iets van honderdtien versies van dat model uitgeprobeerd heb over tijd. En die worden iedere keer gescoord, en die worden op een testdataset losgelaten om te kijken of het model beter performt of niet. En dan helemaal aan het einde van de rit heb je een model en kun je het vergelijken met andere modellen. En dan kunnen we het toepassen in ons product.

[0:52:16] Randal Peelen:
Maar ik probeer het nu te destilleren, want ik ben heel rudimentair. Ik zeg: ik open de teksteditor en dan kan ik een stukje PHP typen. Alleen als ik mijn eerste eigen model wil trainen, dan is wat ik uit jouw antwoord heb begrepen: er zijn eigenlijk allerlei soorten starters voor.

[0:52:35] Paul Veugen:
Ja, dus wij beginnen over het algemeen… Begin je dus letterlijk: als jij een model wilt trainen, dan pak je een kleine, simpele taak. Iets waarvan je weet dat het een domein is dat al door anderen ontdekt is. Je kan beginnen met een model dat al door iemand getraind is, dus een basismodel. En dan kun je het finetunen, heet dat. Dus dan pak je eigenlijk een bestaand model en dan maak je dat bestaande model beter op een specifieke taak. Dus dat is wat we veel doen met veel van onze modellen. Dat zijn eigenlijk gefinetunede modellen. Dus er is een bestaand model dat al door iemand, laten we zeggen, twintigduizend uur getraind is. Daar pakken we eigenlijk een stuk uit het model, en we zeggen: we gaan dat model eindeloos blijven trainen op één specifieke taak, waardoor het uiteindelijk die ene taak extreem goed uitvoert.

[0:53:17] Randal Peelen:
Maar hoe doe je dit?

[0:53:18] Paul Veugen:
In dit geval, in ons geval, zeg maar: we beschrijven het probleem en we hebben interactie met een agent. Dus we zijn met Claude in dit geval, of met… Het ligt eraan wie in het team je het vraagt. Met een Opus-achtig model, die ordegrootte, beschrijf je het probleem. We hebben templates waarmee we dus een soort van gestructureerd beschrijven aan welke regels dit model moet blijven voldoen gedurende het hele proces. Want een model moet altijd volledig reproduceerbaar zijn. Dus we moeten altijd precies hetzelfde model na kunnen maken. Zelfs als de… Omdat het een kansberekening is, kan de uiteindelijke uitkomst van het model net iets anders zijn. Maar het recept van het model moet volledig beschreven zijn. Want anders kunnen we niet bewijzen hoe het werkt en kunnen we niet onderbouwen hoe het gemaakt is. En dat is extreem belangrijk in eigenlijk de wetenschappelijke benadering.

[0:54:13] Felienne Hermans:
Ja, dan kan je ook niet garanderen dat de performance bijvoorbeeld beter is dan van bestaande modellen. Terwijl je dat wel wil kunnen geloven.

[0:54:19] Paul Veugen:
Ja, en hetzelfde geldt voor… Er zijn guardrails. Er zijn hele strikte regels die wij onszelf opleggen rondom data, als voorbeeld: waar mag je op trainen en waar mag je niet op trainen. En onze modellen mogen nooit getraind worden op data die niet publiek toegankelijk is en geschikt is om een model op te trainen. En dan blijven we altijd aan de… Er zijn in Nederland vrij ruime regels voor scraping en andere dingen, en we blijven daar altijd aan de volledig witte kant van de lijn. Dus niet het grijze gebied daartussenin. Dus we willen aan iedereen die onze modellen gebruikt kunnen verantwoorden dat dit veilig is om te gebruiken.

[0:55:00] Randal Peelen:
Zo jammer, want ik kan me namelijk wel voorstellen als jullie alle Detail-mensen, of -gebruikers, wel hun data laten uploaden, zonder dat ze dat doorhebben. Nou ja, je zegt al: een heleboel mensen zeggen daar geen nee tegen.

[0:55:13] Paul Veugen:
Nou, dat zou uiteindelijk… Ik geloof zeker dat er wel mensen kunnen zijn waarvan we zeggen: hé, je kan ons product bijvoorbeeld gratis gebruiken, dit is hoe we jouw data kunnen gebruiken om te trainen. En in het geval van Detail: als jij ons product gebruikt, dan staat er in onze voorwaarden dat je dus de functionaliteit waarbij je, als voorbeeld, Auto-Edit… Op het moment dat je Auto-Edit gebruikt in onze app om je video te bewerken, dus je gebruikt een AI-functie in de app, dan kunnen we dat gebruiken om ons product te verbeteren. En dan heb je daarnaast persoonlijke… Ik heb daar persoonlijke morele grenzen, ook in wat je wel of niet met AI zou kunnen doen.

Als voorbeeld: ik zou nooit een model trainen op de tekst die jij geschreven hebt. Principieel. Maar op het moment dat jij tekst wil herschrijven met een AI writing assistant – dit is niet eens een feature die we hebben – maar stel dat jij tekst wil herschrijven en wil verbeteren met een AI writing assistant, ja, dan vind ik het moreel een hele andere afweging. Of dat die herschreven tekst, dus de uitkomst, eigenlijk de uitkomst van een AI-model… Het proces van jouw gewone tekst naar de herschreven, de AI-geoptimaliseerde [gok: toegankelijkere] tekst: ja, dan heb jij AI toegepast op je product. En dan is dat proces van het toepassen… Ja, dat doe ik eigenlijk dan in een trainingscyclus. Doe ik dat nog?

[0:56:35] Felienne Hermans:
En daar kan je van leren. Want misschien doet een gebruiker dat tien keer.

[0:56:39] Paul Veugen:
Exact.

[0:56:39] Felienne Hermans:
En dan denkt hij: deze vind ik goed. Welke die dan uitkiest als de uiteindelijke tekst.

[0:56:43] Paul Veugen:
Dus dat vind ik een ander proces. Terwijl als jij data van iemand zonder dat ze daar toestemming voor hebben gegeven zou gebruiken, dan vind ik dat een andere vorm. En dat zou ik vooral af moeten… Dan wegen we per model ook af: wat is nou hetgeen wat je eruit trekt? Als voorbeeld, als je een model wil trainen op, een heel extreem voorbeeld, gezichtsherkenning: ja, dan worden de gezichten niet herkend. Maar wat je eigenlijk doet, is honderdduizend gezichten één keer herkennen om de verschillen tussen gezichten te zien. En dan zit geen van die gezichten uiteindelijk verpakt in de gewichten van je model dat je daadwerkelijk gebruikt. Terwijl op het moment dat je een creatief model zou maken, waarbij je een afbeelding genereert op basis van afbeeldingen die dat model eerder heeft gezien, dus het genereren van een afbeelding, dan heb je een hele andere uitkomst. En dan is dat model eigenlijk menselijk werk aan het reproduceren. En dat vind ik weer een andere keuze. Dus daar moet je weer andere afwegingen over maken.

[0:57:41] Felienne Hermans:
Ik ben echt zo benieuwd naar het werk van jouw programmeurs. Ik weet niet hoeveel jij daarover kan zeggen, maar bijvoorbeeld zo'n agent aan het werk zetten, zoals je dat zo beschrijft: kan iedereen dat? Of heb je daar programmeerkennis of andere technische kennis voor nodig? Of heb je daar domeinkennis voor nodig? Of stel dat jij straks 25 extra mensen nodig hebt: kun je daar gewoon iedereen met een hbo- of zo'n diploma aannemen? Of zit er toch nog… Ik denk ook aan mijn eigen toekomst als programmeur. Zijn we overbodig, of zijn we straks nog nodig omdat we toch ook technisch werk doen?

[0:58:09] Paul Veugen:
Mijn beste programmeurs, mijn meest productieve programmeurs, zijn programmeurs die extreem veel ervaring hebben en nu volledig, zeg maar, deze technologie omarmd hebben. En die zijn extreem goed in hun werk, omdat ze dus weten wat goed is, en omdat ze eigenlijk de onderliggende patronen kennen en kunnen beschrijven waar ze naar op zoek zijn.

[0:58:33] Felienne Hermans:
Dus dat is wel geruststellend. En heb jij dan over tien jaar ook nog zulke programmeurs? Want er komen bij jullie allemaal juniors binnen, die komen hier van school, en die hebben misschien dan niet die ervaring opgedaan. Die gaan meteen op deze manier programmeren. Worden die ook ooit zo goed? Of missen die dan dat stukje ervaring?

[0:58:50] Paul Veugen:
Je zou de counter kunnen maken dat mijn programmeurs meer geleerd hebben dan ze ooit leerden, omdat ze in samenwerking met een constante supervisor… Je bent eigenlijk constant aan het pairen. Je hebt constant pair programming. Dus pair programming is waarbij twee programmeurs samen eigenlijk een probleem oplossen. En dat is een manier waarop je ook naar deze technologie zou kunnen kijken. Dus veel van mijn programmeurs zijn eigenlijk constant aan het pair programmen, of zijn leaders of leads, technical leads geworden, waarbij ze een team van andere programmeurs aansturen en feedback geven op hun werk, de hele dag. Dus ik heb het idee dat je…

[0:59:29] Felienne Hermans:
Is het ook nog een manier om een goede programmeur te worden, met AI?

[0:59:32] Paul Veugen:
Misschien wel, ja. Ik weet het uiteindelijk… Ik denk dat veel van de taken overgenomen kunnen worden, maar ik denk dat de beste teamgenoten eigenlijk heel erg pluriform zijn. Ze hebben over het algemeen hele brede skillsets en hebben een heel goed gevoel voor product.

[0:59:45] Felienne Hermans:
Dus ook veel domeinkennis.

[0:59:47] Paul Veugen:
Ja, dus je komt vaak met een bepaalde ervaring van wat goed is en hoe systemen werken, of je komt met een bepaalde ervaring met productinzicht en hoe iets zou moeten voelen. En je hebt een goed gevoel voor het moment dat je met het product aan de slag gaat. Als voorbeeld: we hebben in de afgelopen weken een toetsenbord gemaakt. Want als je, het is Met Nerds om Tafel toch? Als je op een iPhone of een iPad een terminal-app opent, dan gaat de autocorrect uit. En de autocorrect gaat uit omdat je anders…

[1:00:21] Felienne Hermans:
Ja, dat is logisch. Want dan tik je gcc in op je…

[1:00:23] Paul Veugen:
Exact.

[1:00:23] Felienne Hermans:
En dan zegt hij…

[1:00:25] Paul Veugen:
Als je commando's in een terminal moet invoeren, moet hij geen [autocorrect geven]. Maar als je met een agent in een terminal praat, wil je natuurlijk autocorrect hebben. [gok: Super irritant.]

[1:00:33] Felienne Hermans:
Soms wel, soms niet.

[1:00:34] Paul Veugen:
Ik krijg geen woord fatsoenlijk uit het toetsenbord van mijn iPhone als de autocorrect helemaal uitstaat. Want het gaat er ook om dat je mistypt. Dus je zit altijd met je vingers naast. [gok: Al helemaal op die iPad.]

[1:00:42] Felienne Hermans:
Hij doet onwijs veel heavy lifting. Want jij denkt: ik typ de goede letter, maar [gok: het komt erop neer dat] hij weet wat de goede letter is.

[1:00:48] Paul Veugen:
Je zit er volledig naast. Want dat zijn we dus gaan debuggen. Dus dan zie je de taps op toetsen en denk je: ja, dit lijkt niet eens… Ze zitten letterlijk op de volgende toets ernaast.

[1:00:58] Felienne Hermans:
Dat is echt zo'n AI-toepassing waarvan je nooit doorhebt dat hij er is, tot je hem uitzet.

[1:01:02] Paul Veugen:
En daarom is het ook een heel mooi voorbeeld van AI, waarbij we dus hebben: AI is slecht. Ja, weet je, zet hem uit. Je komt erachter. Dus ik ben hartstikke blij dat het aanstaat.

Nou, als voorbeeld: we wilden een toetsenbord maken waarmee je dus makkelijker autosuggest voor zoekfuncties in een app kan bouwen, maar ook toetsenborden voor terminal-apps. Want dat is een bouwblok, en je ziet dat terminal-apps steeds andere vormen krijgen en dus gaat het toetsenbord op je iPhone, op je iPad er anders uitzien. Dat is gewoon gebouwd in een week. Maar dan kom je dus erachter dat als je over een toetsenbord na gaat denken, deze keuzes allemaal productkeuzes worden. Dus hoe moet dat voelen? Wat is autocorrect? Willen we liever minder fouten in de tekst laten en vaker een woord fout hebben? Of wil je heel veel woorden sneller getypt hebben, zodat je ze niet helemaal typt? Dus een snellere suggestie. Want dan kun je een suggestie…

[1:01:54] Felienne Hermans:
Ja. Wat is erger, sloomheid of fouten? Dat ligt nog aan wat je aan het doen bent.

[1:01:58] Paul Veugen:
Ja. Nou ja, dan moet je nadenken. Oké, als ik hem beter maak: ik wil tweetalig, want Nederlands en Engels, dat is mijn dagelijkse schrijven. Dus ik wil niet van toetsenbord wisselen, ik wil het beste multilanguage-toetsenbord maken. Als ik dat doe, betekent dat dus dat mijn foutmarge in het Engels omhooggaat, als ik het beter maak voor Nederlands en Engels samen. En nou, weet je, we moeten wel meerdere talen toevoegen, want het moet ook in het Duits, en we willen eigenlijk ook alle Europese talen goed op dit toetsenbord krijgen. Want daar hebben we het multilanguage-probleem nog veel meer.

[1:02:30] Felienne Hermans:
En dan heb je het ook nog over andere alfabetten. In Europa heb je al Grieks of Cyrillisch.

[1:02:35] Paul Veugen:
Exact. En dan moet er een ander toetsenbord. Dus je bent in één keer bij duizenden productkeuzes aan het maken. En die productkeuzes zijn verweven met hoe een model, het onderliggende model, keuzes maakt over jouw typen. En dat betekent dus dat je op het moment dat je een model traint of met dit soort engineeringuitdagingen bezig bent, eigenlijk steeds meer productkeuzes aan het maken bent. En die productkeuzes worden verweven in onze AI-modellen. En dat hebben we helemaal niet in de gaten. Maar er zijn duizenden beslissingen die wij maken over een model, over de audio-enhancement van deze podcast. Ons audio-enhancementmodel is gemaakt om te klinken als een Shure SM7B, de iconische podcastmicrofoon.

[1:03:14] Randal Peelen:
De enige echte.

[1:03:15] Paul Veugen:
Het is extreem in de audio-enhancement, omdat we ervan uitgaan dat de meeste developers die dat implementeren het schuifje iets terug willen zetten of controle willen hebben over de intensiteit. Dus het model is iets overdone, zodat je hem terug kan trekken.

[1:03:30] Felienne Hermans:
Dat je het gevoel hebt van controle.

[1:03:32] Paul Veugen:
Ja, maar ook gewoon een uitkomst kan vinden die goed bij jou past. In sommige gevallen wil je hem heel zwaar aanzetten.

[1:03:38] Felienne Hermans:
Maar ik kan nooit meer dan…

[1:03:40] Paul Veugen:
Dan 100%, maar ik kan wel minder dan 100%. Dus daar zitten keuzes in dat model, waarbij we dus het geluidsprofiel aanpassen en de hoeveelheid achtergrondruisonderdrukking kunnen beïnvloeden. Het profiel van de microfoon, en vervolgens hoe snel het het beste verwerkt kan worden op een iPhone of op een iPad. Dus de vorm van het model heeft dan ook nog eens… Daar zitten ook keuzes in. Hoe groot mag het zijn?

[1:04:08] Felienne Hermans:
En hoe lang mag het duren voordat het klaar is? Een minuut is misschien oké. Vijf minuten, dat begint al lang te duren.

[1:04:15] Paul Veugen:
Ja. Dus mijn teamgenoten, mijn collega's, zijn met name met dat soort keuzes heel veel bezig. En de rest van het productiewerk is vooral review en oversight.

[1:04:25] Felienne Hermans:
Dus zou je dan ook zeggen dat je programmeurs nu meer met de gebruiker bezig zijn, meer aan de UX-kant, en meer testen dan vroeger, omdat ze niet meer zoveel tijd kwijt zijn aan…

[1:04:34] Paul Veugen:
Ja, of met de automatisering, of met het productieproces optimaliseren, of met het meten van de uitkomsten. Dus dat het eigenlijk heel erg een testgedreven ontwikkeling is, steeds. We hadden heel weinig testcases in onze app. We testen heel weinig, omdat het heel moeilijk is om te testen met een video-app. Dan heb je met camera's en videostreams en noem maar op. Dus je kan wel een flink aantal dingen testen. En wat gebeurt er als een externe camera…? Heb ik dan in mijn kast een telefoon staan met een externe camera? Vroeger niet, nu wel. Dus om onze modellen te testen hebben we nu, als voorbeeld, in de orde van grootte iets van zeven, acht pc's, verschillende modellen. Dus van MacBooks tot Linux-pc's en Windows-laptops. En daar zitten gewoon allemaal apparaten ingeplugd, en daar gaan schermen aan en uit. En dat zijn agents die dus aan het testen zijn. Dus beneden in mijn kelder ligt een telefoon die unlocked is met een toetsenbord open, waar nu ons nieuwe toetsenbord gebenchmarkt wordt tegen het iOS-toetsenbord en vergeleken wordt op het aantal fouten. En dan zit mijn vrouw, die zegt: wat gebeurt er nou in de kelder? Ik hoor allemaal typgeluiden. Ja, dat is dan een toetsenbord.

[1:05:47] Randal Peelen:
Het is zo frustrerend dat het nodig is. Want Apple had hiervoor een toetsenbord dat de meeste mensen beter vonden dan wat ze nu in iOS hebben zitten.

[1:05:55] Paul Veugen:
Ja, maar het is ook personalisatie van een toetsenbord. Dus dit toetsenbord is goed voor… Apple maakt een toetsenbord wat voor 80 of 90 procent van de mensen goed is. Dat betekent dus dat er nog steeds 100 miljoen of 200 miljoen mensen zijn die andere gebruikerspatronen hebben, waar Apple zich helemaal niet druk om hoeft te maken. Want het moet werken voor het grote [publiek].

[1:06:17] Felienne Hermans:
Als je Nederlands of Engels en Arabisch door elkaar wil typen, wat heel veel tweetalige mensen doen: nou, vergeet ieder toetsenbord ooit.

[1:06:24] Paul Veugen:
Ja, en dan is het tweetalig. Maar misschien wil je de kleur van het toetsenbord wel graag een andere kleur. Of misschien die terminal-apps. Ja, dat is een vrij populaire categorie in de App Store, met waarschijnlijk in de orde van grootte 200 miljoen gebruikers. En al die terminal-apps hebben hetzelfde probleem, maar ze hebben niet allemaal de capaciteit om dat model from scratch heel goed te kunnen trainen.

[1:06:42] Felienne Hermans:
En ze hebben misschien ook niet allemaal dezelfde eisen aan de oplossing.

[1:06:44] Paul Veugen:
Exact, ja. Dus wij bouwen de bouwblokken voor al die apps om dat vervolgens makkelijker te kunnen implementeren. Makkelijker dan het zelf trainen from scratch.

[1:06:52] Randal Peelen:
Het is ingewikkeld. We hebben net trouwens per ongeluk zo'n beetje heel Felienne's boek opnieuw behandeld. Want jouw boek, Vierkante ogen, gaat over hoe programmeurs onze wereld zien en vormgeven.

[1:07:07] Paul Veugen:
Ja, is het in lijn met wat jij ervaren hebt?

[1:07:09] Felienne Hermans:
Nou, dus ik ben heel benieuwd. En ik denk dat het gewoon nog te vroeg is om daar iets over te zeggen. Gaan programmeurs nu meer aan dat testen en aan die UX doen, ja of nee? Ik vind dat een hele interessante vraag. Sommige mensen geloven in die belofte van: programmeren wordt geautomatiseerd, en dan hebben we meer tijd om naar de mensen te kijken.

[1:07:26] Randal Peelen:
Ja, maar je lost een bepaald probleem niet op. Het probleem dat je niet oplost, is dat die programmeurs een bepaald wereldbeeld hebben. Overwegend, wat was het, wiskundigen, ingenieurs of data-analisten.

[1:07:36] Felienne Hermans:
Ja, ze houden echt zelf van bouwen. Precies. Daarom heb ik ook vaak het voorbeeld van Arabisch. Minder vaak zijn ze misschien tweetalig, met ook twee talen met twee alfabetten. Dus dat zie je, dat dat minder snel getest wordt. Ik bedoel, ik heb daar zelf ook een Arabische collega voor nodig gehad, die jarenlang bleef zeuren waarom ons product het zo slecht deed, of überhaupt niet in het Arabisch werkte. Die heb je dan wel nodig.

[1:07:58] Randal Peelen:
Ik wil te veel tegelijk zeggen. Laatst op TikTok was iemand dus gaan reageren op jouw stelling, Felienne, dat Hedy ook Arabisch ging ondersteunen, dus die programmeertaal die je gemaakt hebt. En toen kwam er een discussie onder, waarin iemand een zin zei die ik dankzij andere feministische podcasts herkende. Die zei: maar dan leren ze toch gewoon ook Engels? En toen dacht ik: maar dat woord "gewoon" doet wel veel heavy lifting. Want wie bepaalt dat Engels de gewone taal is en de rest van de talen niet gewoon is? Maar ik had het net ook bij de…

[1:08:31] Paul Veugen:
Sorry. Denk je dan, Felienne, dat AI juist een equalizer is? Dus dat het meer gelijk krijgt, of juist minder?

[1:08:40] Felienne Hermans:
Ik hoop heel erg… Dus wat ik hoop, maar wat ik hoop en wat ik denk is niet hetzelfde. Maar ik hoop heel erg dat als programmeren geautomatiseerd gaat worden, op die manier die jij ook bijvoorbeeld beschrijft, dat er dan een nieuwe generatie programmeurs gaat komen die zegt: nou, het maakt niet zo uit wat er in die code staat. Wat wij heel goed kunnen, is dat domein begrijpen en rondlopen en vragen aan klanten wat ze willen. Dat hoop ik. En dat dan meer mensen die niet kunnen programmeren, maar die net zoals Randal daar omheen zitten, zeggen: we gaan ook software maken.

Maar dat zou dan ook wel een heel ander soort opleiding vergen. Want informaticaprogramma's, als je dat nu studeert op de universiteit, toen ik studeerde maar ook nog steeds: ja, dan krijg je zes databasevakken, vijf programmeervakken en dan krijg je misschien een heel klein beetje human-computer interaction. Dus als we die pijplijn met mensen naar buiten laten blijven gaan, ook in een nieuwe wereld als je het zo wil noemen, dan denk ik dat de kans dat het heel erg verandert heel klein is. Dat hoor ik jou ook een beetje zeggen.

Maar goed, alles wat jij zegt, kleur ik natuurlijk door mijn eigen ervaring. O, ze zijn bezig met meten en automatiseren en nieuwe technische dingen doen. Ik vind dat zelf ook meteen heel cool. Ik denk al: kan je het allemaal testen? Dus ik denk dat de kans groter is dat die ruimte die vrijkomt, gaat naar coole dingen doen die ze zelf cool vinden, zoals in de kelder een telefoon laten typen. En dat het minder snel zal gaan naar echt nog meer voor die gebruikers staan, omdat dat niet de vaardigheden zijn die we opleiden en waarderen. Maar misschien heb ik het wel fout, en dat hoop ik eigenlijk.

[1:10:03] Paul Veugen:
Ik denk dat je wel… Ik geloof wel in die… Ik geloof zeker dat een heel ander publiek onze producten gaat maken. Eigenlijk weer hetzelfde: je schuift, zeg maar, je schuift een deel omlaag naar de infrastructuur. En de manier waarop we met die infrastructuur bouwen, gaat anders worden. Mijn grootste angst zit veel meer in wie die infrastructuur ownt en wie daar de keuze over maakt. En ook, zeg maar, de keuzes rondom de modellen en de gevoeligheid van… Eigenlijk de kleur die ieder model krijgt. En dus uiteindelijk is een groot deel van die modellen… Als we angst hebben over beïnvloeding op social media, als voorbeeld, ja, dan moeten we echt heel bang zijn voor AI en de kleur van AI in dat opzicht.

[1:10:46] Felienne Hermans:
Ja, daar ging de vorige aflevering ook een beetje over.

[1:10:48] Paul Veugen:
En dat is niet helemaal zichtbaar in alles wat we doen. Dus ik noem maar iets. Ik zeg niet dat Opus politiek gekleurd is, maar de politieke kleur van een model zoals Opus, of het model van OpenAI, zie je niet terug in de bouwblokken van een gemiddelde app die je gemaakt hebt. Tenzij je daar expliciet keuzes in zou maken.

[1:11:12] Felienne Hermans:
Ja, dat ligt dus een beetje aan waar je de grens trekt van wat politieke kleur is. Als je zegt: het ondersteunen van alle natuurlijke talen die bestaan op de wereld, het is onze politieke visie om dat te doen. Van de meeste softwareproducten geldt dat niet per se, maar toevallig die van mij wel. Maar dat is een van onze uitgangspunten. En dat gaat ook weer ten koste van andere dingen. Als je dat ook meetelt bij politieke kleur, dan denk ik dat je dat zelfs in code zal zien. Vanwege dat project waar ik aan gewerkt heb, kan ik een klein beetje Arabisch. Dus heel vaak open ik software en dan ga ik even in het Arabisch wat letters typen en kijken of het werkt. Ja, werkt nooit. Dat is natuurlijk ook wel een politieke kleur.

[1:11:48] Paul Veugen:
Ja, is eigenlijk een extreem slecht voorbeeld. Dus eigenlijk is het juist heel erg gekleurd.

[1:11:54] Felienne Hermans:
Maar het is niet zo zichtbaar.

[1:11:55] Paul Veugen:
Je kan daar wel de controle over nemen. Alleen het probleem is de defaults op het moment dat je dus met het product aan de slag gaat. Als voorbeeld, zeg maar: toegankelijkheid is een andere.

[1:12:03] Felienne Hermans:
Ja, ja. Voor blinden en slechtzienden is dat ook altijd super slecht.

[1:12:06] Paul Veugen:
Ja, hoewel daar ook wel… Dus in theorie zijn er extreem goede kansen om eindelijk onze producten wel goed toegankelijk te maken. De standaard zal dat misschien niet direct zijn, maar met een klein beetje sturing, van je eigen vangrails eromheen, zou je dus heel makkelijk alle producten toegankelijker kunnen…

[1:12:29] Felienne Hermans:
Ja, als je eraan denkt van: ik moet altijd meeprompten. En maak het voor alle talen, en maak het toegankelijker, en zorg dat het met de screenreader werkt, bijvoorbeeld. Dat is ook iets wat heel vaak heel slecht getest wordt. Dus dat hoop ik dan wel. Maar ik ben er wel bang voor.

[1:12:41] Randal Peelen:
Want ik ben bang dat het toch uiteindelijk wel een soort ui gaat blijken te zijn. Helemaal in de kern zitten de programmeurs, en die werden toch al programmeur, die zouden altijd programmeur zijn geworden. Vlak daarbuiten zitten de mensen die doen hun best en die worden programmeur. Maar daar één ring buiten zitten de mensen zoals ik, de net-niet-programmeurs, die van: ik snap wel wat die programmeur aan het doen is, alleen ik kan het hem niet nadoen, omdat ik… Ik weet niet of het… Kijk, want het is niet de intelligentie. Het is het doorzettingsvermogen of de interesse, of ik vind het niet leuk. Het zit meer in dat soort dingen. En die net-niet-programmeurs, die kunnen helemaal los. Maar het probleem is: stiekem lijken die nog steeds wel een beetje op de programmeurs.

[1:13:19] Felienne Hermans:
Dus ik denk dat een hele hoop van het discours dat we nu horen, komt van programmeurs en van net-niet-programmeurs. En die zijn allemaal van: o, we gaan alles vibecoden, supercool. Ja, weet je, ik hoor jullie allemaal, want ik ben ook zo. Maar wij zijn misschien samen 5 of misschien 10% van de hele mensheid, als we het ruim rekenen. En daarbuiten zitten heel veel mensen die nooit iets maken.

[1:13:38] Randal Peelen:
Ik heb, ik heb ook die…

[1:13:39] Paul Veugen:
Ik denk dat er veel middelmatige programmeurs wegvallen. En als ik kijk naar mijn team, ook interviews de afgelopen week: heel veel mensen geïnterviewd voor commerciële rollen, en iedereen komt met voorbeelden en komt met bouwblokken en de voorbeelden voor onze modellen, als voorbeeld. Daar hadden we voorheen een team van programmeurs voor nodig. En als ik kijk naar de teamsamenstelling, dan is bij ons team [gok: we spreken over] 40%… Als ik alleen al kijk naar man-vrouw als verhouding, dan is in het technische team ongeveer 40% vrouw. Dat is wel echt super.

[1:14:13] Felienne Hermans:
60% man.

[1:14:15] Paul Veugen:
En dat, ja, dat is eigenlijk al heel erg, dat we dat moeten celebreren. Maar het is wel zo dat, als ik kijk naar waar de skills wegvallen, ik denk dat de kans groter is dat ik een veel diverser team kan bouwen en kan blijven bouwen dan vijf jaar geleden. En dus, als voorbeeld: de twee productdesigners in ons team, die dus verantwoordelijk zijn voor eigenlijk al het ontwerp van de applicatie, hoe het voelt en hoe het werkt, die denken door een feature heen. Die gaan schetsen, die gaan onderzoek doen, kijken naar de patronen van hoe onze gebruikers de app gebruiken. En die maakten dan een brief of een prototype wat naar de engineers ging. En die stoppen daar nu niet meer.

[1:15:00] Felienne Hermans:
Die kunnen zelf iets vibecoden en daar ook meer interactie mee hebben.

[1:15:04] Paul Veugen:
Ja, en dat is niet eens meer… Als je kijkt naar de kwaliteit van de output: omdat we werken in een bestaande codebase met twee of drie goede engineers in ons team, kunnen er eigenlijk vier, vijf andere mensen ook in die codebase prima werken, zonder dat het impact heeft op de kwaliteit van ons product.

[1:15:19] Felienne Hermans:
Ik ben allemaal heel hoopvol. Ik word helemaal happy hiervan. Ik hoop dat het bij alle bedrijven ook zo zal gaan. Meer diversiteit en meer aandacht voor inclusie.

[1:15:27] Randal Peelen:
We hebben meer van dit soort mensen nodig. Maar dat vind ik toch wel het benadrukken waard, ook wel vanuit Nederland. Omdat ik spreek wel mensen die dit ook vinden, en dan toch denken: ja, het zal toch uit Amerika moeten komen.

[1:15:43] Paul Veugen:
Die defaitistische mentaliteit over AI kan ik echt niet tegen.

[1:15:46] Felienne Hermans:
Ja, maar we gaan het toch nooit meer inhalen.

[1:15:48] Paul Veugen:
Als je dat zegt, hoe zie je dat dan? Oké, laten we die eens uitspelen dan. Hoe zie jij de wereld voor je, als dat het geval is? Dus als wij nu zeggen: we hoeven deze technologie… Ja, nee.

[1:15:57] Randal Peelen:
Het eerlijke antwoord is: je weet het niet. Want is Amerika over tien jaar nog onze bondgenoot? Nou ja.

[1:16:02] Paul Veugen:
Is het nu een bondgenoot dan?

[1:16:04] Randal Peelen:
Nee, daarom.

[1:16:05] Felienne Hermans:
Ik geloof niet dat onze overheid al zo ver is dat ze willen zeggen dat het geen bondgenoot meer is.

[1:16:09] Paul Veugen:
Ja, maar ik zie dat los van hoe politiek… En gelukkig is dan nu in de afgelopen week alles enigszins tijdelijk bijgetrokken. Maar het geeft wel gewoon aan hoe fragiel het is.

[1:16:20] Randal Peelen:
Het is in ieder geval niet onvoorwaardelijk, en het is zeker niet de wereld waarvan ik dacht dat ik…

[1:16:25] Paul Veugen:
En ik heb gewoon ervaren, ik heb bij Amerikaanse bedrijven gewerkt: we hebben een soort Calimero-complex ten opzichte van technologie. En we kijken naar bepaalde, ook met name, ondernemers in de VS die we dan tussen aanhalingstekens inspirerend zouden moeten vinden. Ja, ik zie dat gewoon niet.

[1:16:45] Randal Peelen:
Nou, en dan, weet je, dan heb je een ondernemer in Nederland die het goed doet, en dan gaan we er een boek over schrijven. En dan, de talkshows die ik erover hoor, gaat het over wat een klootzak dat wel niet is. En dan denk ik: ja, maar ik heb driekwart van het boek vooral gelezen over dat bedrijf dat daar is gebouwd en wat daar is vernieuwd in de markt. En dat is in die talkshows onderbelicht, vind ik. Ik zeg helemaal niet dat hij geen klootzak is. Ik zeg alleen dat het wel heel veel is.

[1:17:16] Paul Veugen:
Ik vind het ook niet zo heel [gok: erg], om heel eerlijk te zijn. Niet zo heel… Ja, en dat klinkt, ja, weet je… Het overgrote deel… En ik ken, want dit gaat over Ali, ik ken Ali Niknam niet persoonlijk. Ik vind het gewoon…

[1:17:31] Randal Peelen:
Ik heb hem wel een paar keer geïnterviewd.

[1:17:32] Paul Veugen:
Ik zou heel graag gewoon een keer een kop koffie met hem drinken. Ik ben super benieuwd naar de man achter wat hij bouwt. En ja, dat is iemand die ik minstens zo inspirerend vind, als je het hebt over inspirerende mensen, gewoon qua wat hij gebouwd heeft. In ieder geval: de dingen die hij bouwt heel inspirerend vinden, betekent niet dat ik bij Ali zou willen werken of moeten werken. En dat is aan ieder voor zich. En ik denk uiteindelijk, zeg maar, is het heel makkelijk om de negatieve kanten daarvan te belichten. Ik ga ervan uit dat de journalisten extreem zorgvuldig te werk zijn gegaan en goed onderzoek hebben verricht, en dat er een grote kern van waarheid in dat boek zit.

[1:18:08] Randal Peelen:
Die journalisten heb ik ook een paar keer geïnterviewd, en die hebben in ieder geval stinkend hun best gedaan.

[1:18:14] Paul Veugen:
Ja, dus ik geloof ook allemaal in prima intenties. Ik vind het gewoon alleen niet zo boeiend. Ik vind het gewoon niet zo relevant.

[1:18:19] Randal Peelen:
Nee, maar het gaat mij om waar wij Nederlanders, en dan spreek ik even voor ons, de nadruk op leggen. En dat is bij ASML ook zo. Want dan heb je het belangrijkste bedrijf op aarde toch hier in je dorpje. Maar dan is dat… Dan hebben we het altijd over een dorpje in Brabant. Het is nooit hier in Nederland. Het is daar in Brabant.

[1:18:37] Felienne Hermans:
Hier in Amsterdam.

[1:18:38] Randal Peelen:
En ook van: nee, maar dat is een… Ja, in Nederland zeggen we geen zwarte zwaan, dan is het weer dat Amerikaanse black swan event. Ja, maar dat is een soort fluke, dat kwam toen in de nineties, met heel veel mazzel. Nu kan dat niet zomaar meer, want toen was er nog investeringskapitaal. Dat is gelul, want het bedrijf was dertig keer failliet voordat het ooit een succes boekte. Maar die mentaliteit is er niet. En het erge is: ik heb hem ook niet. Dus ik ga geen…

[1:19:08] Paul Veugen:
Jij zat net op de bank te juichen omdat wij in de keynote zaten.

[1:19:11] Randal Peelen:
Ik was helemaal blij.

[1:19:13] Paul Veugen:
En een soort van: oh yes.

[1:19:14] Randal Peelen:
Ik heb mijn hele leven lang altijd bij underdogs gewerkt en de lol gehaald uit het opnemen tegen de gevestigde orde. Maar ik heb nog nooit gefantaseerd over een nieuwe branche ontketenen, of een product dat revolutionair… Nee, ik wil gewoon iemand anders het voer van het bord vreten.

[1:19:35] Paul Veugen:
Dat is precies wat wij proberen te doen met onze modellen.

[1:19:39] Felienne Hermans:
Ja, maar dat is toch ook wel… Jullie doen wel iets wat ik heel nieuw vind.

[1:19:42] Paul Veugen:
Ja, maar ik probeer wel te concurreren met OpenAI en Anthropic.

[1:19:44] Felienne Hermans:
Ja, maar dat is ook slim.

[1:19:45] Paul Veugen:
Want dat is een hele grote markt. Ik wil gewoon uiteindelijk laten zien dat je vanuit Europa prima kan concurreren met OpenAI en Anthropic. Dat geen van mijn teamgenoten, en de mensen die hopelijk straks met ons willen werken, onder hoeven te doen voor hun Amerikaanse counterparts. En dat, zeg maar, het talent er is, dat ook de wil er is om dit soort dingen te bouwen.

[1:20:07] Randal Peelen:
Zij hebben straks miljarden schuld. Jij hopelijk niet.

[1:20:11] Felienne Hermans:
Als de bubbel nog barst. Maar uiteindelijk: echt een fascinerend voorbeeld. Ik sta een beetje bekend als een AI-hater, en van alles wat AI is vind ik stom. Dat is niet helemaal terecht, ook al denk ik dat ik zo bekend sta.

[1:20:23] Randal Peelen:
Nee, nee.

[1:20:23] Felienne Hermans:
Maar dus dit is exact het soort AI die we nodig hebben, denk ik. Kleine, precieze modellen die niet enorm veel stroom en water kosten, die niet heel veel nieuwe datacenters nodig hebben, die gewoon draaien op devices die je al hebt, die niet nog meer geld en macht naar grote Amerikaanse techbedrijven steken, en die ook nog een probleem oplossen. Als we kunnen zeggen dat podcasten een probleem is, laten we dat dan maar even zeggen. Die een probleem oplossen wat mensen hebben: mensen willen iets maken, mensen willen creatief zijn, en hebben de stoffen die dat beter doet. Ja, alles is hier goed, en dan is het ook nog AI. Je kan dit eruit knippen en op TikTok zetten.

[1:20:55] Randal Peelen:
De Randal in mij zou liever nog wat kwartjes uitdelen en jullie beiden nog uren aan het praten zetten.

[1:21:01] Felienne Hermans:
Echt hè?

[1:21:01] Randal Peelen:
Maar de podcasthost aan tafel...

[1:21:03] Paul Veugen:
Jij moest tot twaalf uur door.

[1:21:05] Felienne Hermans:
Ja, precies. Jij moet echt om twaalf uur vannacht nog een andere afspraak.

[1:21:09] Randal Peelen:
Maar als jullie geen van beiden snel naar huis moeten, dan wil ik nog drie dingen doen: tips geven, vragen van luisteraars en een stukje bonus.

[1:21:17] Felienne Hermans:
Laten we dat doen.

[1:21:18] Randal Peelen:
Maar eerst een vraag van een luisteraar, en dan begin ik bij Felienne. Rob G: wat gaat Felienne tijdens deze podcast breien? Nou, dat je hebt zitten breien, heb ik heel goed kunnen zien.

[1:21:33] Felienne Hermans:
Het is bijna af. Het is dezelfde trui als de vorige keer. Nu ben ik aan de tweede mouw bezig, dus hij is wel echt bijna af. Goed voor de winter, zo'n lekker warme trui. We zijn er bijna.

[1:21:43] Paul Veugen:
Ik wou net zeggen: we moeten niet veel langer doorgaan, want dan is de ene mouw veel langer dan de andere.

[1:21:47] Felienne Hermans:
Ja, hij is nu wel bijna af.

[1:21:48] Randal Peelen:
Het stomme is ook dat, zeg maar, ik betrap mezelf op de gedachte: hoezo ga je zitten breien tijdens een podcast? Maar die gedachte duurt ongeveer een halve seconde, omdat ik inmiddels sterf van jaloezie. Omdat ik, net als Jurian... we zitten hier samen knetterdikke ADHD'ers te zijn, die echt met moeite twee uur zo stilzitten. En dan heeft hij zelfs af en toe zijn fidget toys bij zich, en ik zit met mijn ring te klooien. En het is ongelooflijk frustrerend om stil te moeten zitten en dat eigenlijk niet te kunnen. En ja, hier doe je niemand kwaad mee. Het ziet er ontzettend cool uit.

[1:22:22] Felienne Hermans:
En je bent de hele tijd bezig, en je hebt dan weer lekker warme vibes erin.

[1:22:26] Randal Peelen:
Ik denk alleen wel: als je met z'n drieën aan het breien bent, dan is het weer een andere vibe. Daar ben ik wel benieuwd naar.

[1:22:32] Felienne Hermans:
Maar dat weten we eigenlijk alleen zeker als we dat een keer uitproberen. We moeten een keer een aflevering over breien maken, en dan leer ik het jullie van tevoren, en dan gaan we het alleen daarover hebben, en dan kunnen jullie ook breien.

[1:22:43] Randal Peelen:
Voelt alsof ik het best kan beginnen met een sjaal.

[1:22:44] Paul Veugen:
Of je begint met punniken.

[1:22:46] Felienne Hermans:
Een pannenlapje of zo. Een sjaal is al best wel lang, als je een serieuze sjaal maakt. Je moet beter pannenlapjes maken.

[1:22:54] Paul Veugen:
Dan moet je doorzettingsvermogen hebben.

[1:22:58] Randal Peelen:
Nou, ik zou het wel bij online calls... Dan moet ik onder mijn bureau iets hebben wat ik kan doen. Ik zit zo'n puzzel te maken, weet je wel, van die doolhofjes die in zo'n koker zitten, dat soort dingen.

[1:23:10] Felienne Hermans:
Ja, in de coronatijd heb ik ook zoveel gedaan in online meetings.

[1:23:14] Randal Peelen:
En aan Paul, van mijn grote vriend Ivo: waar kan ik solliciteren?

[1:23:20] Paul Veugen:
Op desertant.com/jobs.

[1:23:23] Randal Peelen:
En dan moet ik even bijzeggen: ik had jou aangekondigd in de Slack waar wij onze community met meer dan 2600 nerds hebben. Toen heb ik jou aangekondigd, hij had er nog nooit van gehoord, en deze vraag kwam echt al binnen vijf minuten.

[1:23:40] Paul Veugen:
Cool.

[1:23:41] Randal Peelen:
En ik heb hem dit weekend gesproken, want dank gaat uit naar Ivo. Wij hebben, samen met nog een paar andere mensen, dus die AI-server die ik zelf heb, waarbij wij 128 gigabyte VRAM bij elkaar hebben gesprokkeld. Wat, zeg maar, op het AI-wereldtoneel niks is, maar voor één bakkie van een stel hobbynerds is dat heel veel. En hij heeft mij geholpen wat oude servers uit het rek te tillen, want die hingen heel hoog, en dan als je dat in je eentje moet doen... Toen heeft hij me verteld dat hij al gesolliciteerd had.

[1:24:16] Paul Veugen:
Ik hoop dat we hem nog niet afgewezen hebben dan. Sorry, Ivo.

[1:24:20] Randal Peelen:
Je mag hem natuurlijk wel afwijzen, maar...

[1:24:21] Paul Veugen:
En anders gaat hij door de pipeline.

[1:24:23] Randal Peelen:
Hij zit nu bij een werkgever waar hij heel graag weg wil. Dus buitenkansje, zou ik zeggen, als Ivo.

[1:24:29] Paul Veugen:
Nee, we zijn ook onze eigen infrastructuur aan het bouwen. We gaan onze eigen trainingsfaciliteit bouwen, dus ook eigen racks. Ook om onafhankelijk te kunnen zijn van anderen. We gaan ervan uit dat misschien de toegang tot de modellen die we gebruiken om te trainen ook niet vanzelfsprekend is. En dat we misschien niet alle modellen die we trainen willen trainen met publieke modellen, of met modellen van Amerikaanse concurrenten.

[1:24:52] Randal Peelen:
Ivo is meer programmeur dan AI-bouwer, maar hij heeft heel wat servers beheerd, kan ik je vertellen. Je weet maar nooit. Zou zo leuk zijn.

Stefan de Groot, laatste vraag. En dit is een schot in de roos voor het Venn-diagram: dingen waar nerds van houden. Wanneer kunnen we een lokale AI voor Home Assistant verwachten? Ik wil mijn thermostaat in de gaten.

[1:25:14] Paul Veugen:
Wij zijn bezig met twee modellen op dit moment, letterlijk op dit moment. Een wakewordmodel: een model wat je stem herkent, dus een stem herkent met een bepaald woord. Zoals Alexa. Alexa, exact. Dan heel nauwkeurig, heel snel, low... want dat moet heel erg efficiënt zijn, dat moet constant draaien. En we zijn bezig met een model wat heel goed commando's uit kan voeren op basis van een stem. Dus eigenlijk een heel erg simpel model, wat extreem snel en efficiënt is, waarmee commando's uit een tekst gehaald kunnen worden. En dat zou de basis zijn van een voice assistant.

[1:25:56] Randal Peelen:
Model moet je Labrador noemen of zo.

[1:25:59] Paul Veugen:
Deze heet volgens mij Nop.

[1:26:04] Randal Peelen:
Nop.

[1:26:05] Paul Veugen:
Ja. En de andere heeft nog geen naam. Dus we proberen allemaal hele korte, gevatte namen te verzinnen.

[1:26:12] Randal Peelen:
Ik wil nog even iedereen een kans geven om de luisteraars met tips achter te laten.

[1:26:17] Felienne Hermans:
Nou, ik moest wel aan een tip denken. Ik gebruik sinds kort een tooltje dat heet Alfred. Kennen jullie dat, op macOS? Oh man, ik ben veel productiever geworden. Alfred is een soort AutoHotkey voor Windows, als mensen dat kennen. Je kunt dus snel toetsen inprogrammeren die dan voor al je apps die je gebruikt gelden. Dus bijvoorbeeld als je heel vaak een bepaalde URL nodig hebt: ik had heel lang de afgelopen weken dat ik mensen een linkje voor mijn boekpresentatie wilde mailen. Had ik die onder BP gezet. Dus typ je BP, hop, komt het op. Of als je heel vaak mensen dezelfde soort mail stuurt: heel vaak mailen studenten mij met "waar vind ik het rooster?" Nou, dan kan ik gewoon RR of zo programmeren. Dan doe ik zo RR en hoppakee, alle linkjes en alles bij elkaar. Dat is zo superhandig dat ik echt denk van: oh ja, dit is een computer naar je hand zetten en gebruiken.

En zeker omdat het dan dus op alle verschillende apps werkt. Het maakt dan niet uit of je in Outlook zit of in Word, of in sommige gevallen sturen studenten me een WhatsAppje of een Signal-berichtje. En dan heb ik het de hele tijd klaarstaan. En dan ben je dus één keer een middagje bezig van: oké, wat voor dingen doe ik heel vaak? Wat voor informatie zoek ik vaak?

[1:27:23] Randal Peelen:
Kijk, dat middagje bezig zijn, dat wil ik niet doen.

[1:27:27] Felienne Hermans:
Maar als je dit eenmaal ingesteld hebt, het is echt geniaal.

[1:27:30] Paul Veugen:
Ik doe hetzelfde met keyboard shortcuts op iPhone en Mac, en die zijn gesynct. Dus als je alleen maar Apple-producten gebruikt, of een iPhone en een MacBook, en je stelt het toetsenbord... hoe noemen ze dat, tekstvervanging. En in het Engels is het shortcut, like replacement.

[1:27:49] Felienne Hermans:
Ja, dat is een beetje hetzelfde wat Alfred heeft.

[1:27:52] Paul Veugen:
Dus ik heb punt-afkorting-punt. Dus dat typ ik heel snel, en dat typ ik op mijn toetsenbord voor mijn IBAN van mijn bankrekening.

[1:28:01] Felienne Hermans:
Allemaal dingen kun je zo. Dat kun je ook heel snel. Adres...

[1:28:04] Paul Veugen:
E-mailadres doe ik mijn eerste letter, at, en dan de naam van het e-mailadres. Dus afhankelijk van welk e-mailadres ik wil typen, dus p@p als voorbeeld, en dan wordt het gelijk vervangen door het hele e-mailadres.

[1:28:16] Felienne Hermans:
Je KVK-nummer, je btw-nummer, alles zit erin. Nooit meer opzoeken.

[1:28:22] Paul Veugen:
En dat heb je echt heel snel opgezet, want je kan het dus op je laptop opzetten in plaats van op je telefoon. Want op je telefoon ga je de meeste tijd besparen.

[1:28:29] Randal Peelen:
Fuck my life, dat ik hier nu pas aan denk. Het is net zoals de dag dat ik ontdekte dat ik een muis had, in mijn geval linkshandig, met meerdere knoppen bij mijn duim. Dan denk ik: daar kan ik copy-paste van maken. Ik heb uren van mijn leven teruggekregen door te copy-pasten met mijn muis. Ja, dat is echt fantastisch.

[1:28:49] Paul Veugen:
Ik heb nog een andere: voor mij draait niks meer op mijn laptop. Dus ik draai alles remote.

[1:28:55] Felienne Hermans:
In de Amerikaanse AWS-cloud?

[1:28:57] Paul Veugen:
Nee, letterlijk in de kelder.

[1:28:58] Felienne Hermans:
In de kelder.

[1:28:59] Paul Veugen:
Dus ik heb een computer in de kelder staan. Het hoeft niet eens een snelle computer te zijn, maar gewoon een oude laptop of een oude Mac. In mijn geval een iets snellere Mac. Maar dus ik heb mijn standaardapparaat wat ik gebruik voor mijn dagelijkse werk; de meest krachtige staat gewoon in de kelder zonder scherm. En dat betekent dus dat alles wat ik met AI doe, draait op die computer, en die heeft een telefoon aangesloten om dus dingen te kunnen testen. Dus in mijn geval, als we dingen bouwen, dan draait dat eigenlijk gewoon permanent door, 24 uur per dag. En als ik mijn laptop dichtklap, draait alles door. Dus voor mij: zes maanden geleden heb ik die switch gemaakt, en ik draai alles remote.

[1:29:39] Randal Peelen:
Maar is dat dan ook een remote-desktopomgeving?

[1:29:42] Paul Veugen:
Daar log ik af en toe op in, maar dus ik ben wel... ik noem maar iets: als ik e-mail stuur, doe ik dat lokaal natuurlijk. Maar alles wat iets met een AI-model te maken heeft, draait gewoon op die computer. En dan is het met Claude Remote Desktop of Remote Control. Kun je dus op je telefoon, op je andere laptop of op een andere machine gewoon inloggen op dezelfde instance. Dus ik zit op de bank en ik krijg een notificatie dat er een model klaar is. Ik kijk naar de resultaten en vervolgens zet ik hem weer aan het werk. En bijna alles wat we doen is vervangen van prompten naar langlopende taken. Dus over het algemeen is het merendeel van de taken die we aansturen 24 uur, zeven dagen soms, waarbij we een instructieset geven, en dat geeft eigenlijk een trigger voor een hele sequentie van acties, waarbij de modellen eigenlijk door blijven gaan totdat ze het resultaat krijgen waar wij om vragen.

[1:30:39] Felienne Hermans:
En dan laten ze weer van zich horen.

[1:30:40] Paul Veugen:
En dan laten ze weer van zich horen. Dus alles wat ze nodig hebben om te kunnen valideren, is aangesloten, daar hebben ze beschikking over. Dus bijvoorbeeld de telefoon aangesloten: als je het hebt over een model trainen voor een telefoon, dan betekent dat dus dat die telefoon ingeplugd zit in die computer en dat ze daar gewoon unlocked mee kunnen testen. En er staat verder niks op. Dus we zijn eigenlijk steeds meer dingen aan het doen waarbij we volledig uit de loop zijn. Dat is wel echt een hele grote stap ten opzichte van een half jaar geleden.

[1:31:10] Randal Peelen:
Tot zover deze aflevering van Met Nerds om Tafel. Felienne Hermans, dankjewel.

[1:31:15] Felienne Hermans:
Graag gedaan, was leuk.

[1:31:16] Randal Peelen:
Paul Veugen, jij ook hartelijk dank.

[1:31:17] Paul Veugen:
Thanks.

[1:31:18] Randal Peelen:
Luisteraars kunnen vriend van de show worden, en voor nu: hartelijk dank voor het luisteren en tot de volgende keer.