439 – Pairprogrammeren met AI kun je leren

Randal Peelen:
[0:00] In deze aflevering hoor je alles over de zin en onzin van programmeren met AI, hoe het werk van programmeurs daardoor gaat veranderen en hoe Mark Vlatter bijna een ZEL-race won, omdat hij snel even een Zel-app. Hat gewicht. Welkom bij MetNerds om tafel. We praten vandaag met Jurene Bachs en Arnoud Wokker. Mijn naam is Randal Peelen en onze gastneurd van vandaag is Mark Vetter. Ja, dit is even Wennen. Dat snap ik. Maar deze week is anders. We hebben een speciale extra aflevering gemaakt. Die hebben de mensen waarschijnlijk al gehoord. En zo niet, dan zou ik. Zeg, doe die lekker hierna. Mag ook. Maar Arnoud is deze week eventjes onze co-host. Weet je, die band gaat zo ver terug en is zo innig. Ik denk dat jij je als een vis in het water voelt in ons format. Jij zat hier al voordat weekers podcast überhaupt begon.

Mark Vletter:
[1:01] En je betaalt ook dik, dat speelt ook gewoon weg. Precies. Ik zit gewoon met een OG tweakerscrew aan tafel hier. Nogal?

Randal Peelen:
[1:08] Dat was bij de start van Met Nood om tafel ook al aan de gang. Vijf oprichters van deze podcast waren collega's op een goed moment.

Arnoud Wokke:
[1:15] En introduceer onze gast even aan.

Randal Peelen:
[1:17] We hebben bijna de tijd. Mark Vletter kunnen jullie als luisteraar ook kennen, want hij zat hier eerder aan tafel. Hij is oprichter van zakelijke telecomprovider Voice. En dat schrijf je met W-O-Y-S, want waarom niet? Met als belangrijks wapenfeit dat hij zijn bedrijf heeft teruggegeven aan datzelfde bedrijf, en dus ook de medewerkers, dat noem je steward ownership. Maar hij heeft ook een nieuwsbrief en daar trekt hij de laatste tijd nogal van leer over het programmeren met AI. Nou, dat is zo hip. Als je nu een podcast maakt die ook iets met tech te maken heeft, dan moet je aflevering op rij alleen maar over AI praten. Jurian die merkte dat slim op. Ik zei, ja dat is nou één keer de wet. Het is zo hip. Praten we niet te vaak over AI.

Jurian Ubachs:
[1:57] En toen ben ik even in de archieven gedoken. Een beetje kunstmatig. Kunstmatig. Het viel wel mee op zich. Ik word natuurlijk. In die zin, bij mij is, het is niet helemaal eerlijk, want mijn gevoel wordt natuurlijk ook beïnvloed door de Tekus podcast. En daar praat natuurlijk ook regelmatig over AI. Dus voor mij is het een dubbele dosis dan.

Randal Peelen:
[2:14] Misschien dat het daarom komt dat ik denk. Ik kan je wel vertellen, ik keek, er waren erna drie op rij, maar. De maanden daarvoor niet. En hierna ook weer een heel aantal afleveringen niet.

Mark Vletter:
[2:24] Want ik vind het echt een zwaar overhypt onderwerp, als ik heel eerlijk ben. Ik vind LLM's ook erduidige volwassen van. Daar ben ik daar heb ik ook 5000 euro aan gewaaid. 5000 woorden aan gewaaid. Dat ik het echt een absolute peak hype cycle ding vind. Dus fijn dat er ook ruimte is voor andere onderwerpen. Want je wordt er op LinkedIn helemaal meer plat gegooid. Iedereen heeft er verstand van in één keer.

Jurian Ubachs:
[2:44] Het probleem is dat al die andere onderwerpen slangs ook iets proberen met AI, want dat moet nou eenmaal.

Arnoud Wokke:
[2:49] Dan gaan we het over iets heel anders hebben. Zeilen.

Jurian Ubachs:
[2:51] Zeilen is een mooi onderwerp.

Randal Peelen:
[2:53] Daar gaan we het ook over hebben vanavond. Mark, welkom terug en bedankt voor je komst uit het verre Groningen. Je hebt vier blogs geschreven. En je heb je wel wat gepekelde titels gegeven. Zoals Wat was het? Hoe AI development kosten met 2900% verlaagd. Dat is natuurlijk. Flink. Klikbaet Alamax. Wat ik er ook bij vermeld, dit is een clickbait titel, maar wel een goed verhaal. Laten we eens beginnen bij je algemene verhaal. Want ik denk niet dat alle luisteraars zich Voice kunnen herkennen. Hoe ben je dat begonnen? Want volgens mij programmeerde je toen zelf ook nog. Ik heb bedrijfskundige informatica gestudeerd.

Mark Vletter:
[3:30] Daar leer je programmeren. Ik heb dat ook altijd leuk gevonden. Ik heb vanaf mijn. Je krijgt op een gegeven moment een 8086, je vader krijgt een 8086, want die koopt hij met een PC-privé-project. Ja, ik ben van die generatie. Dat is de eerste computer. Dit klinkt allemaal enorm herkenbaar.

Randal Peelen:
[3:44] Mijn papa ook.

Mark Vletter:
[3:46] En vervolgens leer je daar je eerste badvaaltjes mee schrijven. Want dan kun je namelijk grafische dingetjes wisselen of snel applicaties starten. Spelletjes, leespelletjes. En daar begon het een beetje mee. 20 MB harde schijf ging je nooit vol krijgen was het idee. Nou, dat lukte uiteindelijk toch. En op een gegeven moment ben ik inderdaad begonnen met programmeren en dat begon met assembly. Want dat kregen wij nog op de MTS. Die Hard motherfucker. Ja, daar heb ik een dialer mee gebouwd. Best wel toepasselijk als je later een telecombedrijf begint. En vervolgens Visual Basic for Applications. Daar begonnen heb ik ook een bedrijfje in gehad die bouwde allemaal schablonen en templates voor bedrijven. En toen we uiteindelijk Voice begonnen, heb ik niks aan de hoofdprogrammatuur gedaan. Maar bijvoorbeeld de billing applicatie, die schreef ik zelf. En hoe het CRM-pakket met WordPrat, zodat alles automatisch werd ingevuld en we heel snel vetes konden maken. Dat had ik allemaal zelf gebouwd. Ik heb zelf op een gegeven moment de database geüpdate en leeg gegooid, dat soort dingen. Ja, was er super goed in. En op een gegeven moment waren mijn collega's er klaar mee en die zeiden van die hadden een aparte Mark Slow query killer als ik weer iets uit de database probeerde te halen aan managementinformatie. En als die dan meer dan twee seconden duurde, dan werd die automatisch afgesloten. Omdat anders het platform dat toen de tijd niet aankom. Toen het op dat niveau zat, toen hebben ze gezegd van als jij nog geen code meer schrijft, dan zijn we allemaal een stuk gerust gesteld. Dus ik had tien jaar geen code geschreven.

Randal Peelen:
[5:14] Maar ik snap dat je moest stoppen met code schrijven. Heb je daar wel. Ik bedoel, dit is wel hoe je een bedrijfje begint, toch? Eerst maak je het even heel lompen en als het werkt, dan kun je het daarna nog altijd beter maken.

Mark Vletter:
[5:23] Ja, klopt. En het is heel fijn ook. Dat je weet hoe het is om code te schrijven. En dat je weet wat de complexiteit ervan is. En dat je ook weet, als ik het zo vraag is het eenvoudig. Maar als ik het zo vraag is het heel moeilijk. Dus in het begin kwam ik ook met een speksdocument, ging ik naast Pascal zitten. Die werkte nog steeds bij ons. En dan zei ik tegen Pascal van, joh, dit wil ik hebben, hoeveel uur? Dan gaf hij een aantal Pascal uurtjes af. En dan deed ik dat maar anderhalf en dan wist ik dan, dan is het ongeveer zoveel uur. En zo kon ik ook een beetje features moddelen hoe belangrijk zijn ze dan ten opzichte van andere features. Dus zo is het ooit begonnen. En dat werd steeds professioneler. Als je ook kijkt wat voor platformen we nu hebben, we hebben de hoogste optime in de sector al jaren op rij. Super tof om te zien, want je monitort elkaar natuurlijk. En als ik kijk ook hoe het infraplatform nu in elkaar zit en hoe we microservices deployen. Dan denk ik van tering, wat hebben die jongens fantastisch werk geleefd en wat staat er een fantastisch platform? Op een gegeven moment, hoeveel servers draaien we tegenwoordig? Gewoon meer dan 400. En dat draait ons platform. Het is ook niet gek. We verwerken echt kwart miljard gesprekken per jaren of een minuten per jaar volgens mij. Het is ook echt wel significant verkeer. En we hebben daar 33. 000 bedrijven op zitten. Van de gemeente Groningen tot ACT. Dus het is een heel breed ook genium aan klanten.

Arnoud Wokke:
[6:38] Mag ik even iets vragen namens alle luisteraars die aan de randen van het land wonen? Want rand al zei het verre Groningen. Nu heb ik zelf in het noorden gewoond. En daar had ik altijd een hekel aan dit soort bewoordingen. Want de afstand van Amsterdam naar Groningen is verder dan van Groningen naar Amsterdam. Hoe ervaar jij dat? En beïnvloedt dat hoe je je bedrijf opzet of hoe je mensen kan vinden?

Mark Vletter:
[7:01] Het is een hele terechte opmerking die je maakt. Ik had het net bijna zelf gezegd.

Jurian Ubachs:
[7:08] Een soort gelijk gesprek, inderdaad, net gehad.

Mark Vletter:
[7:12] Ze zeggen ook altijd de Groningse Telecomprovider. Dan denk ik van.

Jurian Ubachs:
[7:15] Ik vind het mooi dat je weet waar Groningen ligt, maar het is toch op een bepaalde manier onderdeel van je van je ID, van je DNA. Het is ook wel mooi, zoals Philips een Amsterdams bedrijf is. Ja, duidelijk.

Mark Vletter:
[7:26] Heel erg.

Jurian Ubachs:
[7:27] Nee, sorry grapje.

Mark Vletter:
[7:28] Nee, maar wat je heel duidelijk ziet is dat Groningen een bepaalde reputatie heeft. En die reputatie is, je maakt een afspraak en die kom je na en wordt hard gewerkt. En die reputatie is heel terecht. En dat vind ik ook helemaal niet erg. Het feit dat we in Groningen zaten, heeft wel zeker geholpen. Want de talentpool in Groningen is gigantisch. Groningen is het opleidingsinstituut van Nederland. Met Enderug en de het UMCG en De Hanzen. Dat zijn gewoon enorme instellingen waar die stad is niet voor niks de jongste stad van Nederland. Daar trekt heel studerend Nederland naartoe. En wij hebben daar toch een beetje first pick. Ze hebben het vaak over de braindrain van Groningen. Dus dat er ook weer heel veel talent weggaat. Maar je ziet in onderzoek ook terug dat de slimste mensen vaak wel blijven hangen.

Jurian Ubachs:
[8:16] Dus een luxe. Want in principe zouden mensen die daar een aantal jaar begoon voor een studie daar best graag willen blijven wonen. Alleen ik ga er een beetje vanuit dat. er niet voldoende aanbod is voor hen op de arbeidsmarkt. Nee, maar ik bedoel voor hun competenties denk ik dat ze ook wel vaak moeten uitwijken naar meer dichter bij de randstad om gewoon überhaupt werk te vinden in die sector.

Mark Vletter:
[8:35] Nee, dat is helemaal niet het geval. Groningen heeft een hele sterke tech zien, sowieso. Waar komt die brain dan vandaan? Het komt gewoon dat er heel veel mensen naar Groningen toe komen en dus ook weer heel veel mensen weggaan. Dus mensen hebben daarmee het idee van.

Jurian Ubachs:
[8:47] Het is eigenlijk nooit van plan waarom überhaupt te blijven?

Mark Vletter:
[8:49] Nee, ook wel uit het buitenland komen. We hebben natuurlijk ook onze stad verengels, wat dat betreft, enorm. En wat je wel erg ziet is dat vanuit de provincie steeds meer mensen naar de stad toe trekt. De braindrain zit rondom zo'n stad. Klopt. En wat je ziet is dat die stad dus ook groeit. Die groeit, meen ik 3% per jaar. Nou ga er maar eens tegen bouwen als je een kwart miljoen inwoners hebt. Dat gaat om je flink voor aan de bak. Dus dat is ook een eeuwig probleem. Ook voor studenten met huisvesting. Dat is altijd een enorme discussie. Maar dit is denk ik voor iedere student is dat wel.

Randal Peelen:
[9:22] Ik vind het wel een leuk oud stapje van je Arnoud. Dankjewel. Het voelde de neiging om het te verdedigen, maar dat hoef je natuurlijk helemaal niet. Want ik kom uit Deventor.

Mark Vletter:
[9:31] En dat is ook niet makkelijk hoor.

Randal Peelen:
[9:32] Want dan denken mensen heel vaak dat dat vlakbij Duitsland ligt. Of ze associëren het met alleen maar boeren, mensen, terwijl we het mooiste plein van Nederland hebben, mag ik wel zeggen. Je bent een mooi plein. En ehm. Als ik zeg het verre Groningen, dan is dat inderdaad niet zozeer uit het idee dat ik Amsterdam-centrisch ben, maar meer dat ik in mijn hoofd denk, het is ver weg. Twee uurtjes. Maar ook dat is natuurlijk gewoon een. .

Jurian Ubachs:
[9:55] Opgescholen heeft een hit gemaakt over het verre oud.

Randal Peelen:
[10:03] Antwerpen geweest, dat is ook twee uur rijden. Maar dat is wel België. Dus dan zijn twee uur rijden in mijn hoofd ver.

Jurian Ubachs:
[10:08] Antwerpen is denk ik voor mij dichterbij vanuit Utrecht dan Groningen.

Mark Vletter:
[10:10] Mooi nagaan. En ik heb een Dave dus op de MTS gezeten. Dus ik ken dat mooie plein goed.

Randal Peelen:
[10:16] Prachtig. Op het moment dat jij dus tien jaar niet geprogrammeerd hebt, maar je bent wel bedrijfskundig en informatica, dus dan snap je hoe je een bedrijf moet leiden. Dat heb je goed gedaan, hoog waarschijnlijk. Dat zien we zelfs zo. Amsterdam zien we dat heel goed. Ja, toch weer gaan programmeren.

Mark Vletter:
[10:36] Nou, wat er op een gegeven moment. . Kijk, ik ben heel erg van het. Ik zeg altijd dat ik maar goed ben in één ding. Ik ben goed waar mensen, grote maatschappelijke trends en techniek bij elkaar komen. Ik snap heel snel hoe die. Samen gaan werken en ik kan ook ideeën uit het ene segment toepassen in het andere segment. En op een gegeven moment wordt AI heel groot. Nou, ik heb volgens mij negen jaar geleden mijn eerste presentatie gegeven over AI. Dus ik volg het onderwerp al best wel een tijdje. En op een gegeven moment krijg je natuurlijk dat ChatGPT uitkomt. Snelschroeiende applicatie wordt qua adoptie die we ooit hebben gehad naar Netflix volgens mij of naar TikTok. Wat verstond je negen jaar geleden onder AI? Toen ging het nog heel erg over beeldherkenning. Bij onder andere ruizbeelden en kankerherken.

Arnoud Wokke:
[11:18] Bijvoorbeeld de functie in Google Photo's, dat je kan zoeken op, weet ik veel wat, een kat. Dat is al meer dan tien jaar oud inmiddels. Inmiddels is het grappig.

Mark Vletter:
[11:26] Mensen denken iedere keer dat AI nieuws, maar in heel veel applicaties spellingscontrole zit ook gewoon een AI games.

Jurian Ubachs:
[11:31] Ja. Als sinds de jaren 90 lees ik in stukken over Games dat de kunstmatige intelligentie van de solden tegenvalt, meestal zo.

Mark Vletter:
[11:41] Maar die techniek verdwijnt naar de achtergrond op het moment dat we er gewoon mee worden. En de grote doorbraak komt natuurlijk door die large language models.

Jurian Ubachs:
[11:49] Ik denk vooral het learning aspect wat erin zit, dat ze dus getraind worden met heel veel data, daardoor ook beter worden. steeds geïtereerd wordt op de voor. Dat is natuurlijk het ding wat nieuw is. Kijk, een set wat we dan AI noemden bijvoorbeeld in een game is natuurlijk heel afgebakend. Gaat niet meer verder getraind worden. Zoals games lang geweest zijn inmiddels zijn gamakers ook me dit soort dingen bezig, natuurlijk. Wat de grote doorbraak was: kijk, Google vindt in eerste instantie die Transformer uit.

Mark Vletter:
[12:13] Dat is de T van de Chat GPT. En zegt daarmee van joh. In plaats als ik een pagina helemaal één voor één woord voor woord lees en aan het eind niet meer weet wat ik gelezen heb, kan ik een snapshot maken. Dat zou maar zeggen de eerste innovatie. De tweede innovatie vindt plaats in Silicon Valley, waarbij OpenAI zegt van joh. Wat nou als we het trainingsmodel groter maken? Dus ze maken het trainingsmodel groter. Dat is op dat moment tegen de researchwijsheid in. Want ze zeggen eigenlijk groter wordt dommer. En dat blijkt niet zo te zijn. Dus ChatJP2 volgt. 3 wordt voor mij ruim 10 keer zo groot. En het lijkt bijna lineair te schalen. Dus meer compute betekent slimmer. Bij 4 weer het geval. Op dat moment is die hele AI-hypers van de Dam. Want als dat door blijft gaan. Heb je bij ChatGPT 6 een model wat zo slim is dat het zichzelf kan trainen en vanaf daar is de weg naar superintelligentie er. En dat is dus ook waar die hele hype train op gebouwd is. Wat zien we nu? Het is geen lineaire curve. Het is een ouderwetse IT S-curve. En die kennen we allemaal en die vlakt op een gegeven moment af. En wat zie je dus van ChatGPT 4 naar 5? En eventjes als je alle modellen op dit moment pakt op Hugging Face en die plot op de tijdlijn, dan zie je bij alle modellen hetzelfde. allemaal aan het afvlakken. En dan zit er dus een limiet aan. En daarmee stort dus op een gegeven moment die hype train een beetje in. Want onder andere, het grootste probleem is toch nog wel hallucinaties. Hallucinaties zijn echt heel vervelend als je aan het programmeren bent en encode. Hallucaties zijn altijd vervelend.

Jurian Ubachs:
[13:42] Dat ze dachten dat ik een prijswinnende filmmaker was, toen dacht ik, nou dit vind ik prima. We hebben allebei een gouden koofon. We hebben allebei een gouden koofon. Ik weet niet meer wanneer, maar prima. Prima, hallucinatie, ja toch?

Mark Vletter:
[13:53] Die kreeg je eruit bij de AI?

Jurian Ubachs:
[13:55] Ja, volgens mij was dat gewoon een simpele vraag aan. Was het GPT die naar mij kwam?

Arnoud Wokke:
[13:58] Ja, voor mij de eerste versie.

Jurian Ubachs:
[13:59] Die is Arnaad Lokken, wie Jura Nubachs, filmmakers.

Arnoud Wokke:
[14:02] Duidelijk. Goud. Afrikaanse journalist van het jaar.

Randal Peelen:
[14:06] Ik schrijf alleen maar de teksten van de bevriende podcast Angry Nerds. Dat is wel een running gag. In die zin is het een leuke hallucinatie. Het is wel een om erin te aan. Want zij zegt ook wel eens, als het daar misgaat tijdens de podcast, en zegt: Ja, maar het komt omdat Rander al deze tekst geschreven, dan zit ik altijd van: fucking hell! Goed dat gezegdbende. Maar je duikt nu heel mooi dat jij vindt technologische ontwikkeling en maatschappelijke ontwikkeling en waar mensen samenkomen, nu schets je heel erg. uitgezoomd het landschap van de large language models op dit moment. Waarom ben je dan zelf weer gaan programmeren?

Mark Vletter:
[14:42] Omdat ik er heilig in geloof dat je niet leert van lezen over een onderwerp. Maar dat je leert van het. . En ook niet van het toepassen, maar dat je leert van de reflectie op het toepassen.

Randal Peelen:
[14:51] Je kent het. Oké, de reflectie op het toepassen.

Mark Vletter:
[14:54] Ja, dus je leest ergens over, je gebruikt het. En daarna ga je kijken van wat heb ik geleerd van het gebruik. En ik denk dat in dat laatste altijd het meeste leren plaatsvindt. Je kent in de programmerenwereld, kun je altijd de opmerking dat het adagium build, measure, learn. En die learn. Het meten naar het leren is volgens mij heel belangrijk. En de enige manier om dat te doen is door ermee aan de slag te gaan. Dus in eerste instantie had ik, ja, dit was echt een super lelijke setup. Nu, bijna een jaar geleden, wordt op een gegeven moment door Entropic, de makers van Claude, wordt het Model Context Protocol bedacht, MCP. En wat doet MCP? MCP is eigenlijk een vertaalapparaatje tussen het large language model en een API. Dus wat kun je daarmee? Je kunt een large language model dingen laten doen. Want wat zegt zo'n MCP eigenlijk? Ik pak even voorbeeld Notion, dat kennen we misschien wel, of Slack. Zo'n MCP zegt eigenlijk, ik kan een document lezen in Notion en ik kan een document schrijven in Notion. Of ik kan een update posten in Slack. En dat vertelt hij aan dat large language model. Dus dat large language model kun je vervolgens dingen laten doen. Ik kan zeggen: research dit en dit onderwerp online en schrijf dat vervolgens weg naar een Notionpagina. En als je klaar bent, stuur hem even een slecht berichtje dat je klaar bent. En dan gaat hij dat dus niet alleen bedenken, maar ook doen. En ik zat daar een beetje naar te kijken. Ik denk als ik dit nou slim combineer en ik geef hem local file access. Dus lokaal, hij mag bestanden schrijven. En ik gebruik Puppeteer. Puppeteer kun je webpagina's mee openen en bekijken. Dan kan ik niet alleen front-end code laten maken, maar hem ook automatisch laten testen. En dan zou ik dus theoretisch gezien. . autonoom kunnen laten programmeren. Ik denk, oh, dat is wel een leuk experimentje. Dus heb ik in de Cloud Windows Desktop Client dat geprobeerd. Nou, die crasht ongeveer iedere 15 minuten. Dus ik heb ook een apart. Faaltje geschreven dat automatisch iedere 15 minuten klot, afsloot en daarna weer opnieuw opstart. Dat is een ouderwetse bad, of niet? Eigenlijk wel. Nee, je hebt de autometer, heb je een window zitten.

Randal Peelen:
[16:57] Daar heb ik dus gebruikt voor elke 15 minuten op zijn klaar te geven.

Mark Vletter:
[17:00] Ja, letterlijk. En dan goeie. Ja, dat is wel lekker. Anders wordt echt een heel gekloot namelijk. Doe dit nou niet. Klote grap. Moet ik doorgaan? Ze gaat dit nog even door, namelijk.

Randal Peelen:
[17:16] Er zijn nerds op tafel. Dus voor ons is dit een dinsdagmiddag. The future is cloudy.

Mark Vletter:
[17:24] Claudie.

Jurian Ubachs:
[17:25] Ga ben er bij het vrouw.

Mark Vletter:
[17:27] Dus ik daarmee. En toen heb ik de eerste. Claudie de Bri aan.

Randal Peelen:
[17:35] Camera middel van de camera van Arnaad nu mee.

Arnoud Wokke:
[17:37] Ik ben nog steeds in beeld.

Randal Peelen:
[17:39] YouTube is deze aflevering nog slechter.

Mark Vletter:
[17:43] Dus vervolgens ik ermee aan de slag en toen begon ik daar een beetje mee te spelen. En er kwam best wel een aardig resultaat uit.

Randal Peelen:
[17:49] Hoe lang was dit geleden? Want de vibecode is nu modern en populair.

Mark Vletter:
[17:54] Dit is daarvoor. Het model contextprotocol was op dat moment, ik denk iets van vijf, zes maanden oud. Dus het was echt vrij aan het begin. Klot had er net ondersteuning voor gekregen. Dus ik heb een aantal van dat soort dingetjes gedaan. Toen was het leuk. Toen dacht ik, oh, dat is best wel grappig wat je hiermee kunt. Maar nog niet heel spannend. En toen zei een van mij een. Toen kwam Clot Code uit. Dat draaide in de Windows. Ik draai Windows, want al onze klanten gebruiken toch meer in de Windows. En ik vind dat je. Applicatie moet gebruiken op de plek waar je klanten zitten. Dus ik. En toen zei een collega van mij, je moet eigenlijk slot code proberen. Dat kwam toen net uit voor Windows. Toen heb ik daarmee geëxperimenteerd in combinatie met MCP's. En toen dacht ik, wat ik er toen uitkrijg, was echt dat ik dacht van oké, dit is next level. En toen heb ik in een weektijd een applicatie gebouwd waarvan ik echt dacht van oké, dit is echt heel vet. Ik heb gelijk ook gezegd eigenlijk dat je gelijk kijkt of je het productie klaar kunt maken. Dus denk nou over security, denk naar over de codearchitectuur, et cetera. Toen ook heel veel geleerd over wat kan een AI met programmeren nou wel en wat nou niet. En uiteindelijk in een weektijd echt een serieuze applicatie gemaakt. En dat was voor mij het doorbraakmoment waarvan ik dacht van hé, dit is wezenlijk anders. Toen vroeg ik aan Kloot. Kijk dus goed naar die codebase. Hoe lang zou het een mediaprogrammeur kosten om dit te reproduceren? Dus ik loor teg daar een tijdje over na en ik vroeg hetzelfde aan chatGPT, maar die had geen X tot de codebase lengt tot de file structure en de file size. En die zeiden van nou dat is ongeveer 450 tot 550 uur. En ik had er op dat moment had ik er zo'n 60 uur in zitten. Want dit ging weer uit als je gaat programmeren en het gaat snel en het is cool. Ik heb het weer vier uur s'nachts zien worden, net als toen ik 15 was. Killing voor je tijd. Ja, heel erg. En je sociale leven. Serieus jongen, mijn vriendin was op een gegeven moment: zo van grappi, dit is leuk, maar ik heb je nu een week echt helemaal in een soort zwart gat ging verdwijnen. Kom je hier ooit nog uit. Maar goed, toen vroeg ik dat, zei hij dus 500 uur, ik denk, wow, dat gaat bijna 10 keer zo snel. En toen zei hij, dat komt omdat het project zo goed gedocumenteerd is. Wat had ik namelijk gedaan? Ik had iedere keer code architecture documents bijgehouden en developer guides. Want dan kon ik nam iedere keer die AI naar terugsturen dat hij sneller door die code heen komt. En toen vroeg ik Sterna voor dat het niet zo goed gedocumenteerd was. Hoe lang zou het dan zijn? Ze zei dus volledige development cycle met alles erbij, met user research en testing en dan ben je toch al een jaar bezig. Toen dacht ik, fuck joh. Ik kan dus in 60 uur een prototype maken van een applicatie die mij op het bedrijf, en ik denk echt dat het waar is, die ons een jaar zou kosten om te bouwen. Als zit hier de helft naast, zou het een half jaar zijn. Dan is het nog steeds insane. En dan kun je op dat moment naar een klant toe gaan en zeggen. Hé, wat vind je hiervan? Want dat is namelijk. Het probleem is nooit het bouwen van de feature. Het is het bouwen van de feature die de klant werkelijk nodig heeft en wil gebruiken. En de enige manier waarop je daar echt iedere keer achter komt bij software development. Is door het aan die klant te geven te zien hoe het werkelijk gebruikt wordt. En in één keer hoef je dat niet meer met paper prototyping te doen of met klikmodellen. Nee, ik kan gewoon een werkende applicatie. Is dit wat je bedoelde? En die kan hem gebruiken en na drie dagen zeggen, ja ik wil eigenlijk dit en dit en dit. Dat is goed. Iteratietje, twee werkdagen daarna. Is het nu beter? De manier waarop je dan code kunt gaan schrijven is zo radicaal anders en in eerste instantie dacht dit is leuk voor prototyping. En toen zei een collega op een gegeven moment van mij, ik wil toch wel eens testen of dit in productie kan. Want ja, je moet je voorstellen dat ik met 30, 35 die-hard developers werk. En met de Voice werken we met 150 mensen. Het grosste van is echt nut. En best wel diep geworteld nerd. Dus de scepsis hieromheen was bij ons allemaal heel groot. En toen zei die collega: ik ga gewoon iets in productie zetten en dan kijken hoe de codereview plaatsvindt. En toen, want iedereen zei, ja, ik haal het bij je coder review gelijk uit. We zagen niet dat het bij jij gemaakt was. En toen dacht ik van nou is er wel echt wat aan de hand. En ondertussen is het ook zo'n collega van mij zegt ik, als het gewoon dom gepusht wordt, hij zegt, dan ben ik gewoon jouw AI-code aan het debuggen. Als het gewoon echt goed geschreven code is, die netjes is opgesteld. En je volgt onze codestandaarden die heel goed gedocumenteerd zijn, dan is het echt een ander verhaal.

Jurian Ubachs:
[21:56] Maar je schetst nu een heel rooskleurig verhaal over deze manier van code maken. Ik kan me niet voorstellen dat er geen valkuilen zijn.

Mark Vletter:
[22:04] Onwijs veel.

Jurian Ubachs:
[22:05] Maar kun je die eens een beetje uit te doeken doen?

Mark Vletter:
[22:07] Het leukste is, ik had. Een andere applicatie gebouwd. We gingen een zeilwedstrijd doen. Ik kan niet zeilen. Ik kan koffie zetten. Dat is altijd beter.

Jurian Ubachs:
[22:18] Ik kan heel goed op een boot zitten.

Mark Vletter:
[22:19] Ik kan heel goed op een boot zitten. En ik kan koffie zetten. En ik kan een keer een fokoverstag gooien. En ik kan af. en toe even achter het roer zitten. Ik heb mijn CWO é. Oh, aardig zeilen volgens mij.

Randal Peelen:
[22:27] Ja, maar ik vind zelf met mensen die naar Engeland zijn en dan ga ik mee.

Mark Vletter:
[22:30] En we gingen een 24 uur celrace doen. Maar ik dacht. . Als ik nou de zeilkarakteristieken van die boot inlaat en ik laat alle waypoints die we af moeten leggen laat ik in. Dan kan ik gewoon een automatische routeplannen bouwen als ik daar ook de windgegevens bij inlaat. Dus ik heb vier windmodellen van het KMI naar binnen getrokken en van allemaal dingen. En uiteindelijk had ik dus een appje waarmee wij de hele route konden uitplannen op basis van werkelijke windsnelheid. En hoe hard het op welk moment waar zou waaien. Best wel hippe dingen. Hoe kom ik hier? Voor de valkuilen van het valkuilen. Ik zeg vervolgens, er moet wel even een authenticatiesysteempje voor. En dat authenticatiesysteem wilde ik een beetje slim maken. En hij bouwt een eerste versie in. Die werkte dus aardig. Ik wilde dat via tegen een thirdparty API aan hebben. En op een gegeven moment werkte dat niet lekker meer. Dus ik zei: joh, wil je dit even fixen? Op dat moment zegt hij, ja, dat heb ik gedaan. Ik zit naar de code te kijken. Je hebt dat helemaal niet gedaan. Je checkt gewoon of er een e-mailadres in staat en iets anders. En zo ja, dan vind jij het goed. Ja, en ik heb dat. Toen dacht ik, van nou moet ik er ook mee gaan spelen. En iedere keer weer met andere prompts, met andere situaties. Hij heeft tot zeven keer toe, wetend dat hij het steeds fout deed. Ook met nieuwe sessies die ik startte. De authenticatie gesloopt en compleet onveilig gemaakt. Als jij niet weet wat programmeren is en dat niet kunt zien, dan ga je hartstikke manken. En dat zie je dus ook bij vibecoding projectjes waar iedereen vrolijk doorheen rent. Packages inlaten die totaal niet bestaan. Of malafide zijn. houdt hij totaal geen rekening.

Jurian Ubachs:
[24:05] Ja, want dat is natuurlijk ook een security. Dus ik heb een van jouw blogposts hier over gelezen en daar beschrijf je inderdaad ook in dat hij dus. Software packages hallucineert. Wat natuurlijk een opening kan zijn voor malware aanbieders die als zij gewoon een package met die naam serveren, dan laat je heel makkelijk malware in natuurlijk.

Randal Peelen:
[24:22] Dan installeer je eigenlijk malware.

Mark Vletter:
[24:24] En als jij, zeker als het open source code is, kun jij wel zien welke packages daar worden ingeladen. Dus het wordt ook nog eens heel makkelijk gemaakt op dat moment. Dus ehm. Is alsof je mensen de tools geeft om een hartoperatie te kunnen doen zonder ze te trainen om een hartoperatie te doen. En kan je garanderen dat de hartoperatie dan niet goed gaat. En dat is een beetje het niveau waar je ook naar moet kijken met het programmeren met AI. Je moet wel donders goed weten wat je aan het doen bent, maar de drempel waarop je die kennis moet hebben. Die gaat steeds verder naar beneden. En onder andere een applicatie van de software. Lovable. app uit mijn hoofd.

Randal Peelen:
[25:06] Die kennen niet.

Mark Vletter:
[25:07] Daar kun je dus ook mee programmeren met AI. En dat is een beetje containerized. Dan zie je niet echt wat er onder water gebeurt. Als je ziet wat je daarmee kunt bouwen. Vriend van mij die wilde hitster spelen. Met 300 mensen tegelijkertijd. Die heeft in vier uur tijd een applicatie gebouwd waarmee dat kon. Dan konden ze met 300 man tegelijkertijd hitster spelen. Wauw. Ja. Ik bedoel, het was ondenkbaar. Ik heb Martijn Aslander, een vriend van mij, die heeft al zijn. Die heeft u vaker aan tafel gezet. Die doet heel veel met personal knowledge management en heel veel met obsidian. Die heb ik op een gegeven moment verteld over Claude en over MCP's. En in eerste instantie, Martijn zegt altijd zelf, ik snap niks van computers, dus ik heb hem letterlijk door iedere installe 1 moeten halen. Hij is helemaal losgeslagen. Hij laat nu mensen van Rabobank zien hoe hij zijn personal finances beter kan doen met de Rabobank app, terwijl hij nooit wat heeft gedaan met personal finances en nooit wat heeft gedaan met programmeren. Het is op het moment dat mensen de tool beginnen te snappen, want wat maakt het. .

Arnoud Wokke:
[26:03] Als authenticatie zo vaak fout gaat, dan wil je het toch juist niet in de buurt van je bank app hebben.

Mark Vletter:
[26:08] Maar als die gegevens lokaal op jouw computer staan en jij schrijft een applicatie die jij alleen zelf gebruikt, dan maakt het echt geen klap uit hoe goed die code is als die maar werkt. En dat is dus waar we naartoe gaan. We gaan naar hyper-personalized appjes toe die jouw probleem even oplossen. Claude heeft net een nieuwe versie uitgerold dat heet Imagine. Schrijft hij on the fly, schrijft hij je software. Het is.

Arnoud Wokke:
[26:30] Nog wel traag. Super traag.

Mark Vletter:
[26:32] Maar als je toch low-code oplossingen, waarmee je snel applicaties kunt ontwikkelen samen met AI gaat combineren, dan is de snelheid waarmee wij maatwerksoftware gaan krijgen, heel groot. En wat ik heel leuk vind, is dat je niche oplossingen krijgt die één probleem oplossen. Waar een developer prima geld mee kan verdienen. Jullie hebben het overigens aan tafel over gehad.

Randal Peelen:
[26:54] Over microsaur's heet het volgens mij.

Mark Vletter:
[26:56] En op dat moment kun je daar dus rustig een paar duizend euro per maand mee verdienen. Bijvoorbeeld was iemand die had een appje gebouwd waarmee vissers hun. . gegevens beter konden inlezen. Het was in één keer op de mobiel beschikbaar. In plaats van dat ze dat via een of andere hele dubieuze webapplicatie moesten uitlezen. En die konden ze ook bedienen met hun natte vingers op een tabletje veel handiger. Die verdienen daar een paar duizend euro per maand op dat moment mee. Even door wat aandacht te geven aan een niche-onderwerp en daar software voor te schrijven. Dit gaan we de komende periode heel veel zien. Ieder klein probleempje krijgt maatwerk-software en het kost geen klap.

Arnoud Wokke:
[27:33] Is dat zo? Want jij vertelde net over die applicatie die je had gemaakt die binnen jouw bedrijf denk je inderdaad een jaar erover doet om gemaakt te worden. Maar jij hebt daar wel nachten doorgehaald tot vier uur en kennelijk 60 uur in gestoken. Dat is niet gewoon een enkele prompt ingeven, dan ben je wel echt serieus ook wel bezig geweest. Dus zo laag ligt die lab nou ook weer niet.

Mark Vletter:
[27:53] Nee, maar ik heb ook wel YouTubers gezien die in mij aan het experimenteren zijn. Die dus helemaal geen kennis hebben van programmeren.

Arnoud Wokke:
[28:00] Maar je zegt net zelf, je moet wel kennis hebben van programmeren, want anders zie je niet waar het fout gaat.

Mark Vletter:
[28:04] Nee, klopt. Maar als jij een frontend applicatie ontwikkelt, bijvoorbeeld een webapplicatie, dit was iemand die had een webapplicatie gebouwd waarbij. Shots en hoe ze uitgelicht zijn voor YouTube, dat je die als het ware kon opslaan en konden zoeken en kon taggen. En had er een soort mini-applicatie voor zichzelf aan gebouwd. Nou, eerste versie had ze gewoon op een gegeven moment zelf gemaakt en draaiend. En op een manier die voor haar werkte, dat vervolgens allemaal andere mensen zijn die codes dramatisch zijn, dan kon ze er daarna weer een verbetering op doorvoeren. En het is dit de status nu. En Ik wik dus ook een beetje steeds op twee voeten. Want aan de ene kant zie ik dus dat die LLM's aan het aflakken zijn en niet slimmer worden. En aan de andere kant zie ik ook dit gebeuren. En ik denk dat we redelijk aan de piek zitten van wat AI programmeren zal kunnen. Het zal nog eens een keertje 30% beter worden. Maar niet meer die 0 naar 1 die we met ChatGPT hebben gezien. Maar ik verwacht wel dat de applicaties eromheen, die het kunnen boxen, containerizen, de security kunnen doen, de architectuur goed neerzetten. Ik denk dat dat steeds slimmer wordt. En daarmee dus die apps van steeds hogere kwaliteit zijn.

Randal Peelen:
[29:06] En gewoon de brute contextwindows.

Mark Vletter:
[29:08] Want ik denk dat daar ook nog heel veel mee te vangen is. Hoe groter de contextwindow wordt, hoe minder goed die vaak wordt. Het is vaak wat. Wat voor mij heel goed werkte, is ik begon met de AI van. hé, dit is mijn bestaande codebase. Dan liet ik hem ook niet de hele codebase doorlopen. Ik had gewoon een apart bestandje waarin eigenlijk de hele database beschreven stond. Ik had een apart bestandje waarin de hele codearchitectuur. Met alle functies in stond. En hoe ik ook architectonisch wil dat die code opgericht was. Had je dat bestandje zelf bedacht? Of heb je dat ook al? Samen met de AI geschreven. Dan zei ik, vond ik wil deze nieuwe feature bouwen. Wil je onderzoeken welke code dat zou raken, hoe het eruit zou moeten zien? Daar zatten we dus een tijdje over te sparren. Dan liet ik hem daar een feature document van maken. Oftewel. Die dus feature beschreef. Voorbeeldcode erin had zitten van hoe hij het zou doen. Code wat er eraan geraakt zou worden. En vervolgens eigenlijk wil je die stap voor stap in kleine stapjes gaan bouwen. En dan ging het goed en dan vergat hij ook zijn context niet. En kon ik ook af en toe zeggen, als hij echt helemaal de mist in ging, als hij helemaal de foute kant op gaat, heeft hij moeite om daaruit te komen. Dan kon ik gewoon een nieuwe sessies starten en zeggen, hier waren we gebleven in het project en dan pakte hij het heel snel weer op. En wat ik altijd deed is die klaar was, zei ik, oké, we hebben nu iets wat werkt. wil je nu eens even heel kritisch naar de code gaan kijken. En die refactor heet dat, eigenlijk opschonen, klaarmaken om werkelijk in productie te zetten. En weer het dan naar gitzuren. En zodat het netjes in de codebase staat en dat er een backup van is. Nou, als je het op die manier doet, dan krijg je echt best wel snel, best wel serieuze code. Nog steeds zouden mijn collega's al mas zeggen van Mark, zo gaan we niet programmeren, want ik vind dit bodogly dit doet zeer aan mijn ogen. Maar functioneel werkt het wel.

Arnoud Wokke:
[30:48] En je krijgt natuurlijk dan het nadeel dat op het moment dat mensen die niet echt kunnen programmeren binnen een bedrijf dit soort dingen gaan doen, dat de echt ontwikkelaars op het moment dat het. Dat het in productie genomen wordt, dat allemaal moeten gaan nakijken. Dus hun werk bestaat dan gewoon grotendeels uit AI-code bekijken en. . En dat gaan ze echt niet doen. En dat vinden ze niet leuk, denk ik.

Mark Vletter:
[31:06] Nee. Nee. Ik heb ook gezegd. Je kunt AI-code alleen maar schrijven met iemand anders die AI-code schrijft. Het is echt heel naar om AI-code daar verbetering op door te voeren. Het is gewoon niet leuk. Sowieso. Ik heb echt wel momenten gehad dat ik het programmeren minder leuk vond dan dat ik het vroeger vond. En dat vond ik ook wel een vervelende ervaring. Ik dacht van hé, maar het. . De aard van je werkt verandert ook echt. En is dit nou per se leuker werk daarmee? Dus dat vond ik ook wel he. En je moet echt gaan nadenken over onder andere, je code review proces. Want als ik weet veel duizend regels in één keer heb geschreven en ik ga dat daarna naar een collega sturen. Kijk jij dit even na. Je collega zegt ook, dat ga ik gewoon niet doen. En terecht.

Arnoud Wokke:
[31:50] Maar het moet wel, want anders in elke reden moet zonder een hallucinatie staan.

Mark Vletter:
[31:54] Precies, en het kan niet zomaar naar productie. En het is dus ook heel belangrijk dat je goed volgt wat die. Wat die AI doet terwijl dit aan het doen is, wat ik heel vaak had is dat ik vier sessies tegelijkertijd draaide en eigenlijk continu aan het meekijken was waar gaat dit heen. En op het moment dat het niet goed ging, escape. En bijsturen en dan naar de volgende, waardoor ik wel steeds zag welke code eruit kwam. En dan kun je heel snel, het is ook op die manier programmeren, is ook heel intensief. Dus ik had ook. Ik heb op een gegeven moment een boek geschreven. Op een gegeven moment heb je vijf uur geschreven, dedicated aan één stuk door. Dan is je brein gewoon leeg. En dat merkte ik hierbij ook. Dat je ja. En zeker als die AI sneller gaat schrijven, want nu zit je vaak nog te wachten in de snelheid waarin die schrijft, maar als dat sneller gaat, dan. . Ik ben heel benieuwd wat er dan gebeurt. Maar we zullen iets moeten doen met. Ik schrijf code en ik bijvoorbeeld ik heb daarna een dedicated AI die alleen maar de code review doet.

Jurian Ubachs:
[32:48] Ik wil aan het zeggen, daar moet je denk ik naartoe. En ook. . Zoals jij het proces nu beschrijft, moet je dus nog steeds wel. . Je zegt de drempel gaat omlaag. Maar ik vind de drempel om code te kunnen schrijven met een AI nog steeds best hoog. Want je moet ook die code zelf kunnen in ieder geval goed genoeg kunnen begrijpen om dingen te zien. Die mogelijk misgaan. Misschien hoef je ze niet eens allemaal uit, maar in ieder geval als je maar kan flaggen van, hé, wacht even, dit klopt wellicht niet. Ik denk best dat daar nog wel voor heel veel mensen wel een te hoge drempel in zit hoor. Ja, klopt. Dat denk ik ook. En ik ben ik ben dan benieuwd van, want je zegt, we zitten op de piek van LM's qua, hoe slim die zijn, zeg maar. En wellicht komt daar nog een stapje, maar ik ben vooral benieuwd wat er aan de andere kant gaat gebeuren. Dus de versimpelde, de. De simpelheid waarmee die dingen te gebruiken zijn, ik denk dat daar heel veel winst te behalen is. Als je bijvoorbeeld kijkt naar even een simpel voorbeeld wat WordPress heeft gedaan voor het bouwen van websites. Je klikt nu gewoon bij elkaar van ik wil die header, ik wil die table, bla bla bla bla. En dat is allemaal gewoon heel visueel. Ik denk, of ik zou het, het zou mij niet verbazen als we meer die kant op gaan. Dus als je gewoon. Wat je net zei, dus dat de LLM's meer gaan samenwerken met bepaalde apps, bepaalde API's. Alleen nu moet je dat dus nog allemaal met een prompt bij elkaar verzinnen. Wat als ik nou zeg van oké, ik wil dit, dit is mijn product, ik wil graag dit hebben, dit hebben. En dat ik bijna gewoon kan aanklikken en dat in de achtergrond DIY. En dat zij natuurlijk op dat moment al niet meer, dat hoeft allemaal niet meer elke keer from scratch.

Mark Vletter:
[34:09] Van nul.

Jurian Ubachs:
[34:10] Maar dat kunnen wel gewoon een hele simpele bouwpekjes zijn die ik aan elkaar kan koppelen en hoppa, ik heb een product.

Mark Vletter:
[34:14] Ja, ik denk dat het daar uiteindelijk naartoe gaat. Je ziet, ik heb toevallig vorige week een filmpje naar de collega's ook doorgestuurd waarbij ze zeggen van wat is nog de waarde van een user interface? Als je die dynamisch kunt laten genereren op het moment dat je een interface nodig hebt om ergens op te klikken. Dus waarom zou ik nog even heel simpel? Bij ons moet je Stevo, je wil je openingstijden aanpassen. Dan is dat op dit moment nog inloggen op een applicatie en zeggen van dat geldt alleen voor dit weekend. Als wij onze MCB zouden releasen, waar we het net over hadden, dat laagje wat tussen het language model in staat en de applicatie. En die geeft hij toegang tot onze openingstijden API, dan zou je al kunnen zeggen in de app. Gewoon simpelweg van joh, wil je mijn openingzij dit weekend even aanpassen. .

Jurian Ubachs:
[34:55] Dit weekend zijn we vanwege feestjes om vier uur dicht.

Mark Vletter:
[34:57] Ja, klopt. En vervolgens zorgen we ook voor dat het automatisch wordt ingesproken. En dat daar automatisch een mooie stem aan vastzit. Daar gaan we in rapt tempo naartoe. Maar ik denk dat we dan inderdaad nog wel een stap verder gaan. En dat je dus inderdaad applicaties on-demand krijgt. User interfaces on-demand. Afhankelijk van wat je op dat moment nodig hebt. Want heel veel administratieve processen zijn niet repetief. Dus die voer je maar één keer uit. Ik hoef maar één keer dat bestand te converteren naar van A naar B. Ik moest op een gegeven moment moest ik de. . Een boei op het water heeft een lichtfrequentie, een flitsfrequentie. Dat is leuk om te weten, maar dat interesseert je eigenlijk helemaal niks. Totdat je s'nachts aan het zeilen bent, dan is het heel handig om te weten of je naar de goede boei aan het zeilen bent. Nou is die data die stond op het web. Alleen de boeien zoals wij die onderzeilers gebruiken en genoemd hebben in een race wedstrijd. En zoals de boeien werkelijk gemarkeerd zijn, zijn anders. Maar de GPS-coördinaten zijn nagenoeg gelijk. Dus ik heb een applicatie geschreven, een mini-applicatie, wat alleen maar op dat moment de conversie deed van die GPS-coördinaten, de conversie van de namen, zodat die namen gelijk werden. En dus uiteindelijk de flitsfrequentie weergave. Ik heb het dat gebouwd terwijl ik in de auto zat, op weg van Groningen, naar de startlocatie van de zeilwedstrijd. En toen hadden wij dat voor s'nachts erin zitten.

Arnoud Wokke:
[36:10] Oh, dan ben je zo blij dat Groningen zo ver van alles.

Mark Vletter:
[36:13] Ik ben heel blij met die twee uur die je dan op dat moment hebt. Hij heeft gewoon drie iteraties kunnen inderdaad. Nou, dat was echt hilarisch, want degene die naast me zat, die moest me uitleggen hoe het werkt. En volgens kon ik het dus vertalen in code.

Randal Peelen:
[36:23] Wat ik wel heel opvallend vind, is. Dat doet mijn hoofd dan. Jij zegt nu van ja, als we de openingstijden willen veranderen, dan moeten we eigenlijk. Daar en daar en dan moet er ingesproken voor. Terwijl ik denk bij mezelf de hele tijd, oké, maar dit is nu iets wat je aan een AI vertelt. En die gaat het dan doen. Dus in jouw hoofd niet meer een mens. Tegelijkertijd, je hebt heel lang een bedrijf gerund. Dus normaal gesproken, als je zegt tegen jouw rechterhand, hé, doe even de openingstijden updaten. Dan gaat die dat de mens laten inspreken. Dan gaat die dat de mens laten aanpassen op de website. Dus dan is voor jou, als persoonje in die stoel die dit aan mag sturen. De feitelijk op er niet heel veel anders. Je zegt alleen nu tegen een AI, die zal het misschien sneller hebben gedaan. En misschien foutlozer, weet ik niet, question mark. Want het is niet degene die het zou hebben.

Mark Vletter:
[37:05] Er ga vanuit dat het nu nog minder foutloos is.

Randal Peelen:
[37:07] Alleen. Het is natuurlijk ook weer niet heel wezenlijk anders dan als je het mensen laat doen, toch?

Mark Vletter:
[37:12] Nee. En zeker voor taken waar we niet al te lang over na te denken. En die simplistisch zijn en herhaalbaar is. En is een AI eigenlijk altijd heel.

Randal Peelen:
[37:20] Een hele geschikte tool. Want dit vind ik dus heel grappig. Dus je vertelt eigenlijk aan de ene kant dat het de lat heel erg heeft verlaagd tegelijkertijd. Jij hebt heel veel baat gehad bij het feit dat je vanaf de basis. . wel gewend bent om te programmeren en dingen eerst te omschrijven daarna goed na te denken over hoe zou je dat ongeveer kunnen gebouwen dan pas te beginnen. In tegenstelling tot. Zoem dat als ik. . Die gewoon zou beginnen. Want ik ben al begonnen. En daarna ga ik alle burks opruimen. Want dit is wel iets wat ik heel interessant vind. Je benadrukt een aantal keer. Kijk, het gaat nu om heel erg niche applicaties waarvan de wereld ook niet vergaat. Als die fouten maken. We hebben het niet over het runnen van een ziekenhuis. We hebben niet over het aansturen van een raket. Je kan wel een zeilwedstrijd verliezen. Precies. We hebben het dan misschien nog net over. Bankapplicaties. Tenminste, daar schuurden we net. Nee, maar even heel simpel.

Mark Vletter:
[38:12] Wij zouden dit nooit op onze core productieapparatuur gebruiken. Waarom zeg je het nooit? Nog niet. Ik verwacht ook echt dat dat nog wel eventjes duurt, maar daar draaien inderdaad ziekenhuizen en huisartsenpraktijken op. Die moeten telefonisch bereikbaar zijn. Dus daar zit bijvoorbeeld bij onze ook een hele andere deployfrequentie op. Ik ben ontzettend van het continuous delivery en volledig automatisch testen. Totdat we op die applicatie zitten. En dan is het gewoon één keer per week. En dan doen we het aan het eind van de werkdag, zodat we nog traffic hebben, zodat we kunnen zien of het. Of daar iets mee gebeurt. Dus daar zitten hele andere spelregels aan. En ik denk dus ook dat de spelregels afhankelijk gaan zijn van de. Complexiteit, maar ook de impact die een eventueele fout in de applicatie gaat hebben.

Randal Peelen:
[39:00] Zoals het bij mij ging is. Ik heb in het verleden een keer gedacht dat ik ook wel programmeur kon worden. Want ik was goed met computers en ik kwam net van de middelbare school. Dus ja, wat word je dan? Dan word je automatisch programmeur. Dus ik heb ook wel een hbo informatica. Begonnen. Best dat ik daaraan heb overgehouden, goede vrienden. Maar niet echt skills die ik ooit toe kon passen. Maar ik ben niet lang daarna bij Tweakers begonnen. En eigenlijk een van de mooiste periodes die ik daar heb gehad was dat ik naast een collega zat, dat was Laurens Dufoer, die heeft daar een postje geprogrammeerd. Hij zat links van mij, ik zat rechts. We hebben toen de backend, de DSP noemde dat, de Dynamic Server Space heet dat steeds. We heel nog steeds zo. Van de Pruiswatch. Hoe heet dat vooruit? Dynamic server pages. Dat heb je nooit geweten, hè?

Jurian Ubachs:
[39:46] Of dat ik me dat ooit afgekomen heb.

Arnoud Wokke:
[39:47] Ik ben pas vorige week bij Twickers begonnen, joh.

Jurian Ubachs:
[39:49] Dus dat is lood. Ik tik in januari 18 jaar aan. En ook nu het heb gezegd, weet ik ook dat ik dat vijf minuten al niet meer weet.

Randal Peelen:
[39:56] Zeker nog. Het heeft in beeld gestaan ook. En jou, dat is de backend van Tweakers, blijkbaar nog steeds. En die had de grappige eigenaardigheid. Dus eigenlijk alles van de hele frontpage kon je daar wel bewerken. Dus ook. Van nieuwsberichten tot de pricewatch. Nou, alles wat je op tekens kunt vinden, zo'n beetje. En ik was daar productmanager op een gegeven moment van de Pricewatch. En ik heb toen naast hem gezeten. En ik ben. Ik heb tientallen duizenden producten bewerkt of ingevoerd of gewoon beheergedaan over de pricewatch. Dus ik wist gewoon hoeveel RSI ik kreeg van bepaalde pagina's, van bepaalde knoppen. En hoe ik me tap en te fijn. Ik ben op een gegeven moment met hem een hele zomer bezig geweest. Eigenlijk fulltime, samen zij aan zij, om die DSP te verbeteren. Voor mij als gebruiker die nog. Duizend producten extract. Dat stukje heb je dus straks niet meer nodig. Want wat mij heel erg beklijft is, ik ben die. Ik gebruik dan cursor AI meestal. Heel erg gaan ervaren als een lawrence, maar dan een LLM. Ik ben de hele tijd tegen hem aan het omschrijven. Ik noem het ook een hem. Dat is heel gek. Dat klopt helemaal niet, maar dat is gewoon in mijn hoofd. Doen we bij heel veel dingen. Maar ik moet het wel goed omschrijven. Want als die er mist ingaat. Kon ik dat meestal voorkomen?

Mark Vletter:
[41:14] Er zijn een aantal dingen die me daarin zijn opgevallen. Er is een heel mooi blogartikel die zei, it's like working with a. . . Banch of juniors on crack. En ik denk ook dat dat wel een hele goede omschrijving is. De AI wil veel te graag code schrijven, is veel te enthousiast, schrijft veel te veel code, schrijft af en toe absolute onzin. Als je naar die blogserie van mij kijkt, dan zie je in wezen dat ik beschrijf met codearchitectuur, met testen, met security. Alle met privacy by design, alle principes die ik aan een junior collega zou uitleggen over wat is nou goed programmeren. En ik ben continu aan het werken met die AI om hem binnen die guardrails te houden. Precies. Dus dat is heel herkenbaar. En zo moet je eigenlijk ook de AI benaderen, vind ik. Als echt een hele junior collega die je duidelijke instructies moet geven en dan komt het goed. Er zit nog wel één ander aspect aan. Maar ik heb hartstikke vals gespeeld en dat moet ik ook iedereen uitleggen. Ten eerste, wat ik heb gedaan, wij hebben alles over hoe wij willen programmeren in het bedrijf. Hebben we allemaal gedocumenteerd, inclusief developer templates en noem het allemaal maar op. Die heb ik allemaal bij elkaar gepakt, die heb ik aan de AI gevoerd en toen heb ik gezegd, zo wil ik programmeren, wil je daar even een samenvatting van maken. En dat was mijn startpond. Dit is hoe we gaan programmeren. Vervolgens heb ik de afgelopen twintig jaar niks anders gedaan dan applicatieontwikkeling inmiddels voor meer dan 150. 000 eindgebruikers. Ik ben twintig jaar. Met al mijn collega's met niks anders bezig geweest dan hoe bouwen wij goede applicaties. En met die kennis ben ik gaan programmeren. Dat is dus niet even iemand die denkt van ik wil wel een applicatietje bouwen. Ik heb de hele organisatie kennis. 300 mensen die daar historisch in hebben gewerkt, heb ik samengepropt. En daar heb ik vervolgens aan de AI gevoerd en toen ben ik gestart. Ja, dat is niet eerlijk.

Jurian Ubachs:
[43:03] Nou, maar dat is wat ik dus net zei. De drempel die je nodig hebt om dit echt goed te doen, ligt op dit moment nog best wel hoog. Ook vooral. Jouw kennis over programmeren is. Vergeleken met de Laurens de Voersmeswereld, misschien niet zo heel hoog, maar vergeleken met de gemiddelde Nederland of zelfs de gemiddelde nerd, zit je echt wel boven.

Randal Peelen:
[43:19] Maar dat is het hele ding. Wat mij opvalt in het verhaal van Mark, is wat ik zelf ook heb. De reden dat ik geen programmeur kan zijn, is ik heb er het geduld niet voor. En ik ben te dyslectisch om die code foutloos te hebben. Ik ben te veel bezig met het oplossen van mijn eigen bullshit. Dus. Maar ik kan wel snappen wat kan. . Ik kan ook lezen wat er staat. Ik snap wat er gebeurt. En ik merk wel dat dat cruciaal is. Omdat als ik zeg, nou bouw een website met drie knoppen en die rekent uit of ik bij de McDonald's. 17 kip nuggets kan bestellen. Dat stapje doet hij nog. Die website heb ik echt gemaakt. kennitnuget. nl kun je heen gaan en dan kun je gewoon Een aantal nugets invoeren en dat vertelt hij. Of dat je dat kunt bestellen. Hoe heet hij zij? Canitnugget. nl Sterker nog, één keer per dag downloadt hij het McDonald's menu en de prijslijst. Dus dan weet hij ook elke dag actueel wat dat aantal nuggets zou kopen kosten als je het echt bestelt. Het probleem is alleen. . Devende is helaas niet mogelijk. Nee, nee, dat wist ik uit mijn hoofd. Daarom gaf ik dat voorbeeld op. Het is wel jammer dat vanaf een bepaald getal. Lekker hoog dan kan elk getal wel. . En dan zeggen mensen, ja, maar je kunt ook vier nuggets bestellen. Ja, dat kan alleen in een happy meal. In die context. En dan is het dus nooit goedkoper. Dan moet je altijd zes doen. Want dan heb je. Anyhow. Ik ben blij dat we het hier even over hebben vandaag. Dit is wel een goed voorbeeld. Het is een kleine liever die alleen in een podcast komen. Ik heb 200. 000 keer bekeken op LinkedIn project. Geloof ik wel. Dit is ook voor bijna iedereen relevant. Behalve de spectateer zijn. Dit is wel een goed voorbeeld. Dat kan ik wel beetpakken op die manier. Want kijk. Het eerste wat ik doe, is ik develop op de live omgeving. Want dat is fantastisch. Namelijk, je kunt gewoon op F5 duwen. En dan zie je gewoon je nieuwe versie. Ja, dat doe ik dus al niet. Ik bedoel, ik kan het wel op grid gaan zetten, maar ik heb daar de levensvreugd in voor. Te lui voor. Dan maak je ook niks uit als de website is. Precies als hij stuk is, dan is hij stuk. Dan ga ik morgen verder uit.

Arnoud Wokke:
[45:16] Hoe weet je dan hoeveel nugget je moet bestellen als de website down is? Ja, paniek. Lindenpaniek. Iemand bij Make Drive.

Randal Peelen:
[45:22] Dat is wel mooi. Het mooie is ook, ik was dus laatst bij ons op de Slack zit iemand die heet Ivo Toby. En die staat bekend als de vibecoding geroe. Maar hij is ook daadwerkelijk goed in programmeren. Maar hij vibecode ook. En toen, hij woont bij mij in de buurt. Dus ik was bij hem op bezoek, ook al om een laptop te kopen, maar wel vaker bij hem thuis geweest. En ik zei van nou kun je mij nou eens. . Leren wat kan ik hier beter doen. Ik liet hem zo mijn flow zien. Dus ik start cursor AI. En wat ik dan doe, en dat moet je dus ook al snappen. Dus niet heel moeilijk, maar. Dat moet je wel snappen. . Ik maak gelijk een SSA-verbinding naar mijn server. En ik wijs daar die mappen aan die die, nou ja mountain noem ik het, dat is niet het goede woord, maar waar die van Wanneer moet trekken. Vervolgens zeggen we nou maak al die bestandjes. En dan kom ik volgens op die sui. Maar dat werkt niet. Want ik denk dat, oh fuck, de bestandsrechten, de schijfrechten van die bestanden staan nog niet goed. Dus ik zeg, maken we een scriptje dat elke vijf minuten, nee elke minuut automatisch even al die rechten goed trekt. Dat moet je alleen wel als pseudo doen, want anders werkt het niet. Mijn moeder kan wel zeggen maak een website die uitrekent of die Nuggets te bestellen zijn. Dat gaat dan nog net wel lukken. Maar om dat dan te publiceren op een eigen server, dan moet je dit soort rudimentaire dingen op. .

Jurian Ubachs:
[46:35] Precies wat ik bedoel met de gebruiksvriendelijkere interface. Ik kan inderdaad. Het product verzinnen. Al die stapjes die jij net. Ik ben ervan overtuigd als je dus naar Lovable gaat.

Mark Vletter:
[46:45] En die techniek dus nu nog zit. Kijk, het nadeel van heel van dit soort technieken is dat het in Amerika zit. Ik ben er ontzettend van on premise als het gaat over. Dingen die privaat moeten zijn. Alle AI-dingen die wij naar de markt brengen draaien. On onze eigen hardware, op zelfgeselecteerde open source modellen die daar goed geschikt voor zijn. Zodat we zeker weten dat. Audiotranscripties en samenvattingen dat die hier in Nederland blijven, GDRPR-proofs zijn, et cetera. Dan kun je er ook wat mee. Geef ook waarschuwingen over hoe je dat mag gebruiken, want je mag het bijvoorbeeld in bepaalde situaties niet gebruiken. Maar we zijn daar heel bewust mee bezig. Welke modellen gebruiken jullie dan die jullie draaien? We gebruiken Whisperflow voor de Whisper, voor de vertaling van de OpenAI-subductie. Dat is een model van OpenAI. Ook wel echt by far het meest gebruikte model. Als jij op dit moment een applicatie installeert waarmee je tegen je computer kunt praten, Whisperflow is daar een voorbeeld van. Maar dat is dus weer zo'n Amerikaans appje. Er zijn ook mee een lokaal taalmodel kunnen draaien. Voice typer is er eentje van, waarbij je iets doet met die voice. Niet zoals wij het hebben gedaan, maar volgens mij typer. Valt de R, laten ze iets mee. De E valt weg of zo. Maar die draait is helemaal lokaal. En wij gebruiken dus whisper daarvoor en. Pimel even niet op vast welke andere modellen we intern gebruiken op dit moment. Want dat is ook heel erg afhankelijk van wat nou op dat moment het beste model is. En dat varieert nog wel eens. Het mooie is dat we het ook heel makkelijk kunnen zien op. Hanging face, welk model voor bepaalde applicatie op dat moment het meest geschikt is. Ik denk trouwens het model van Facebook dat we die op dit moment.

Jurian Ubachs:
[48:29] Ik mezelf, wat was dan de relatie met die gebruiksvriendelijke interface en Lovable?

Mark Vletter:
[48:32] Ja, Lovable is een applicatie. die veel eenvoudiger is in het maken van een mooie en simpele applicatie. En ik weet zeker dat jij daarmee in staat zou zijn om zijn applicatie opnieuw te bouwen. Dus dat is heel erg interessant. En misschien wel bijvoorbeeld de Engelse versie ervan te bouwen. Ja, als je denkt dat hij lui is. Maar dan wordt het een heel leuk spelletje als die gebruikersvriendelijkheid dus naar beneden zakt. En omdat de waarde hiervan zo groot is, zie je dat dus steeds meer gebeuren. Ik ben wel altijd heel kritisch in. Dat is ook een van de dingen die ik geschreven over het gebruik van AI in bedrijven. En voor jezelf focus je nou op dingen die directe businesswaarde of klantwaarde opleveren. Bijvoorbeeld zo'n transcriptiefunctie die we hebben of een samenvattingsfunctie waarmee we het gelijk wegschrijven naar je CRM. En jij niet meer met de hand aan het typen bent. Het is gewoon een productiviteitswinst waar je u tegen zegt. Dat heeft werkelijk waarde. Ik heb al een aantal keer geprobeerd in combinatie met N8N. Nathan, hoe je dat ook wil noemen, is een workflow engine waar ook AI in kan zitten om bepaalde workflows te bouwen die handmatige processen in het werk wat wij doen overnemen. En dan merk je al snel dat het best wel complex is om dat te doen en hoeveel uur erin gaat zitten om het te bouwen en te onderhouden. En dan is het wel eens de vraag, is ieder bedrijfsproces daar geschikt voor? Dus ja. Ik vind het wel belangrijk dat je daar altijd op blijft focussen.

Jurian Ubachs:
[49:51] Ja, maar ik denk dat ik net al zei, ik denk dat daar ook nog de winst halen is voor het gebruik van AI. Want als je de kip nuget. Ik kan precies bedenken van, goh. Als ik een site wil maken waar ik laat berekenen hoeveel kipnurgers er zijn, dan heb ik dus de informatie nodig van McDonald's over hoeveel in welke porties ze er zijn. En die moet geüpdate worden elke dag en liefde met prijzen erbij en dat soort dingen. Oké, dan moet je me nu gaan helpen waar ik dat vandaag halen. En dan is een LM hopelijk sneeuwgedoel zegt van nou dat dat bestaat, dat heeft mijn ons gewoon hier staan, babba. Maar waarom? Moet jij dat kunnen? Ik wou het zeggen, waarom vraag je niet aan de LLM? Nou ja, dat zou ook kunnen. Maar op zich, want dan op het moment dat je het kunt bedenken en dat LLM het uitvoert zonder dat. Je het zelf in elkaar hoeft te code of mee hoeft te kijken. Als je het in elkaar kan klikken, is het makkelijker natuurlijk. Het gaat stapje voor stapje.

Mark Vletter:
[50:42] Ja, klopt. Wat wel heel belangrijk is om je te beseffen, is dat een LLM niets meer is, en ik blijf dat herhalen, dan een predictiemachine. Hij voorspelt simpelweg het volgende woord of waar de volgende pixel moet komen te staan. Ja, en. Daar is die schikbarend goed in. Dus als ik zeg, vertel mij wat een appel is, dan krijg ik een prachtig beschrijven van een appel. Of genereer een plaatje van een appel of een videootje. Krijg ik een prachtig videootje van de appel. Hij snapt niet wat een appel is. Hij snapt het gewoon niet. Wat jij gelijk in je hoofd hebt van dit is een appel.

Jurian Ubachs:
[51:14] context die ontbreekt het volledig het praat als een persoon die dingen begrijpt en dus hij begrijpt helemaal niks en wij voelen dat dus dus we dus we hebben eigenlijk een soort van misconceptie van begrip aan de andere kant Er is geen begrip, het is gewoon. .

Mark Vletter:
[51:29] Ja, maar als je het beseft, het is iets wat niet begrijpt wat hij aan het doen is. Ja.

Randal Peelen:
[51:34] Eigenlijk zeg je voorspel hoe een site eruit zou zien die nuggets kan uitrekenen.

Mark Vletter:
[51:38] Klopt. En stel je voor dat ik dat vanaf de website van vanaf deze websites moet ophalen. En op deze en deze pagina staat de prijsinformatie. En dit is het HTML-element waar dat in staat. Gewoon meenemen. Alsof je een stagiaire aan het helpen bent om uit te leggen.

Arnoud Wokke:
[51:57] Hij praat vol vertrouwen over waar hij eigenlijk niks van weet. Het is duidelijk een man. Je had geloofd.

Randal Peelen:
[52:04] Nee, Arnoud, dat heb je goed.

Mark Vletter:
[52:07] Het is wel even een hele mooie. Waarom AI een man is? Ik denk dat je daar eens een LinkedIn-post over moet gaan.

Randal Peelen:
[52:14] Miljoenenvis. Het kan bijna geen vrouw zijn. Ik had dit idee over die nuggets, want er was een keer een discussie geweest op Reddit en toen had een wiskundige dat uitreekt. En toen had ik, ik weet niet precies, maar dat kan ik me herinneren. En kijk, wat ik heel snel vond werken is, nou ik had al eerder met Cursre A iets gemaakt, dus daardoor kon ik makkelijk bij mijn server daar op development omgeving snel in elkaar bouwen. Want dat is lekker snel. Ik heb het in bad gedaan, want ik zat in bad. En toen maakte ik dus eerst die website. Mooi is dan. Heb je al best wel een site die ziet er wel aardig uit. Gewoon een beetje modern al. Maar toen later zei ik, maak de site mooi. Enter. Nou. Fucking help, de vonken vliegen er van. Tenminste, ik weet niet meer hoe die er precies uitziet, maar Jeur heeft hem net nog gezien. Het is geen lelijke site, laten we eerlijk zijn.

Mark Vletter:
[52:59] En toch zie ik hem daar echt wel vaak de fout in gaan. En ik heb heel vaak gezegd: ik wil ja, het ziet er prima uit. Je raakt hier een enter toezaan. Nou, komt er goed. Wat ik dus heel vaak heb gedaan, want als je heel veel user elementen moet gaan ontwerpen, dan wordt die eigenlijk steeds minder goed. Ik heb gezegd, gebruik standaard HTML5, Bootswap templates. En oh ja, dit is het voorbeeld open source template wat ik wil gebruiken. En iedere keer dat hij dus iets deed waarvan ik dacht. Vind ik ze mooi. Dan verwees ik hem dus gewoon naar template. En dan kun je onwijs mooie UI's maken. Maar als jij zegt, ik vind dit een mooie look met een beetje glas. En je stuurt een screenshotje of je stuurt zelfs een link naar die pagina. Nou, het wordt er echt niks vragen van. Nee. Dus ja, wederom bij de hand nemen. Wat bedoel je nou precies?

Randal Peelen:
[53:46] Op onze slack ook iemand plaatst een video waarin een guy op een gegeven moment zegt, en sindsdien zie ik het ook overal, dat zij. . AI's hebben een voorkeur voor paars. Heel veel sites die je Fibercode zijn in het paars. En die gaf ook een heleboel voorbeelden. En die deed ook een paar keer zo voor. Laat hij een website maken. Er zit heel vaak een paars gradient in, naar een andere kleur. Of het wijzen niet ook. Ja, toen dus ik een andere site, daar zit ook nogal iets in wat mij is opgevallen. Ik ben nerdwijzer. nl gaan maken. Dat is eigenlijk stemwijzer voor nerd. Maar wat ik toen heel erg duidelijk deed was ik had dus cursor direct gekoppeld aan mijn server. Want als het stuk is, is het stuk I don't care. Die moest de site gaan bouwen. Maar ik had natuurlijk wel heel veel hulp nodig bij het verzinnen van de stellingen, het onderzoeken wat partijen daarvan vinden. De link naar de partijprogramma's en de pagina waarop dat dan staat.

Mark Vletter:
[54:38] Supertekst georiënteerd.

Randal Peelen:
[54:39] En toen, dat deed ik dan bij ChatGPT. Dus daar heb ik al sinds jaar en dag een betaald abonnement. Ik heb daar echt veel te veel, echt gênant veel geld aan betaald. En dan heb je dus die deep research mogelijkheid. Dus het eerste wat ik heb gedaan is zeggen, oké, dit zijn de vier hoofdonderwerpen waarover ik een stemwijzer wil maken. Dus ik heb klimaat erin gegooid. Ik ken nerds, zit op die slack. Het gaat niet alleen maar over computers, het gaat ook over het klimaat en energie. En dat is alle nerds houden daar ook van. En van elektrische auto's vinden ze ook automatisch. Dus ik snap nerd. Dus ik heb toen die categorieën en toen zei ik, nou ik wil per categorie zoveel vragen in eens, dan had ik twintig vragen, dus vijf per onderwerp. En Toen ben ik dus gaan praten van oké, hoe maak ik die vragen zo duidelijk mogelijk? Kun je dan taalniveau B1 een omschrijving erbij doen? Enzovoort, enzovoort. Maar toen kwam het mooi. We hebben zo'n deep research, en dan zet je GPT op thinking en zeg je, oké. Voor deze 15 partijen, dat zijn de partijen die op dat moment in de pijlwijzer op één zetel of meer stonden. Dus niet alle partijen, want ik bedoel, dan blijf je bezig. Alleen die echt in de Kamer komen. En. Zoek een partijprogramma en onderzoek wat hun standpunt is over die stelling. Alleen als je dat op thinking zet. En op deep research, dan zul je zien dat de resultaten altijd kloppen. Want dat is wel pakking pro tip van de eeuw. Zeg wel, geef me je bron en laat me zien waar het stond. Als je dat erbij prompt. Hallucineert hij bijna nog. Doet de Deep Research functie dat niet automatisch al? Gemini wel. En het nadeel voor mij is: Ik was al begonnen met Nerdwijzer. voordat alle partijprogramma's af waren. Dus daar moest je soms ook uit het nieuws oppikken. Maar goed, op een gegeven moment. . Ik had dus echt een prompt van een half aar vier'tje of meer. Wat dat steeds kon doen. En toen zei ik gewoon voor vraag 15 voer dit prompt uit. Nou, op een gegeven moment waren mijn deep research credits op. Dus toen deed ik het enige wat je kunt doen. Een duurder abonnement bij ChatGPT nemen.

Mark Vletter:
[56:37] Ja, ik betaal inmiddels ook maar helemaal blauw.

Randal Peelen:
[56:40] Ik wil niet eens hardop zeggen in een podcast hoeveel ik eraan heb betaald. Dit is 200 euro liever. Maar ik zat in die hypofocus. Ik moest dit afheben. Ik had, net als jij zei in je nieuwsbrief: op een gegeven moment, die dopamine vloeit rikelijk. Je bent verslaafd.

Mark Vletter:
[56:54] Je speed op. Maar daar moet je echt wat aan doen ook. Want je. Iedere keer weer dat hij het weer. Iedere keer het puzzeltje. En dat is best wel ingewikkeld puzzelje. En dan legt hij weer het stukje. En dan. Dan is er nog wel een stukje. Precies. Maar mijn ADHD-hoofd ging daar fantastisch om.

Randal Peelen:
[57:10] Ik geniet. Nog steeds met volle teugen, behalve dan nu zie af. Dus ik vind die site gewoon klaar, niks niks meer gaan doen. Ik heb geen zin meer nu. Maar toen had ik dus 200 euro betaald, en dan krijg je opeens ChatGPT 5 Pro. Met deep research. Nou jongen, dat ding zit een kwartier te ronken op die partijprogramma's. Maar er komt me een onderbouwing. En die vraag om dat. Ja, prima. En toen heb ik, ik heb zelfs dus iemand van D66. Door dat fucking standpuntending laten gaan. En zegt je. Ja, dit is spot aan. Ik had nul feedback. Alleen, dat komt. Kijk, ik heb wel. Ik heb dat zo vaak gedaan dat ten eerste mijn credits op waren. En ik had echt wel een monsterquerom hel hoor. Ik bedoel, ik kan hem hier laten zien dat. Dan moet ik echt wel omschrijven wat ik zoek. En die scoren en zuiden van de. Daar heb ik wel een groot rond ervoor. Maar goed, daar zat dus echt een heel deel van de tijd. Want kijk, die interface bouwen met knopjes next en dat die je antwoorden onthoudt enzovoort. Dat lukt allemaal wel. Dat kan Jurjan ook. Alleen dat uitzoeken van die partijstandpunten was daar. En wat mijn belangrijkste learning was, je moet wel echt creatief zijn. Je moet snappen, oké, ik ga ChatGPT hiervoor gebruiken, ik ga cursor daarvoor gebruiken, ik zet het daar op mijn servertje. Die partijstandpunten zet ik in een JSON-file. Want als ik dat en dan kan ik het ook client site met JavaScript laten uitlezen. Dan heb ik geen servercapaciteit nodig. Niks.

Mark Vletter:
[58:35] Al die dingen van tevoren stellen. Ja, maar dan moet je niet zo alleen snappen. Je kunt het ook van tevoren stellen. Want ik had namelijk al heel lang niks gedaan met frontend talen. En ik dacht van nou wat ze. En wat ook heel erg helpt. A, een AI is heel goed in vraagstukken die hij vaker heeft gezien. Sterker nog, als het een nieuw vraagstuk is, gaat hij het niet kunnen oplossen. Zelfs met voorbeeldcode kom je niet ver. En dan kan je vertellen dat als je aan het programmeren bent, je lang niet altijd met stande problematiek bezig bent. Ten tweede is hij goed in talen, waar veel voorbeeldcode van beschikbaar is. Want zo lang taalagnostisch is die lang niet altijd. Dus bijvoorbeeld. Swift, codetaal van Apple, is gewoon minder voorbeeld code van beschikbaar dan van Django, Python of van Node. js. Webtalen, doe maar een HTML5, de bootstrap template, bootstrap kent hij hartstikke goed. Als ik zeg ik wil daar een soort op hebben, dan weet hij precies welk welk CSS dingetje die er aan toe moet voegen. Dus. Het gebruiken van standaarden, het bevragen van wat zou hier de beste oplossing voor zijn, hartstikke interessant. Brengt me ook bij een ander tof ding wat je kunt doen. Waar is die heel goed in? Refactor van oude code. Ik ben een bank en ik heb nog een aantal archiefsystemen draaien. 70% van de capaciteit van ICT-teams gaat over het algemeen zitten naar het onderhouden van die oude systemen. Moet je voorstellen dat je die eruit kunt halen. Dat je die lood naar 30% kunt brengen. Hoeveel capaciteit je overhoudt voor nieuwe dingen. En dan kun je dus zeggen, dit was de oude taal en dit is hoe het werkt. En oh ja, wil je daar even.

Randal Peelen:
[1:00:05] Hogemersi gaan dan allemaal voor aan, maar zo hebben we het altijd gedaan. Je moet niet denken dat je beter weet dan wij. Dat gaan ze toch niet verlossen.

Mark Vletter:
[1:00:11] Ik doe dit werk als in 1979, Kobel. Maar los daarvan, je kunt dus ook bijvoorbeeld zeggen, ik wil dat je een taal kiest die energiezuinig is. En heel veel van de code die wij op dit moment schrijven, is helemaal niet energiezuinig, omdat er een enorme overheid op zit.

Randal Peelen:
[1:00:30] Dat is ook geen criterium, nooit geweest.

Mark Vletter:
[1:00:32] Nee, nooit geweest. Omdat het namelijk, we gooien wel meer eisen tegenaan, omdat developmentcapaciteit mensen. Ja, sorry. Gewoon meer hardware betalen we voor. Omdat het namelijk gewoon simpel goedkoper is dan mensen erop inzetten. Maar dat soort veranderingen brengt. Code met AI wel te weten, dat is echt wel interessant.

Randal Peelen:
[1:00:50] De meeste sea-level figuren die een bedrijf aansturen, ook geen flauw benul hebben, of het efficiënt is of niet. Dat maakt ook niet zo heel veel uit.

Jurian Ubachs:
[1:00:56] In een van je blogs staat er ook een cijfer over hoeveel procent van de Amerikaanse stroom internation. 28 geloof ik gebruikt zou worden door dit soort AI. En dat ligt op 12% of iets dergelijks. Wat jij dan ook in je blog aans aanstipt. Dat het meest pijnlijk is dat 40% van daarvan überhaupt nooit enige rol gaat spelen in een werkende applicatie.

Mark Vletter:
[1:01:17] Nee, klopt. 40% van die AI-code wordt weggegooid? En heel veel van de. jij hebt het nu zinvol gebruikt voor je deep research project. En de kipnubers. En maar de kipnubers maak je een punt mee. Maar heel veel mensen zijn gewoon tegen AI, doe een receptje voor vanavond. Ik kan je vertellen dat het aan stroomverbruik hele dure receptjes zijn. En wat dat betreft is goed dat die large language models steeds energiezuiniger worden. Want dat is ook wel nodig. Weet je wat het meest vervelende is van die datacentra trouwens? Weet je welke plekken die worden gebouwd? Waar waterschaars is, en waar mensen die waterkaart nodig hebben en waar het economisch relevanter is dat dat datacentrum is. Omdat daar de grond goedkoop is. En dus krijg je zometeen dat mensen geen toegang meer hebben tot gezond drinkwater, omdat er een datacenter gebouwd is. En dat is geen grapje.

Jurian Ubachs:
[1:02:04] En die datacenter heeft al het water nodig voor koeling en dat soort dingen. Ja, en dat komt er dus niet schoon uit.

Mark Vletter:
[1:02:08] Dus. De maatschappelijke, waar speelt het probleem? Het speelde zelfs bij de supercomputer die. XAI heeft gebruikt. Daar stonden allemaal losse soorten, ja, even aggregaten aan de buitenkant om dat datacentrum aan te kunnen sturen. En dat stoten zoveel giftige gassen uit dat de omgeving daar gewoon ziek van werd. Maar dat is een hele arme wijk waar dat gebeurt. Dus daar is amperen.

Jurian Ubachs:
[1:02:35] In welk land was dit dan?

Mark Vletter:
[1:02:36] Amerika zelf.

Jurian Ubachs:
[1:02:37] Ook Armland inderdaad. Armland.

Mark Vletter:
[1:02:41] Ja, maar het speelt veel. Dat je ziet dat omdat grond goedkoop is, stroom relatief gezien goedkoop is, maar water dan ook. En de. . Het vieren dat er een Google of een Twitter of een of X in jouw regio wat komt doen, wordt vaak politiek gezien als iets heel groots gezien, maar de consequenties ervan, dat hebben we ook gezien met datacentra in Nederland. Dan dragen we wel naar met elkaar.

Arnoud Wokke:
[1:03:06] En in Nederland speelt dan niet dat het drinkwater dan op is. Maar dan staan er bijvoorbeeld in de Wieringen meer in Noord-Holland heel veel windmolens, maar al die stroom die gaat Naar dat greenwasher van de carbon footprint van Microsoft en Google.

Mark Vletter:
[1:03:18] Ja, en vervolgens hebben we geen ruimte om nieuwe zonneparken aan te sluiten omdat de stroom net vol zit. Ik vind daar wat van. Wat vind je daarvan? Ja, ik ben daar geen groot. Je geeft je bedrijf niet terug aan de maatschappij omdat je denkt dat het goed gaat met de maatschappij. Omdat er iets fout zit in ons economische systeem. En dat zie je hier ook weer in uitgebroken, vergrote versie. De snelheid waarmee dit allemaal gebeurt en we het maar gewoon live duwen. We hebben allemaal het geintje met Megar Hitler meegekregen. Met dank aan XAI die zijn grok model. Internet opslingert die zo racistisch als het maar wezen kan blijkt te zijn, en dat gewoon 18 uur lang open staat. En dat is alleen maar, doe maar zo snel mogelijk. Doe maar zo snel mogelijk. Want we zijn ook een rat race met elkaar aan het doen over wie de slimste AI kan hebben. En wat dat betreft is goed dat die keur van het afvlakken is. Want op dit moment worden heel veel datacenters gebouwd voor AI. Als extra rekencapaciteit niet meer zo heel veel uitmaakt, omdat de trainingsdata onder andere op is en alle nieuwe trainingsdata die erbij komt, vervuild is, het is vermaakt met AI. Dan houd dit vanzelf op.

Arnoud Wokke:
[1:04:25] Maar een podcast waarin heel enthousiast wordt gepraat over wat je allemaal in elkaar hebt gevipcoat. Dat voed een beetje die rap race.

Mark Vletter:
[1:04:32] En daarom heb ik er dus ook een heel eerlijk artikel achteraan gezet. Wat ik echt werkelijk zit, dat we op piek hype zitten van die AI. Omdat het, en ik heb, ja, natuurlijk gebruik je klik bij titels, want je wil dat het artikel gelezen wordt. En een van mijn collega's zei na het eerste artikel: Ik las de titel van dat artikel. Ik denk nee. Wat doet hij nou weer? Het mag schelden. Toen zei hij, heeft hij daarna de hele serie geschreven. Als je de hele serie blogs leest, dan is het super mooi in balans. Maar die allereerste denk ik echt van wat doet hij nou? En ik heb developers bij andere bedrijven hebben gehad die echt naar hun. CTO te kwamen en zeiden: Jij kent die flatten toch? Dat heb je gezien wat hij online heeft. Ik wil wel even met die gasten in gesprek hierover, want dit is echt wat een aperte onzin. Maar ik denk dat het in zijn totaliteit een heel erg in balans en artikel is en als je echt diehard. Nee, geldt voor iedereen. Als jouw baan op een gegeven moment bedreigd wordt door een andere technologie, dan is de eerste reactie altijd dat een beetje bevechten en zelden dat omarmen. Ik had op een gegeven moment een tekstreister die zei van die schreef UX-teksten voor applicaties. En die zei, ja, maar dat gaat AI echt niet vervangen. En op dat moment had ik al een AI draaien die voor onze applicatie automatisch en context aware, op basis van het openen van de webpagina en dus zien wat er op de rap van die webpagina gebeurt. Hele goede UX-tekst aan het schrijven was. En ik denk, ja, als je er niet zelf mee experimenteert, kom je daar niet achter. Maar je hebt wel gelijk. Maar ik vind dat altijd heel moeilijk. Ieder bedrijf wat bestaat heeft uiteindelijk een footprint. Of je het nou wil of niet. Je kunt al je CO2 compenseren, maar simpelweg door te bestaan en te eten. . Heb je de prullenbak gezien hoe vol die zit? Dat verdwijnt niet. Dat afval wat wij produceren met elkaar. Het enige wat we kunnen doen is het zo goed mogelijk doen en ook zo goed mogelijk uitleggen wat er dan wel kan. En onder andere dus zeggen van als je een applicatie bouwt. Denk er dan eens over naam van tevoren na te denken over de taal, zodat zo'n energiezuinig mogelijke applicatie wordt. Om maar even een voorbeeld aan te halen. En ik vind het heel interessant, daar zijn we nu niet. Ik vind digitale soevereiniteit een heel belangrijk onderwerp. Dat wij als Nederland toegang hebben en beschikken over onze eigen systemen. Heel veel bedrijven kunnen niet zomaar die AI-toepassingen en applicaties gebruiken als Claude, als het ChatGPT, omdat die data namelijk ook naar de steeds toe gaat. Er zijn de open source modellen die er op dit moment beschikbaar zijn, zijn ontzettend goed. En die kunnen we ook gewoon lokaal draaien op Nederlandse datacentra. En ik zou het best wel interessant vinden als we daar nou eens. gezamenlijk wat mee zouden doen. . Zodat niet iedereen zelf aan het uitvinden is welk large language model nou goed werkt en welke vector database en rach je nodig hebt. En wat nou de beste workflow engine is? Nee, dat we gezamenlijk daarnaar kijken en daar een goed Nederlands alternatief hebben door gewoon die samenwerking aan te gaan. Zodat niet het ziekenhuis en de gemeente en de politie allemaal zelf aan het uitvinden zijn. Wat eigenlijk gewoon gezamenlijke kennis zou moeten zijn.

Randal Peelen:
[1:07:48] Precies wat jij nu omschrijft, ik was laatst op kantoor bij een start-up die het. Green PT. En ik zie dat een beetje als een Nederlandse start-up die eigenlijk die open source modellen lekker laag terug mogelijk maakt. Ik bedoel. Ik kan het op mijn laptop draaien, want ik heb zo'n M3 Max en die draait sluitend die open AI modellen. Dus dat is fijn. Maar het is lekkerder dat je er gewoon met een appy bij kan en via een website. Maar hun verhaal is niet zozeer het is Nederlands, maar ook heel erg, we willen het zo groen mogelijk doen. Wat eigenlijk hand in hand gaat met wat een heleboel mensen vinden. Ik zit me net te realiseren dat ik nog vergeten was om hen een keer uit te nodigen. Want ik mag van Jurijan nu een maand niet meer over AI podcasten. Maar het vond natuurlijk weer een moment. Dat dit wel leuk in mensen zijn om uit te nodigen.

Mark Vletter:
[1:08:35] Om uit te leggen wat nou welke componenten je nou nodig hebt om dat soort systemen te bouwen. Wat is nou een vector database? Wat is nou RAG? Wat is nou precies een LLM? Wat doet zo'n MCP? Het is best wel interessant om daar eens de diepte in te duiken. Omdat dat namelijk iets is wat ieder bedrijf nodig gaat hebben op het moment dat ze op een serieuze manier. Daarmee bezig gaan. . Ik ken ook niet alle woorden die je net zei. En dat is al goed. Want als je echt met nerds aan tafel wil over dit soort onderwerpen, dan mogen we best een beetje inderdaad wat meer die tech en die diepte induiken. En dan is het heel leuk om te kijken naar wat zijn daar dan de open source spelers in. Sterker nog, daar zitten hele leuke Nederlandse partijen in die daar echt wel toffe dingen aan het doen zijn. En bijvoorbeeld N8N, Nathan, Workflow Engine, is een beetje zaapier of make-achtig. Met AI te downloaden.

Jurian Ubachs:
[1:09:23] Super hippe tool. Ik durf even een blast ondepest, want heel vroeger vroegen wij onze gasten er wel eens. Wie zou je aanraden om hier aan tafel te komen? Je lepelt net op dat er heel veel toffe dingen gebeuren vanuit Nederland op dit vlak. Wie zouden wij hier aan tafel moeten zetten om hier nog verder over door te praten?

Mark Vletter:
[1:09:37] Oh, dat vind ik heel moeilijk.

Jurian Ubachs:
[1:09:39] Je mag ook antwoorden met ga ik jullie ga ik op terugkomen en dan jump ik je in LinkedIn. Ja, dat ga ik zeker doen. Dan blijft het wel spannend voor de luisteraars.

Mark Vletter:
[1:09:47] Wat ik voor de luisteraars wel heb, ik hou zelf dus gewoon een openlijstje bij van alle AI-tools die ik gebruik. Gewoon ook in mijn dagelijkse werk. En wat er daar dus ook lokaal van is. Bijvoorbeeld Jan. ai, een soort open source tegenhanger van ChatGPT. Kun je gewoon op je computer draaien. Kan ook teksten voor je genereren. Lekt geen enkel persoonsgegeven naar buiten toe, want draait lokaal. Voice typer hadden we het net al over. De meeste mensen in Nederland typen niet heel snel. Wij nerds typen heel snel. Maar als je tegen je computer aanpraat, haal je ongeveer 140 woorden per minuut. Dapper jongen die dat eruit typt.

Randal Peelen:
[1:10:22] Wat is het verschil tussen Jan AI en LM Studio? Geen idee. Jan AI ziet er wat mooier uit.

Mark Vletter:
[1:10:28] Ja, heel eerlijk, ik ga altijd wel een beetje plat op mooi, want mooi is namelijk ook meestal gebruikersvriendelijk en dan bereik je er meer mensen mee. En het mooie van Jan is. Ondersteunt MCP's. . Ik kom daar iedere keer weer op terug, maar die MCP's dat is echt toffe shit om mee te experimenteren.

Randal Peelen:
[1:10:42] Omdat hij eigenlijk zorgt dat die model ook. Toegang kunnen krijgen tot iets echt doen op je computer.

Mark Vletter:
[1:10:48] Precies, het gaat van denken naar doen. En dat is echt een wezenlijk, wezenlijk verschil. Wat heel leuk is, is dat Markdown een beetje de universitessele taal van documenten aan het worden is. Even voor jouw beeldvorming. Als jij een DOCX bestand bekijkt en hoeveel overheid erin zit. Als jij één regel tikt en op opslaan drukt, hoe groot dat bestandje wordt, dan denk je echt wat gebeurt daar? En die dat is voor een AI heel moeilijk leesbaar, omdat het zo ontzettende bende is aan syntax en opmaak en troep. Terwijl Markdown is gewoon een hele schone syntaxtaal. Een beetje Jason, maar dan nog cleaner. Dat kan een AI heel makkelijk lezen. Dat is een beetje de universitele taal van de AI's aan het worden. Er gebeuren gewoon best wel leuke dingen mee. En ja. Ik vind het zelf altijd heel leuk om mee te spelen en daarin anderen dus ook mee te nemen. En ik denk dat het goed is, dat je dat als nerd ook altijd een beetje doet voor je. Voor je omgeving zonder dat je iedere keer de pc aan het repareren bent.

Arnoud Wokke:
[1:11:42] Nee Mark, bestaat over 15 tot 20 jaar het vak developer nog of hebben we dan alleen maar fivecoders?

Randal Peelen:
[1:11:50] Ik heb daar nog een grappige anekdote over trouwens.

Mark Vletter:
[1:11:56] Ik denk in ieder geval dat we de komende 15 jaar geen superintelligentie hebben. Dus wat dat betreft bestaan wij nog. Dat vind ik al een leuk uitgangspunt. Dus laten we daarmee beginnen. Ik denk dat developer dan er radicaal anders uitziet. Ik denk sowieso dat een hoop van het administratieve werk wat we nu doen vervangen gaat worden door mensen die AI's aan het aansturen zijn. Ik noem het altijd augmented work. Ik denk dat AI niet.

Randal Peelen:
[1:12:19] .

Mark Vletter:
[1:12:20] Zozeer vervangt, maar vooral versterkt wat je kan. Een beetje je superkrachten geeft. En ik denk dat dat voor development ook.

Jurian Ubachs:
[1:12:28] Zo is. Wat ik er steeds over hoor, is AI gaat mensen niet vervangen, maar mensen die AI kunnen gebruiken, gaan wel mensen vervangen die geen AI kunnen gaan. Ja, daar ben ik echt wel van overtuigd.

Mark Vletter:
[1:12:38] En ik denk ook wel dat het. Je taak is in organisaties om je hele organisatie daarin mee te nemen en iedereen te zorgen dat die mee kan komen. Want niet iedereen is even digitaal vaardig. En dat vergeten we heel snel. Dat vergeet was nerd heel snel. Wij denken altijd dat iedereen weet dat al dat is. En je zult erover verbaasden aan hoeveel mensen die hebben.

Randal Peelen:
[1:12:56] Ik had een collega die kon een shift key. Die moest elke hoofdletter, capslok, aan en capslok weer uit. Ik ging kapot. Ik kon er niet aankijken. En die gast heeft dat gewoon nadat ik hem shift heb leren kennen, nog steeds blijf doen. Het zat gewoon mussel memory. Ik ging kapot.

Mark Vletter:
[1:13:10] Ik kom er niet tegen. Dat is ook het meest bijzondere. Ik praat veel met mensen die AI-appliaties bouwen. Die bouwen dan een fantastische applicatie die echt een deel van het werk overneemt wat mensen doen. Het scheelt ze wel drie uur aan administratieve werk per week. Ze trainen daar tien mensen in. Twee omarmen dat en die andere achter het doorverstoeren. We zijn zo niet gewend aan verandering en veranderen.

Randal Peelen:
[1:13:31] Ik had laatst een goede vriend van mij, Robert Jan Huisman, over de vloer, samen met zijn vrouw, Danny. En die. Zijn allebei programmeur. En ook allebei op enig niveau. Robert Jan is nu bezig een nieuwe programmeertaal te bouwen die dus gedistribueerde systemen makkelijker te develop maakt. En Toen omschreef ik aan hen zo van oké, dit heb ik gedaan met Nerdwijzer. En wat ik net zat te vertellen hier, dat heb ik daar ook verteld. En zij zei op een gegeven moment, net zoals dat ik ooit naast Lawrence heb gezeten. Dat we eigenlijk met z'n tweeën. Kijk, hij kon niet verzinnen wat ik nodig had, maar ik kon niet bouwen wat hij typte. En toen zeiden ze, wat jij nu aan het omschrijven bent, jij doet dat steeds heel grappend af als vibecoding. Want daarmee zet je jezelf een beetje voor schud. Terwijl wat je doet, eigenlijk best wel gedegen manier van het doen. Ook al develop je op live. Je bent wel best wel stap voor stap en je snapt heel goed. Je kunt alle code die daar staat wel lezen. Je bent gewoon product and onicenspage. Maar zij zeiden van wat jij doet, ik snap dat je het fibecoding moet, maar eigenlijk is het per programming. Eigenlijk is het gewoon met z'n tweeën iets bouwen, alleen de ene is geen mens. En toen dacht ik, als je het zo wil zien, dan denk ik ook dat het hele frame van mensen vervangen Deels niet terecht is, want je bent inderdaad mensen aan het leren samenwerken. Samen laten werken. En je bouwt een legertje mensen dat vroeger niet bestond. Maar dat wil nu niet zeggen dat mensen echt vervangen. Maar ik vind die live. Het is veel productiever. Het is een hulpmiddel.

Jurian Ubachs:
[1:15:00] teams kunnen hebben. Jij zei net, bijvoorbeeld als ik even het bankenvoorbeeld erbij pak, jij zegt van nou ja, als die lood die er is door het onderhouden van oude systeem als het van 70% naar 30 of 40 procent gaat, dan krijg je veel meer ruimte om andere dingen te doen. Ik hoor dan, dan krijgt de bank veel meer ruimte om een heleboel mensen naar huis te sturen, want die hebben ze dan niet meer nodig. Ja, maar zo werkt het niet.

Mark Vletter:
[1:15:20] Dat hoop ik dan. Maar kijk naar de industriele revolutie en de digitale revolutie. We hebben niet minder werk tegenwoordig. Niet iedereen zit werkloos thuis. Het is nog nooit zo geweest dat een innovatie dat heeft beter te werkstellen. Dat is natuurlijk wel de angst. Maar even ook heel realistisch. Want dat vergeten wij iedere keer. Wij zijn kenniswerkers en wij zitten op LinkedIn. Dus we zijn ook omgeven door kenniswerkers. Dus we denken dat iedereen kenniswerk doet. De beste schatting is in Nederland en de hoogste schatting is dat zo'n 30% van ons kenniswerk doet. De rest zit op de vrachtwagen, staat aan het bed. Staat in de winkel, verzorgt mensen thuis. In alle eerlijkheid alles wat we sommigen zeggen, in de corona primaire functies noemden: het echte werk. Ik wil hem best wel zo gezegd hebben.

Randal Peelen:
[1:16:04] Een laptopklas als die een dag thuis blijft, heeft niet iedereen daardoor.

Mark Vletter:
[1:16:07] Nee, klopt. En sterker nog, we kunnen ook wel langer een dag thuis blijven en dan heeft nog steeds niemand erdoor. Dus dat is even het realistische beeld. Stel je nou voor dat dat inderdaad 30% is en wij worden door AI 30% productiever in de komende 5 jaar. Dan kunnen we minder werken. Dan zouden we minder kunnen werken, maar hoeveel invloed heeft dit op de economie?

Randal Peelen:
[1:16:26] Die zitten toch al de halve dag op slekken, een beetje te oude hoeren met elkaar. Die doen al de helft van het werk dat ze zouden kunnen.

Mark Vletter:
[1:16:31] Ja, en dat niet alleen. Die zitten ook nog de andere helft van de tijd vaak bejewel te spelen op hun telefoon. Dus ja.

Randal Peelen:
[1:16:37] Spreel je toch beweled, ja?

Mark Vletter:
[1:16:38] Je ken mensen die dat nog steeds doen.

Randal Peelen:
[1:16:40] Ben je nou helemaal bejood?

Mark Vletter:
[1:16:41] Ja, maar heel eerlijk, ook al maak die AA ons 30 of 40% productiever in de komende vijf jaar. We gaan het niet voelen in de economie, omdat er maar een hele kleine groep is die kenniswerk aan het doen is. En het merendeel zijn we nog steeds aan het voldoen met het schrijven van documenten die nooit iemand zal lezen. En documenten überhaupt die eigenlijk geprint zouden worden. Terwijl we als het goed is nooit meer printen.

Randal Peelen:
[1:17:01] Maar hier zit wel een frustratie voor mij, want ik ben dus best wel lyrisch over. En ik ben net als jij soms nachtlang verslaafd geweest aan het bouwen van een website. Alleen, ik merk ook wel om me heen heel veel, maar niet zozeer Maar ook best gewoon skepsus. We had de laatste discussie met mensen omheen van moet je als je. Bijvoorbeeld op Slack iets neerzet, daar wel bij zetten of dat er met AI gegenereerd is of niet. Ik had een soort van heel controversieel standpunt. Ik zeg nou. Ten is, dat bericht is niet wel of niet door AI gegenereerd. Ik heb daar zo'n dijk van een prompt voor geschreven. Dat is voor mij een hulpmiddel om te komen tot iets wat ik ook zelf had kunnen schrijven. Maar dan had ik er drie uur de tijd voor nodig gehad. Nu heb ik het wel. Het komt uit die. Maar ik heb nog. Ik denk misschien wel nog nooit in ChatGPT een tekst gekopieerd en in één keer in Slack geplakt of in mijn e-mail. Ik heb dat altijd weer herschreven, maar ik heb wel heel vaak gezegd: maak deze tekst compacter. Maak hem leesniveau B1. En dan schrijft hij zin in. Waarvan je van werkt. Dat is een slimme zin. Je maakt je promotiepraatje voor de Slack wel steeds beter. Maar ik vind. Dat op het moment dat ik dat gebruik als hulpmiddel om met mijn dyslectische ergs een goede tekst neer te zetten, of dat ik dat heb gedaan in Microsoft Word en dat ik grode kringeltjes. En dan spellingsverschijn ook nog beter. Hoe heet die tool ook weer die het. Grammarly, Grammarly heb gebruikt. Dan krijg ik nooit naar mijn kop. Oh, je hebt de AI gebruikt. Maar het is wel Grammarly. Dat is dus een tool die je grammaticaal beter maakt. Alleen. Bij AI is het een soort van knee-jerk reactie, van dus dan is het niet betrouwbaar of dan heb je vals gespeeld.

Mark Vletter:
[1:18:34] Maar weet je, er zit een dubbele kant al, want jij benadert het nu vanuit van hé, dan heb je vals gespeeld. Waar wij het veel voor gebruiken is dat we het melden dat we het doen om aan te geven hoe het komt dat mijn productiviteit hoger ligt en met welke tools ik dat doe. Dus ik heb bijvoorbeeld, ik had hetzelfde als jij, ik had een enorme lab tekst geschreven gewoon en die had ik ingesproken met mijn voice-typing dingetje. Vervolgens dacht ik, ah, dit is een beetje hetgeen wat we moeten uitzoeken. We hebben een eigen chatbot ontwikkeld. En de grote vraag is: ontwikkelen we die verder door of gaan we nu naar een commerciële oplossing? Want die chatbot hebben we niet gebouwd omdat we een chatbot wilden bouwen, maar om te leren hoe je een AI chatbot moest trainen, ze doel als anders. Maar dat ding performt veel te goed. Draait volledig op eigen open AI. Lekt niks naar. Nou, best wel interessant projectje aan het worden. Dus ik zat onwijs in dubiel, wat moeten we daar niet mee? Dus ik heb dat hele verhaal tegen zitten typen en vols heb ik gevraagd samen met ChatGPT om in een format wat ik zelf heb bedacht. Daar een projectdocument voor aan te maken. Maar wat ik wel heb gedaan is zeg. Ah dit projectdocument is geschreven door AI. En die heb ik daarnahandig nagekeken. Is dit goed in elkaar? En dit was mijn inputpromp waarmee ik het heb gedaan. En dit was mijn input content. Want daar zit namelijk ook leren in. En ook voor mezelf, als ik nog iteraties wil doen, dan kan ik het terughalen. Er zit een soort traceability factor aan.

Randal Peelen:
[1:19:48] En wat vind je van het feit dat die content nu dan ergens bij ChatGPT op de server staat?

Mark Vletter:
[1:19:52] Ja. Heel eerlijk, ik doe dit dus alleen maar met content waarvan het mij niet uitmaakt dat het eventueel bij ChatGPT op de server staat. Ik doe dit niet met content. Waar persoonsgegevens bijvoorbeeld in zitten, e-mailadressen van collega's, daarom draai ik. Ik vind die ook lastig.

Randal Peelen:
[1:20:06] Ik heb bij ChatGPT in ieder geval al die vinkjes uitstaan. Je mag met mijn data trainen. Het komt ook omdat je betaalt dat je dat kan al maximaal. Ik heb wel een keer documenten dan wel van mezelf, niet van mijn bedrijf, maar erin gezet waarvan ik denk, ja nee, deze moeten niet op straat komen. Ik ga niemand een export ooit van mijn chatgeschiedenis geven. Never. Mijn eigen partner nog niet. Alleen die documenten, of dat ik ze nou op Google Drive zet, waar ze in theorie. Door de Amerikaan te bekeken. Of bij ChatGPT. Voor mij gevoelsmatig niet rationeel. Gevoelsmatig is niet anders.

Mark Vletter:
[1:20:41] Maar wat ik schandale.

Randal Peelen:
[1:20:42] Voor mij in plek Arnhoud kan er niet wij. Trump wel.

Mark Vletter:
[1:20:46] Maar die kan er in beide gevallen bij. Dus ik vind het wel belangrijk dat als jij informatie erop zet, dat je er content. . of akkoord mee moet zijn dat een AI daar wat mee gaat doen, want dat is meestal het geval. Het is schandalig dat je moet betalen om dat niet te laten gebeuren, want er zijn heel veel mensen die kunnen dat helemaal niet betalen. En dus betaal je in wezen voor het feit dat dat wel mag. En ik snap ook dat een AI het wil kunnen gebruiken om te leren. Want er komt niet zoveel nieuwe trainingsdata meer. Maar als je het privaat wil houden, draai je het lekker lokaal. En die lokale modellen zijn hartstikke goed. Ja, dat is waar. Heb je wel weer een krachtige laptop nodig die dat voor ons weer aan kan?

Randal Peelen:
[1:21:22] Nou, je kunt heel wat maanden 200 euro per maand naar ChatGPT sloten en of een laptop van 5000 euro. Dan is de ChatGPT nog steeds wel krachtiger. Want ik heb nog geen goede die ook echt mooie plaatjes maakt. Dat is wel jou. Nee.

Jurian Ubachs:
[1:21:34] Het is altijd. Je ziet altijd het AI-sausje te dik over al die dingen die gemaakt worden.

Mark Vletter:
[1:21:39] Ik heb de AI getraind. Met mijn eigen taal. Ik heb alles wat ik geschreven heb gewoon erin gestopt. En als ik nu vertegenwoordig teksten laat genereren.

Jurian Ubachs:
[1:21:48] Ja, teksten, maar ik bedoelde echt plaatjes. Plaatjes hebben op een of andere manier altijd nog een soort van AI.

Arnoud Wokke:
[1:21:55] Dat komt omdat je de AI-plaatjes die je niet herkent als AI, niet herkent als AI.

Mark Vletter:
[1:22:00] We hebben daar een test mee gedaan op het werk.

Randal Peelen:
[1:22:02] Ik geloof dat dat kan.

Mark Vletter:
[1:22:03] Ik ben fotograaf. 20 plaatjes. Ik had er 19 van de 20 goed. Ik had de hoogste score in het bedrijf. En de enige reden is dat ik fotograaf ben. Gemiddeld 70% inmiddels. Dus ik dacht: iedereen ziet dat dit AI is. Jij ziet dat omdat je weet hoe AI werkt. Je gemiddelde collega?

Jurian Ubachs:
[1:22:21] Je ziet waar zeg maar de pijnpuntjes. Je weet waar de moeilijkheden vaak liggen en waar je denkt.

Randal Peelen:
[1:22:26] Oh ja. En dat vind ik ook maar in de discussies die ik met mensen heb, die er heel cynisch over zijn. Ik merk heel vaak dat wat die mensen doen. . Kijk, Arnoud doet het ludiek. Die heeft zijn TikTok-kanaal waar hij zijn boek ping aan het aan het prijzen is. Dat boek Ping heeft nog geen uitgever. Maar Ping met uitgebreken. Gemaakt door Arnaud Wokken en Sarah Spoork hebben daar anderhalf jaar op zitten schrijven. Zoeken nog een uitgever. Voor een boek is het.

Arnoud Wokke:
[1:22:49] Heel even kort, vind ik leuk. Het is een roman over een jonge vrouw die verslaafd raakt aan sociale media. Tof? Ja, het wordt fantastisch. Het is fantastisch. Het is al fantastisch, maar het is nog niet uit.

Randal Peelen:
[1:23:00] Maar jij ging dus TikTok video's maken om een boek te promoten en op die manier hopen jullie een uitgever te vinden. Maar je had op een gegeven moment van. Wat weet AI over ons boek? . . En dan ging je in ChatGPT intypen. Vertel me alles over het boek Ping van Arnold Wokken en Sarah Spocker. Zo'n prompt. En dan doe je op enter. Maar dit is echt, dit gebeurt gewoon. Mensen zeggen dan, dat antwoord klopt niet. Jezus, wat is ChatGPT-dom? Ik denk, wat een waarloos prompt. De stomste prompt dat ik ooit heb gezien. Want zo werkt. AI niet. AI gaat dan voorspellen wat hij zou denken dat dat boek je moet zeggen: is: kijk op internet, dat is het eerste vinkje wat je zet, wat je kunt vinden over, en daar word ik zo boos van. De mensen die het meest cynisch zijn in mijn sociale bubbel, zijn allemaal krankzinnig slecht in prompten.

Mark Vletter:
[1:23:43] Ja, maar dat niet alleen. Wat ik dus ook, ik kreeg. . commentaar van mensen doe het expres daar dan wordt het leuk maar ik kreeg commentaar van mensen op linkedin programmeurs die en developers die zeiden van joh wat een absolute onzin En ik ben oprecht geïnteresseerd in waarom je vindt dat het absolute onzin is. Een vraag stelt: joh, ik ben heel benieuwd wat je dan zelf hebt gedaan met AI-programmeren, wat jouw ervaringen ermee zijn. Bleek ze er nog nooit wat mee gedaan te hebben? Dan denk ik van ja, hoe kun je nou zeggen dat het aperte onzin is als je niet serieus twee maanden erin geïnvesteerd hebt om echt te leren wat de technologie wel en niet kan? Zelfs met de onderzoeken. Ik krijg dan vaak onderzoeken naar mijn hoofd. Ja, uit dit onderzoek. Van 12 developers blijkt dat het 16% minder productief was. En dan is dat onderzoek een jaar geleden gestart. Dat is voordat MCP bestond, dat is voordat Clotcode bestond. Dan denk ik van ja, het is heel moeilijk om dit objectief te onderzoeken in de tijd die er nu is. En de bedrijven die gaan het als een malle lopen promoten. Want die hebben namelijk één doel. En dat is aandeelhouders, deelhouders, waarde. Ze zullen altijd het. maximale eruit halen en zeggen dat AGI eraan komt. En je bent er gewoon baat bij dat men dat vindt. Het is ook wel grappig hè. Microsoft roept op dit moment dat er straks geen. . . Dat alle Saa-services gaan verdwijnen. Want dat wordt met AI allemaal anders. Ik snap dat Microsoft dat wil. Want SaaS-services verdienen zij het minste geld aan. Want dat draait namelijk allemaal ergens anders. Dan kan je garanderen dat het alleen maar meer wordt. Maar ja. Als ik CEO van Microsoft zou zijn, zou ik dit ook in de wereld gaan lopen roepen.

Randal Peelen:
[1:25:12] Deze aflevering van onze podcast is fantastisch. En ik ben heel blij dat we zo meteen nog een bonus te gaan hebben. Want als het ublieft, dan kunnen we nog heel even verder. Gaan we nu afronden. Maar ik heb. Twee vragen die ik nog voor de bonus zou willen trekken. En Jurjan en ik waren het eens over de eerste vraag, want die hebben allebei geselecteerd. En dan geef ik Jurjan even voor aan. Ja, Ivo, volgens mij is dat Vibecoder Ivo, toch?

Jurian Ubachs:
[1:25:33] Ja, Ivo Tobi. Die vraagt hoe ga je ervoor zorgen dat er geen kennis en ervaring verloren gaat en junior junior devs nog steeds kans krijgen om het vak te leren. Ik snap de vraag. We hebben natuurlijk net een beetje de AI neergezet als de junior developer. Dus je die gaat opleiden als een junior developer, wie gaat dan de junior developers opleiden?

Mark Vletter:
[1:25:53] Maar dit geldt niet alleen voor de junior developer, dit geldt overal voor. Alle bedrijven die in Nederland zitten, zijn gebouwd op Nederlandse infrastructuur. Wege digitaal kennis. Onze kennisinfrastructuur. Je bent dus als bedrijf verantwoordelijk voor het opleiden van de volgende generatie. En dus neem je junioren aan. Altijd. En of dat nou een developer is of een finance iemand en of die nou wel of niet ondersteund wordt door AI, je leert ze daarmee omgaan. Maar je leidt die junior op. En het interesseert me niet of die gelijk productief is of dat het twee jaar duurt. Je hebt gewoon een maatschappelijke functie om dat te doen. En die maatschappelijke rol die je als bedrijf hebt, dat je jezelf niet buiten de maatschappij kunt plaatsen, maar er integraal onderdeel van bent. Dat zijn we vergeten door het huidige kapitalistische systeem. Dat is niet erg, maar daar gaan we wel naar terug. Het kan niet meer zo zijn dat Shelder niet geldt. Wij moeten daar naar terug. Het is de enige manier waarop we het gaan redden met elkaar. Want als jij steeds die consequenties van jouw gedrag kunt outsourcen, ik denk bij Shell, Shell dumpt de Niger Delta vol. Ik heb er als tanker geen last van dat Shell dat doet. En dat Shell daar niet voor betaalt en geen accountability voor neemt. Shell komt daarmee weg, omdat de wereld zo groot geworden is en dat er aandeelhouders waar aan zit. Dat komt omdat het allemaal zo groot is. We moeten naar kleiner. We moeten weer naar die community toe, waarbij jou het kindje van de zoon van jou of de dochter van je buurman geen baan heeft als junior developer, omdat jij die niet aanneemt. Dat besef, daar moeten we naar terug. Dus hoe gaan we doen.

Arnoud Wokke:
[1:27:29] En als dat niet gebeurt, dan?

Mark Vletter:
[1:27:31] Nee, maar het is geen optie, want Als je dat als bedrijf niet doet, heb je op een gegeven moment die media developer niet meer. En dan wordt de pijn vanzelf groot genoeg dat je wel gaat moeten En wat je historisch gezien altijd hebt gezien, is dat er altijd iets van klasjes omheen ontstaat. Hebben we ook gezien met het heropleiden en het herscholen. Ontstonden bedrijven omheen die dat aan het doen was. En als ik iemand een tip mag geven van wat betreft werk die je op dit moment moet gaan doen, kies iets met je handen. Serieus jongens, vakmanschap. wordt echt zo ontzettend waardevol.

Jurian Ubachs:
[1:28:01] Iedereen die in de laatste jaren een aannemer heeft geprobeerd te vinden voor enige leiwelke verbouwing dan ook, weet. Hoe het gesteld is met het aanbod daar, en wat de prijzen dus ook worden. En wat de prijs ook worden. Ze kunnen in principe vragen wat ze willen, want ja, De tijd van voor jou en ander, die is er niet meer. Er is als je mag opleid zijn als er in eentje komt. Die mensen kunnen geen budget opspelen tijdens een week.

Randal Peelen:
[1:28:21] Ik zat trouwens wel als aanvulling, want ik vind dit maatschappelijk pleidooi. Fantastisch, ik kan het niet beter vertellen. En daar wil ik niks aan afdoen. Maar ik heb ook wel tegelijk zoiets van. Dus een beetje vragen als hoe gaan we straks mensen opleiden. Om benzineauto's te repareren. Terwijl we weten dat de toekomst elektrisch is. Je hoeft natuurlijk niet meer te leren hoe het was als het in de toekomst heel anders gaat.

Mark Vletter:
[1:28:40] En je moet wel de concepten die erachter zitten, moet je wel begrijpen. Zoals je al zegt ik kan code lezen, en dat dat wel relevant wordt. Het ligt er ook heel erg aan hoeveel beter die AI-modellen nog worden. Want op het moment dat. . Kijk, dat hallucineren gaat er niet uit. Maar als je dat boxt steeds nauwer kunt definiëren en zorgen dat er, zal ik maar zeggen. betere controlemechanismes in zitten, maakt het dan nog uit dat we op dit moment K-code aan het maken zijn en dat die straks door de AI over twee jaar wel netjes op wordt gelost? Ik weet het niet. En de grote vraag is vooral, jij kunt op deze manier ontwikkelen omdat jij een bepaalde productachtergrond hebt en bepaalde productkennis hebt. Wordt die voor een senior developer ook niet steeds belangrijker om die brede kennis te hebben van applicatieontwikkeling? En is het niet meer, je hebt straks niet meer de luxe om je alleen maar te beperken tot die code? En ik merk dat veel programmeers zich nog wel heel graag veilig voelen in die code. Dus het stapje naar buiten naar wat doet die code nou werkelijk voor mijn gebruiker. Af en toe eens met die gebruiker praten. Soms ook gewoon spannend is, want je gaat ook dingen horen die je niet tof vindt. Maar ook ik los dit probleem op voor die gebruiker. Die twee wat dichter bij elkaar brengen is best wel leuk.

Randal Peelen:
[1:29:50] Het is ook wel gek om hier als. . Hoogopgeleide autodidactische ADAD'er die goed gaat op die dopamine te zitten vertellen aan de rest van de wereld hoe fantastisch is dit. Ja al die nadelen voor de liefnemende, gewoon die meters van maken.

Mark Vletter:
[1:30:04] En wat heel belangrijk is, wat ik echt wel weer geleerd heb, en dat zit ik in iedere presentatie die ik hierover geef, en dat ga ik ook voor een groep nu herhalen. Als jij product owner bent en jeigend achter je developers gaan zitten van je moet met AI programmeren, dan mag je zelf weer een dagje gaan programmeren. Want het blijft ontzettend complex werk om goede code te schrijven die na productie kan, die veilig is, testabel is, die goede architectuur kent. En ik was dat, zelfs ik was dat, in alle eerlijkheid vergeten. Want ik zei regelmatig, jongens, dat is één API. Hoe ingewikkeld kan het nou zijn? Ja, dat is één API. Maar die API moet ook in een user interface. En dat moet ook backwards compatible zijn. En daar moet ook dataopslag voor plaatsvinden en caching. En dat bestaat misschien nog helemaal niet in die applicatie. En die ene functionaliteit die jij bedenkt, daar zit veel meer achter aan de achterkant. Het leuke is wel, als je aan de AI vraagt of dit een eenvoudige applicatie, kijkend naar de codebase, of een eenvoudige feature, of een complexe. En hoe zou ik dezelfde functionaliteit kunnen hebben, maar dan eenvoudiger. Dan gaat die AI een beetje meedenken.

Arnoud Wokke:
[1:31:07] Dus ook die product owner mag zich daarin wel echt wel achter de goede AI zou prompt. Juist zou prompten geen vaardigheid moeten zijn.

Jurian Ubachs:
[1:31:21] Het moet gebruiksvriendelijker.

Randal Peelen:
[1:31:22] Ik heb wel een paar keer ook in mijn prompt gezet van help me. verzinnen wat ik over het hoofd zie. Dat zit bij mij ook al goed in.

Mark Vletter:
[1:31:30] Een van de van de mijn developer staat ik als allereerste in Wees geen JS man. Wees super kritisch op wat ik vraag. Bevraag jezelf ook. En dat helpt enorm.

Randal Peelen:
[1:31:40] Want heb je dat fantastisch goed geprompt, man? Lekker. Echt goed bezig. Tweede vraag. Laatste vraag, dat is gewoon een toetje. Want Annelies Verhelst, ons kerstverse panel lid, die zegt dat ze jou kent. Ja, dat klopt. En ik zie aan jouw reactie dat dat klopt. Ze zegt, oh mijn god, groetjes aan Mark. Ik zou ooit een rondleiding krijgen. Mag ik een afspraak maken? Altijd. Nou, dan breng ik jullie wel even in contact. Ja, dat is goed joh. Niet voordat we doorgaan naar de bonus, want dan zeg ik. Tot zover deze aflevering van Met Neud om tafel. En Met Neud om tafel is een podcast door Jurian Ubars en mij. Randel Pelen en onze panelleden zijn Annelies van Helst, Ruur Stans en Sander Beijveld. En vandaag Arnaad Lokken. We worden regelmatig geëdit door Maarten van Woerkom. Onze gast van vandaag, Mark Vletter. Graag. Waar kunnen mensen meer op jou te weten komen?

Mark Vletter:
[1:32:21] Ik denk dat LinkedIn de makkelijkste manier is. En als je naar voren. . Word ik steeds vaker in aan tafel eigenlijk.

Jurian Ubachs:
[1:32:26] Vind je het fantastisch gas? Nee, natuurlijk zit ik een blinked. Maar ik kijk daar nooit. De frequentie waarmee mensen dat noemen als hun Een voornaamste social medium is het laatste jaar echt wel flink gestegen.

Randal Peelen:
[1:32:38] Het is daar een positief als X weggaat. Maar heel eerlijk, ja mensen zitten alleen maar op te scheppen, dat valt reuze mee. Het is gewoon een social medium. Ja, er zitten ook blaaskaken tussen, maar er zit ook gewoon chicken nuggets uitrekenen.

Mark Vletter:
[1:32:52] Oh, lekker. En het makkelijkste, voice. nl slash mark is echt waarvaar het makkelijkst. Heb ik een nieuwsbrief, mag ik zelf nog bepalen wanneer ik je mail en zo. En dan word je niet iedere dag gespamd door LinkedIn.

Jurian Ubachs:
[1:33:04] Als je Voice googelt, dan krijg je natuurlijk gewoon de hit van Voice. En dan staat daar meteen onder staat de link naar Mark Vlatter direct.

Mark Vletter:
[1:33:12] Ik kan het niet missen. Volgens mij zitten er inmiddels best wel wat mensen die ingeschreven zijn in het nieuwsbrief. Ik ben er zelf af en toe nog steeds een beetje verbaasd over dat mensen dat eigenlijk willen volgen en zo. Maar dat is wel.

Randal Peelen:
[1:33:21] Anders had je je niet gezeten, want ik heb altijd aan je lippen. Trouwens, jij zegt nu wel die zoekresultaten, dan gaat het ook veranderen. Want als Google straks alleen nog maar AI-Mode wordt gebruikt, dan.

Arnoud Wokke:
[1:33:30] Dan kan je aan AI-Mode vragen wie maakt flatters, dan krijg je keurig aan linken op de nieuwsband.

Randal Peelen:
[1:33:34] Dat is de bedoeling. Als gesprept. Informatie voor ons staat op onze site. Dat is mnot. nl. Join onze slecht. Da gingen 2500 charmante, kapabelende gezellige nerds hiervoor. Die stel ook vragen in het kanaal. Vragen van de luisteraars op onze slek. Dat gaat elke week kondigem aan. Wie wordt de volgende gastnudd? Kun je dat daar je lol op? Je kunt ook vriend van de show worden, dan ben je echt een leuke luisteraar. Dan hoor je tot de crème de la crème van de mensen die toegang krijgen tot het clubhuis. Vier meetups per jaar bij kunnen wonen. Stekken zijn bierviltjes door een brievenbus horen gliberen. Je luistert zonder reclame eerder dan de rest. En elke week met de pracht van een bonus aflevering. Voor nu hartelijk dank voor het luisteren. Tot de volgende keer. But if we She's a very good thing. Somehow,