484 – Waarom lokale AI vooral een hardwarehobby is

Randal Peelen:
[0:00] In deze aflevering hoor je hoe je een AI-agent geheugen geeft, waarom VRAM pas het begin van al je hardwareproblemen is en wat voor kapitaal aan hardware Tristan uit Nikhef heeft meegenomen voor deze opname.

Randal Peelen:
[0:24] Welkom bij Met Nerds om tafel. We praten vandaag met...

Jurian Ubachs:
[0:26] Jij en u wacht.

Randal Peelen:
[0:27] Mijn naam is Randal Peelen, onze gastnerds van vandaag zijn Ivo Toby, die vanuit zijn homelab werkt aan lokale inference, Postgram, Talond en coding agents. Allemaal hele mooie AI-achtige dingen, daar gaan we het uitgebreid over hebben. Maar voor mij zit ook Tristan Suerink en die is bij Nikhef, iemand die werkt aan de versnellersopstellingen, data doorvoer en directe vloeistofkoeling, een hele mond vol.

Jurian Ubachs:
[0:51] Generally een nerd.

Randal Peelen:
[0:52] Ja, behoorlijk. Beiden hebben hier al eerder aan tafel gezeten.

Jurian Ubachs:
[0:55] Dus het is daar niet eerder geweest, ja?

Randal Peelen:
[0:57] Ja, dat heb je nooit kunnen zien, maar wel kunnen horen. Dus misschien herken je zijn stem zometeen. Een van de best bewaarde geheimen van het Nederlandse internet. Ja, de kattenpoes. Als je op een clipje kijkt of op YouTube, dan zie je de kattenpoes inderdaad. En ik weet dat het luisteraars geen zak interesseert. Ik moet het even kwijt. We zijn door een kleine tijdvortex gegaan en ik ben inmiddels terug van vakantie. Jurian was al langer terug in de projectie maar het voelt weer eindelijk als we zijn weer gaande ja.

Jurian Ubachs:
[1:30] Komt deze ook gewoon deze week online wij hebben dus afgelopen weken dingen opgenomen waarvan we echt met recht niet van wisten wanneer het online zou komen, dat de mensen tafel op, wanneer komt het online ja ik.

Randal Peelen:
[1:41] Vind het heel gek, want als in een podcast die ik luister de hosts zitten te nalen over wanneer die aflevering uitkomt, denk ik altijd shut the fuck up get to the point maar nu dat ik hier zit, kan ik het toch niet laten ja.

Jurian Ubachs:
[1:52] Maar we zijn er weer.

Randal Peelen:
[1:54] Waar we het over moeten hebben. AI die je zelf kunt draaien. En wat je daar allemaal mee kan doen. Nu heb ik hier twee echt doorgewinterde experts tegenover me zitten. En dan vind ik Tristan meer de persoon die heel goed de hardware neer kan zetten. Die een heleboel rekenkracht tevoorschijn kan toveren. Om heel erg dikke AI's op te draaien.

Tristan Suerink:
[2:15] Ik heb wat voorbeelden meestal.

Randal Peelen:
[2:17] Wauw. En Ivo meer de software techneut. De techneut, de bits and bytes wizard, die AI ook hele leuke kunstjes kan laten doen en zijn leven een stuk makkelijker maakt. Al moet ik zeggen, ik hoor je ook wel eens bij ons in de Slack op het kanaal RAND, zo makkelijk is je leven nog niet. Dus er is nog werk aan de winkel. Heren, ik denk dat ik even begin bij Ivo, want je hebt twee of meer projecten die echt tot de verbeelding spreken om alvast de boel even op scherp te zetten.

Randal Peelen:
[2:49] Want een heleboel daarvan doe je ook met lokaal gedraaide modellen. Kun je een inkijkje geven in Postgram en TalonD?

Ivo Toby:
[2:58] Ja, dat kan. Ik begin met Talon. Dat is eigenlijk ontstaan vlak nadat OpenClaw verscheen. Dat was in januari, even uit mijn hoofd.

Randal Peelen:
[3:13] Ja, het heette eerst Clawdbot. Het heeft nog een paar andere namen gehad. Maar nu heet het OpenClaw inderdaad.

Ivo Toby:
[3:20] En voor degene die dat niet weten, dat is een soort autonome agent. Die draait op AI en die kan allemaal dingen voor je doen. Boodschappen voor je bestellen. Tickets voor je boeken en dat soort dingen. En er verschenen op dat moment een heleboel NanoClaw en OpenClaw had je al. Allemaal Claw. En ik heb er dan een beetje naar zitten kijken. En ik dacht, ik vind dat niet heel veilig.

Jurian Ubachs:
[3:52] Wat was er niet veilig aan?

Ivo Toby:
[3:55] De software zelf is slecht geschreven. Ik heb een aantal in detail bekeken. Hoe zit het in elkaar? Ik weet wel wat van hoe een harness werkt. Waar een AI in draait. Je geeft hem tools. Je geeft context. En dan kan zo'n AI agent iets doen. Maar je wil ook niet dat hij te veel kan. Je wilt dat toch ook enigszins beperken. Want modellen zijn wel heel goed geworden. Maar in sommige gevallen kunnen ze ook teveel. En dat vind ik ook wel weer spannend.

Jurian Ubachs:
[4:28] Dus niet skip permissions is eigenlijk wat je zegt.

Ivo Toby:
[4:31] Stiekem wel. Maar in een bepaalde mate. Dat je van tevoren weet wat hij kan.

Jurian Ubachs:
[4:37] En dat ontbrak bij het aanbod dat je online kon vinden. Daar ontbrak dat eigenlijk.

Ivo Toby:
[4:42] Nou, in het begin wel. Het zal nu wel beter zijn, maar in het begin wel.

Ivo Toby:
[4:47] en ik vind het leuk om zoiets zelf te maken, dus ik ben daaraan begonnen en, een beetje lopen hacken en klooien en in eerste instantie, heb ik het gemaakt om Claude Code heen. Eigenlijk Claude Code was, de coding agent van Anthropic was eigenlijk de basis en die kan je met je command line aansturen, dus in plaats van dat je hem opent en je hebt dat programmaatje op, je terminal draaien, kan je ook gewoon claude -p en dan iets aan klop meegeven en dat gaat hij dan uitzoeken voor je doen. Dat noemen ze headlash. En daar ben ik mee begonnen. En dan ga je je tools eraan verbinden. Bijvoorbeeld dat hij je notities kan openen en bewerken. En kan pushen via Git. Dus dan wordt dat alweer ergens in GitHub bewaard voor je. En uiteindelijk wil je dat dat toegankelijk is. Dus je moet er een channel aan verbinden. Dat zag je bij OpenClaw ook. Je hebt WhatsApp en je had Telegram en via web. En allemaal verschillende kanalen. Nou, en ik gebruikte op dat moment Telegram het meest. Dus die heb ik daarna verbonden. Later heb ik nog een e-mail toegevoegd en WhatsApp.

Randal Peelen:
[5:56] Kun je weer mailen met je AI-agent. Je voelt op een of andere manier heel knullig.

Ivo Toby:
[6:00] Maar het is heel erg handig. Ja? Ja, want het zijn vaak taken die je... Of iets dat je wil uitzoeken wat je gaat vergeten. En je mailt, ik spreek vaak in, ik dicteer dan naar mijn mail van nou zoek dat voor me uit. En dan antwoord je dat mailtje en dat ben je al langer weer vergeten tijdens je e-mail open. Oh ja, daar moest ik nog achteraan.

Randal Peelen:
[6:20] Handig.

Ivo Toby:
[6:20] En dan heeft hij het al voor je uitgezocht.

Tristan Suerink:
[6:21] Dus je kan hem als soort van secretaresse behandelen.

Ivo Toby:
[6:24] Ja, nou zo heb ik hem ook ingericht.

Tristan Suerink:
[6:26] Heb je hem ook een typische secretaressenaam gegeven?

Ivo Toby:
[6:28] Nee, het is mijn main bot.

Tristan Suerink:
[6:30] Hij heet niet Guus of...

Ivo Toby:
[6:31] Nee, nee, nee, deze niet.

Randal Peelen:
[6:33] Typische secretaressenaam, Guus, ja, daar ben ik wel mee eens. Maar ik vind het interessant. Ik heb de reis namelijk meegemaakt vanaf het moment dat ChatGPT doorbrak. En dat was toen ChatGPT 3. Dus inmiddels een antieke model, maar dat is nog niet zo lang geleden. En daar was een van de grote beperkingen. Je gaat ermee chatten, dus je krijgt gewoon tekst heen en weer. En het bleef ook tekst. En op een gegeven moment kon je wel zeggen van joh, schrijf eens een Python scriptje voor me. Maar dan ging dat Python scriptje copy-pasten naar een ander bestandje. En daar ging je het uitvoeren. En wat jij nu noemt dat harnas, dat is eigenlijk vrij vertaald. Het is in de kern nog steeds hetzelfde model, er gaat tekst in en er komt tekst uit. Maar door dat harnas kan die ook dingen meegeven die uitgevoerd moeten worden op de command line enzovoort. Inmiddels zelfs de muis van je computer bedienen. Sterker nog, wat ik tegenwoordig doe met zo'n app als Codex, heet dat dan ook van de makers van ChatGPT.

Randal Peelen:
[7:31] Die bedient een tweede eigen cursortje, die zie je ook gaan. En die kan ook andere apps bedienen. Dus heb je eigenlijk twee gebruikers op je desktop tegelijk. Maar wel op een manier die jij snapt. Je ziet hem naar je WhatsApp gaan. Je ziet hem in contact aanklikken. Je ziet hem dan gaan typen. Dus van had ik ook kunnen doen. Maar nu doet die AI dat. Terwijl het onder de motorkap allemaal nog steeds eigenlijk hetzelfde model is. Het is gewoon een AI model. Er gaan dingen uit. Er gaan dingen in. Alleen hier zitten dan ook instructies bij om die cursor te bewegen. En dat is dus wat jij zelf bent gaan bouwen. Ja. Ook eigenlijk zo'n harnas.

Ivo Toby:
[8:07] Niet helemaal, nu wel inmiddels, maar het is begonnen met een harnas om een harnas. Klinkt heel meta, want Claude Code is al een harnas. En kan in principe al bash scripten op jouw terminal uitvoeren. Listen en files schrijven en noem het maar op. En ook gewoon op internet dingen opzoeken met curl command. Wat ik er omheen heb gebouwd is eigenlijk meer een laag waardoor het toegankelijker is. En daarmee kan ik het dus verbinden met Telegram. En daarmee kan ik het dus monitoren. Zien hoeveel tokens erin en eruit gaan. Wat het kost. Of die dingen doet die eigenlijk niet mogen. Of dat iemand dingen van mijn agent vraagt. Bijvoorbeeld omdat er een e-mail naar de agent is gestuurd. Die ik niet wil. Daardoor is het eigenlijk een harness om een harness. Maar ik heb dat later. Ik denk een maand of twee later ben ik daarmee gestopt. Met Claude Code gebruiken. Het zit er nog wel in. Codex heb ik er ook in gebouwd. Gemini zit er ook in. Maar eigenlijk doe ik met die drie niet zoveel meer. Ik heb nu een eigen harness erin geschreven. Wel op basis van bestaand framework. Waar ik meer controle heb. Dus nu kan ik echt bepalen dat als hij een bash-script uitvoert. Dat hij het ene script wel mag en het andere script niet.

Randal Peelen:
[9:19] En hoe pak je dat aan? Want je kunt nu dus meerdere modellen gebruiken. En als ik één ding heb geleerd van de afgelopen paar jaar. Dan is de ene keer is dit model weer het best. Dan is dat model het best. En de vibe shift zo heen en weer.

Ivo Toby:
[9:31] Het is niet eens meer om vibes nu. Het gaat nu om geld. Het wordt duur. Tokens kosten geld. Dus je wil... Jij wil het model gebruiken wat het best geschikt is voor de taak die jij wil uitvoeren, maar dan wel de goedkoopste versie. Dus het, minst overhead. Dus ik ga niet met Opus 5 een boodschappenlaatje genereren. Dat slaat nergens op.

Randal Peelen:
[9:55] Daar gebruik je Fable voor.

Ivo Toby:
[9:59] Nee, dat is al een tijdje gegaan, model routing. Dus dat je op basis van een bepaalde taak een bepaald model aanroept. En dat zit in Telon. Ik heb het nog niet publiek staan. Ik heb het nog niet uitgebracht. En het is ook een beetje... Het werkt nog niet helemaal lekker. Maar wat je wel... En dat is het mooie aan het hele framework. Je kan meerdere agents maken. Ieder met hun eigen omgeving. Hun eigen prompts. Hun eigen schedules. Dat is de grap. Een agent die je voor jezelf gebruikt hoeft maar twee dingen te kunnen. Hij moet tools kunnen aanroepen. En hij moet het op een bepaald schedule kunnen. Dus op een bepaald moment iets kunnen doen. Bijvoorbeeld ieder uur even je e-mail kijken. Of ieder kwartier even een ping doen naar een bepaald webadres of dat het nieuws is.

Randal Peelen:
[10:45] Maar, iets complexer, maar minstens zo belangrijk, eens per kwartaal even al mijn boekhouding doen.

Ivo Toby:
[10:50] Bijvoorbeeld.

Randal Peelen:
[10:51] Dat wil ik.

Ivo Toby:
[10:52] Nou, dat kan. En dat zijn scheduled prompts. Dus dan geef je gewoon een lab tekst mee van ieder kwartier moet je dit doen. En daar kan je tools aan hangen. En op die manier ontstaat iets wat intelligenter lijkt te worden. In de end is het nog steeds een model. En ja, dat braadje weer aan. Want ik heb er ook een sub-agent aan hangen waarvan ik weet, als ik bijvoorbeeld een websearch laat doen, ga ik dat niet doen, maar een hoofdagent laten doen. Want ten eerste is die thread geblokkeerd. Dan moet ik nou op wachten, vind ik irritant. Dat is vaak een wat dure model. Nou, een websearch met een duur model slaat nergens op. Dan kan je niet zo goed haiku nemen of nog koper. Dus dan trapt die sub-agent af, die gaat dat lekker doen. En op de achtergrond, en die komt terug met resultaat, die geeft het aan die hoofdagent terug van nou, dit zijn de resultaten. En die gaat er dan vervolgens of iets voor me uitzoeken, of die geeft dat weer aan mij terug in Telegram.

Randal Peelen:
[11:42] Ik vind het beestachtig interessant. Bovenal denk ik ik heb dit nodig in mijn leven. Want ik ben nu bijna alles wat ik wil laten doen in Codex aan doen. En dan heb ik het gevoel, ja fuck, werkt wel goed, maar ik zit wel in een hele dikke vendor lock in. Ik ben nu heel bang dat Codex op een gegeven moment niet meer het beste is en dan zit ik daar eigenlijk al vast in gebakken. Dus ik ben op zoek naar een manier om dat los te trekken in een eigen beheer te nemen. Maak ik even een kleine wissel in het gesprek, want Dus denk ik ook. Op het moment dat het heel relevant wordt. Je hebt het net over goedkopere modellen. Duurdere modellen. Ik denk.

Randal Peelen:
[12:17] Als ik gewoon lekker op mijn eigen laptop. Een model kan draaien. Dat goed genoeg is. Dan is dat gratis geworden. Komt gisteren in beeld. Er zijn een heleboel open modellen. En dat is niet open source. Dat heet open weights. Dus open gewichten. Ik snap het verschil niet super goed. Maar dat maakt ook niet zoveel uit. Het is in ieder geval een bestand. Dat download je. Dat gooi je in een programma. Dan voer je het uit. En dan heb je eigenlijk dat model draaien. En daar kun je dan tegenaan praten. En er zijn echt honderden duizenden van dat soort modellen te vinden. Bijvoorbeeld de grootste site, denk ik, is Hugging Face. Daar kun je dat allemaal vandaan halen. Maar jij zit bij Nikhef. Jij werkt met supercomputers van alle soorten smaken. Supercomputers die er zijn. High performance, high throughput enzovoort. En jij dacht, als ik nou het allergrootste model van Hugging Face pak. Ja. En dat op mijn computer ga laten draaien.

Tristan Suerink:
[13:17] Omdat het kan.

Randal Peelen:
[13:18] Holy shit gas, wat is dat voor model en hoe heb je dat voor elkaar gekregen? Want dat is echt terabytes aan video RAM die je nodig hebt.

Tristan Suerink:
[13:25] Het model heet Kimi K3. Het is ontwikkeld door een Chinees AI bedrijf. Wat? Moonshot AI heet dat op mijn hoofd? Een paar weken terug kwam het dus uit dat dit model uit ging komen. En toen hadden opeens alle grote Amerikaanse partijen zoiets van... ja, eigenlijk moeten die open modellen gewoon verboden worden. Dat was hun reactie.

Randal Peelen:
[13:43] Dat is even belangrijk, want de Amerikaanse partijen zijn meestal... houden het gesloten en alleen in hun eigen tools, alleen hun eigen abonnement.

Tristan Suerink:
[13:50] Dat je alleen maar een API hebt waar je tegenaan kan praten.

Randal Peelen:
[13:52] Bijna alle Chinese AI bedrijven die maken modellen openbaar. Maar vaak dan zeg maar de vorige versie. Die is dan openbaar. De nieuwste versie moet je betalen. Dat idee.

Tristan Suerink:
[14:01] Nou vaak zijn de nieuwste modellen open, maar die zijn zo groot dat je hem niet zo maar zelf kan draaien.

Randal Peelen:
[14:06] Maar jij wel?

Tristan Suerink:
[14:07] Ja.

Randal Peelen:
[14:09] Maar vertel, hoe gaat het? Je hebt echt een stevige machine nodig.

Tristan Suerink:
[14:12] Je hebt best wel een stevige machine nodig. Wat ze zelf aangeven is dat je minimaal vier van de dikste datacenter NVIDIA GPU's nodig hebt. Die aan elkaar geknoopt zijn met een NVLink bus ertussen. Om het allemaal aan de bruttel te krijgen. Maar ik heb een hele andere route gekozen. Ik heb een IBM Power 11 machine gepakt.

Randal Peelen:
[14:32] Wat is dat?

Tristan Suerink:
[14:33] IBM maakt nog steeds servers en processoren. Dit zijn het type machines die je normaal gesproken tegenkomt bij grote commerciële partijen, banken, verzekeraars, overheid. Als jij bewijs van een pin transactie doet, zie je waarschijnlijk dat jouw pin transactie door een IBM Power Machine wordt afgehandeld. Zonder dat je het weet.

Randal Peelen:
[14:50] Waarom?

Tristan Suerink:
[14:51] Omdat die machines zijn gebouwd om altijd te draaien. Heel stabiel, heel betrouwbaar, heel voorspelbaar.

Randal Peelen:
[14:56] Maar ik denk dat Intel niet zou zeggen nee, wij zijn gemaakt om soms te draaien.

Tristan Suerink:
[15:00] Nee, dat klopt. Alleen IBM heeft natuurlijk al, want bestaan ze al niet. Dat zal processoren bouwen gericht op deze markt. Dan kan je je vragen, waarom heb je zo'n machine? Nou, ik heb zo'n machine omdat wij een samenwerking hebben met de Belastingdienst om bepaalde dingen bij de overheid door te testen. Onder andere met D-dossen. Leuk om een keer een aflevering over te maken.

Randal Peelen:
[15:20] Dat hebben we al half een keer gedaan.

Tristan Suerink:
[15:22] Maar dan met die of andere Belastingdienst erbij.

Randal Peelen:
[15:24] Dat is nog leuker.

Tristan Suerink:
[15:24] Dat is nog leuker. En wij hebben dus drie van die Power-Elf systemen. En ik had vorige week zoiets van, wat nou als ik zo'n Power-Elf systeem pak genoeg werkgeheugen in stop? en op de CPU dat model gaat draaien. Want IBM heeft met Power 10... alle instructies die je nodig hebt... om die modellen efficiënt te draaien... in de CPU ingebakken. Ik heb geen VRAM meer nodig. Ik had gewoon met de RAM.

Randal Peelen:
[15:49] Maar dat is niet even snel, toch?

Tristan Suerink:
[15:51] Die powersystemen zijn gemaakt... om een hele hoge geheugenboombreed te stellen.

Randal Peelen:
[15:56] Maar wacht even.

Tristan Suerink:
[15:57] Omdat ze grote databases moeten kunnen doorploegen. Omdat ze transacties moeten kunnen doen.

Randal Peelen:
[16:01] Jij gaat me nu vertellen... Het eerste wat ik me afvraag is, kun je niet beter bitcoins gaan minen? Maar, iedereen heeft nu hele dure game-PC's, omdat het geheugen heel duur is en video-kaarten nog duurder. En jij zegt, ja, maar dat kan ook gewoon op zo'n IBM-computer.

Tristan Suerink:
[16:18] Ja, maar zo'n IBM-computer is duur vergeleken met een Intel-systeem. Maar hij is niet duur vergeleken met een Nvidia-systeem.

Ivo Toby:
[16:25] En wat voor architectuur heeft zo'n ding dan?

Tristan Suerink:
[16:27] Power PC 64, Little Endian.

Ivo Toby:
[16:29] Ja, oké.

Randal Peelen:
[16:30] Little wat?

Tristan Suerink:
[16:31] Little Endian.

Randal Peelen:
[16:32] Endian?

Tristan Suerink:
[16:33] Endiness heeft ermee te maken of je een beetje vooraf of achteraf begint in te lijzen. Dat heeft ermee te maken met hoe elektronica in de jaren 60 werd aangestuurd. Dus je hebt, om een voorbeeld te geven, X86 is Little Endian, terwijl Spark en oorspronkelijke Power is Big Endian.

Randal Peelen:
[16:52] Ik word zo hard oud-nerd hier, dat ik er een beetje misselijk van word. Maar, ga door. Dus jij denkt, ik trap er gewoon extra werkgeheugen in. Ja.

Tristan Suerink:
[17:01] Dus dat heb ik gedaan.

Randal Peelen:
[17:02] Ja.

Tristan Suerink:
[17:03] Toen heb ik hem aangezet.

Randal Peelen:
[17:04] En toen?

Tristan Suerink:
[17:04] Startte hij op.

Randal Peelen:
[17:06] En toen?

Tristan Suerink:
[17:06] Kon ik het model ook echt draaien.

Randal Peelen:
[17:08] Dat is dan eigenlijk het moeilijkste nog. Verzin nu eens. Ik heb hier zo'n wereldschokkende legendarische hamer neergezet. Heb ik genoeg spijkers om op te slaan?

Tristan Suerink:
[17:21] Ik heb van het weekend een collega van mij erop losgelaten. En die had een voorbeeldvraag al klaarlegd waarmee die andere modellen mee aan het testen was. Een statische pagina om ICS bestanden te kunnen genereren. Die heeft hij erop losgelaten. En hij had met schema 4 en nog een aantal andere modellen zitten testen. En dan kwam al Mark Co eruit. En die kwam gewoon netjes. Met goede uitleg. Kreeg je iets eruit wat ook gewoon werkte.

Randal Peelen:
[17:46] Hoeveel werkgeheugen hebben we het hierover?

Tristan Suerink:
[17:48] Het model heeft anderhalf terabyte nodig.

Randal Peelen:
[17:50] Anderhalf terabyte. Nou, er zijn dagen dat ik dat niet in mijn machine heb zitten.

Tristan Suerink:
[17:54] Nee. Nee, ik heb dus ook het werkgeheugen uit de ene machine in de andere machine moeten stoppen. Want ik heb drie machines met een terabyte. Dus nu heb ik één machine, die is leeg. En één machine heb ik twee terabyte.

Randal Peelen:
[18:04] Lekker.

Jurian Ubachs:
[18:05] En dat is dus dat Kimi K3 model wat je daarop draait? Ja.

Randal Peelen:
[18:09] Even terug naar Ivo, want jij bent, moet ik dan even als tekst een uitleg geven. Ik heb ooit met voldoende hulp van Tristan zelf ook een machine opgehangen met een videokaart erin. Die videokaart heeft 32 gigabyte VRAM, wat voor één single videokaart al best wel respectabel is. Al zal dat tegenwoordig geen records meer vestigen.

Randal Peelen:
[18:34] Maar daarop heb ik nu draaien Qwen. Dus dat is een heel bekend Chinees model. En daarvan versie 3.6. Want die hebben een model dat heel erg mooi past op die 32 gig. En dat ook lekker snel is. Nou, hoef ik niet heel erg diep te gaan over welk model dat precies is. Maar er gaat echt een heel diep konijnenhol voor je open. Want je hebt van elke, versie van Qwen een heleboel smaken. En dan heb je de dense modellen en de...

Tristan Suerink:
[19:02] sparse.

Randal Peelen:
[19:03] Ja, en de mixture of experts versies. Dat is sparse.

Tristan Suerink:
[19:07] Ja, dat zijn sparse modellen uiteraard.

Randal Peelen:
[19:10] Een heleboel verschillende smaken. En daar kun je in ieder geval als nerd avonden op stuk bijten. Om te kijken welke draait het beste. Wij zijn toen uitgekomen op zo'n mixture of experts. Vanwege de snelheid. En het draait heel soepel op die kaart. Maar toen ik die server had hangen. Toen dacht ik, dat is een veel te dikke server. Dat kost veel te veel stroom. Dat is eigenlijk zonde. Toen ben ik om me heen gevraagd. Zijn er mensen die die server ook wel willen gebruiken? En dan gooien we allemaal wat geld in de hoed. En dan betalen we de stroom daarvan. En dan is dat ongeveer kiet. Eén daarvan is Ivo. En jij bent dat model dat op die server draait. Ook gaan gebruiken in Talon.

Ivo Toby:
[19:48] Ja.

Randal Peelen:
[19:48] Moet ik tellen?

Ivo Toby:
[19:49] Ja.

Randal Peelen:
[19:50] Talon. Hoe kom je bij die naam?

Ivo Toby:
[19:52] Het is een ander woord voor klauw.

Randal Peelen:
[19:54] O, jammer.

Ivo Toby:
[19:55] Ja.

Randal Peelen:
[19:56] Ik wist dat een vogelklauw. Maar dat was wel heel. Hij lag er dik bovenop zonder het te zien.

Ivo Toby:
[20:03] Ik heb hem er inderdaad ook het draait zelfs op die machine want ik kan natuurlijk daar ook een VM op draaien, Maar dat is eigenlijk om te experimenteren, ja.

Randal Peelen:
[20:14] En kun jij een beetje duiden wat zijn taken die je door dat soort modellen kunt laten doen? 32 gig is een boel. Het is ook niet onbereikbaar veel. Maar als jij een beetje steviger een MacBook hebt, dan kan dat daar gewoon in zitten. Dus dan kun je het ook op je MacBook doen.

Ivo Toby:
[20:30] Ja, dat is een lastige om te duiden. Want het ligt er heel erg aan waar je naar op zoek bent. Voor een agent, zoals Talon, denk ik, ja, voor simpele taken. Dan gaat het wel redelijk goed. Het punt is meer dat dit soort modellen zijn nog niet heel erg ver doorgetraind op het gebruik van skills. En skills, de software engineers kennen die term heel goed denk ik inmiddels. Worden bij coding agents heel veel gebruikt. Wat je in feite doet, je hebt een hele lijst met skills. Dat zijn allemaal dingen die je een agent kan laten doen. En op het moment dat jouw agent start, dan leest hij die skills in, maar dan alleen die eerste paar regels. Als ik deze skill gebruik, kan ik heel makkelijk Confluence benaderen. En dan weet ik hoe de CLI-tool van Confluence werkt.

Randal Peelen:
[21:15] Een skill is eigenlijk, als je plaatslaat, een lang prompt. Waarin dus staat hoe een bepaald ding moet.

Ivo Toby:
[21:22] Alleen om je token window enigszins bruikbaar te houden, laat hij alleen de eerste paar regels in een description. Zodat hij weet, als ik dit wil best gebruiken, vraagt of Confluence, dan laat ik dat hele ding in. En de meeste kleinere modellen zijn er nog niet zo goed in. En ik gebruik dat heel veel. Dus ik heb wel gemerkt dat dat af en toe misging. Een voorbeeldje was dat ik, via Qwen heb ik Home Assistant gekoppeld als MCP. Dus ik kan mijn Home Automation aansturen via mijn agent. Dat gaat als ik Sonnet gebruik of Opus, gaat dat prima. Je kan hem zelfs laten praten via, want ik heb zo'n homo-assistent voice apparaatje ooit gekocht. En dan vond hij uit dat hij daar via kan praten. Om op mevrouw te pesten, dan beginnen dingen ineens te zetten. Maar ik ging douchen en de ventilatie van de douche ging niet aan. En dat kan via de home automation. Dus ik typte na het douchen, op mijn telegram naar Talon. Hé, doe de doucheven even aan. En dat deed ik dus met het model Qwen. die snapte er helemaal niks van dus de douchevering ging aan uit aan uit.

Randal Peelen:
[22:32] Oh, mission failed successfully, zou ik zeggen.

Jurian Ubachs:
[22:36] Ik laat het zeggen.

Randal Peelen:
[22:36] Doe het wel.

Ivo Toby:
[22:38] Ik kwam in de buurt.

Jurian Ubachs:
[22:39] Ben je een kind? Kun jij het licht even aanzetten? Aan, uit.

Randal Peelen:
[22:41] Nou, in ieder geval het goede knopje.

Ivo Toby:
[22:45] De instructie was niet helemaal duidelijk. En ik ben daar wel wat in gaan finetunen. Het fijne van hele complexe, dure modellen is dat ze heel snel dingen op een goede manier van je aannemen. Je beschrijft iets niet heel duidelijk. en dat model is in staat om daar over na te denken maar met reasoning tot een conclusie te komen eigenlijk wil de gebruiker dit, en de kleine modellen doen dat niet, kunnen dat niet ze worden er beter in, maar dat merk je heel erg dat ze vaak dingen, ja je moet het heel raar uitkouwen, dan gaat het heel goed ja.

Randal Peelen:
[23:20] Maar daar ben je te lui voor ik heb dat vandaag ook weer gemerkt er was, nou ik er wel.

Ivo Toby:
[23:26] Je hoeft het niet zelf te doen als jij merkt dat je instructie niet goed genoeg is dan gooi je instructie in een groot model en dan laat je het goede model heel erg duidelijk maken voor het kleine model. Metaprompting.

Tristan Suerink:
[23:35] Je hebt bij de mensen een soort van voorman om de bouwvakkers aan te sturen.

Randal Peelen:
[23:40] Tristan, gebruik jij AI in je werk?

Tristan Suerink:
[23:43] Niet hecht.

Randal Peelen:
[23:44] Nee, waarom niet? Je bent meer faciliterend.

Tristan Suerink:
[23:48] Ik ben aan de ene kant voornamelijk faciliterend en aan de andere kant... vaak zit ik in vakgebieden rond de grasduinen waar nog niemand gekomen is. Dus dan heb ik meestal zo'n gevoel van ik kan die vrouw gaan stellen... en krijg ik de antwoord van ja, geen idee.

Jurian Ubachs:
[24:02] Of eigenlijk, je krijgt wel een antwoord, heel stellig geformuleerd en verkeerd.

Tristan Suerink:
[24:05] Ja.

Randal Peelen:
[24:05] Ja, dat is wel steeds minder. Gekke zijstap misschien, maar ik denk wel relevant. Want ik kan me nog herinneren toen OpenClaw uitkwam. Toen had je de maker van OpenClaw, die kwam in allerlei podcasts terecht. En die vertelde op een gegeven moment ook een verhaal van eigenlijk is een groot deel van de beveiliging nu. Is dat als je een groot model als Opus gebruikt, die snapt best wel wanneer die in de maling wordt genomen. Want je stopt OpenClaw ook in WhatsApp groepen. En daar gaan vrienden van jou daartegen praten. En als die dan net een iets te plausibele smoes verzinnen.

Randal Peelen:
[24:43] Kan het zijn dat jouw agent erin trapt. En weet ik veel voor je het weten een banktransactie aan de duur is ofzo. Maar een model als Opus is vrij goed in staat om daar doorheen te kijken. Maar ja, daar hangt ook al gelijk het volgende probleem in de lucht. Dat is ook een duur model. Dus dan ben jij flink tokens aan het verbranden. Maar het gaat aardig wat geld kosten. Terwijl de sport wordt steeds meer en meer. De komende maanden, jaren. Om inderdaad het juiste model bij de juiste... taak te zoeken. Ik heb daar nog absoluut geen intuïtie voor. Ik heb laatst letterlijk mijn koffiemachine ontkalkt, een foto van die machine te maken en dat in Fable Max te gooien. Dat was, ik word een grap en ludiek, want ik was gewoon benieuwd hoever komt die. Maar dat ging zover dat hij zei, hé, daar in de hoek van de foto daar zie ik die ontkalkingsfilter van je staan. Nu je hem toch uit elkaar aan het halen bent, kun je die misschien ook even vervangen. Weet je al, denk ik, hij wist exact welke machine het was. Hij wist de stappen perfect en ik geniet daar wel heel erg van, maar ik heb geen intuïtie bij wat het laagste model is die dat had kunnen doen. Terwijl alle fabrikanten, alle AI aanbieders dat nu heel erg duidelijk aan het maken zijn. Want bij ChatGPT versie 5 werd het meer zo van nou, er is gewoon één model die begeleidt alles onder de motorkap naar de juiste plek. Jij hoeft daar niet over na te denken. Maar dat willen mensen niet. Mensen willen zelf kiezen. Dus nu hebben ze dat bij 5.6 weer een beetje teruggebracht. Je hebt de Luna Terra Sol.

Randal Peelen:
[26:09] Er staat er min of meer gelijk aan het hele Haiku, Sonnet, Opus, Fable verhaal. Alleen weet ik niet hoe die matching is. Want Sol komt net niet bij Fable. Maar Luna is weer veel beter dan Haiku. Dus ik heb het...

Ivo Toby:
[26:25] Je hebt meer knopjes. Je hebt niet alleen het type model, maar je hebt ook nog een reasoning effort. En in principe blijven de kosten van een model per token hetzelfde. Alleen als je het meer budget geeft om na te denken. het reasoningbudget verhoogd dan krijg je een heel andere karakteristiek en, ik heb vorige week hier een workshop opgegeven op mijn werk omdat het met hetzelfde probleem zit qua kosten, iedereen denkt nou ik doe wel met Opus 5 terwijl er een heleboel dingen gewoon, met haiku zouden kunnen als je het maar slim doet, En als je gaat kijken op DeepSuite, dat is een van de benchmarks, dan zie je dat Luna Max, dus 5.6 Luna op max, niet heel erg veel, zes punten maar, onder Fable zit. Maar voor dezelfde taak, 60 cent kost, en Fable 12 dollar nog wat.

Randal Peelen:
[27:09] Dat is wel een flink verschil.

Ivo Toby:
[27:10] Ja, terwijl ze eigenlijk dus...

Randal Peelen:
[27:12] Dan moet je wel aanvoelen welke taak dat is.

Ivo Toby:
[27:15] Ja, maar dat is een kwestie van doen.

Randal Peelen:
[27:17] Ik kon dat bij de Claude 4.678 generatie. Die op een gegeven moment kreeg ik wel redelijk intuïtie voor. Maar ja, er komen nieuwe modellen. En er is heel mijn intuïtie weer aan het duigen.

Jurian Ubachs:
[27:29] Waar zitten die verschillen in? Waarom werkt jouw intuïtie niet meer? Het blijft toch gewoon praten met een AI agent?

Randal Peelen:
[27:36] De grote modellen worden slimmer. Maar de kleine modellen worden ook slimmer. En het zit hem vooral in dingen dat je aanvoelt. Oké, ik heb nu een foto. En daar staat eigenlijk alleen maar tekst op. Ja, elk model kan die tekst wel lezen. Dus dan is het net alsof ik een stukje tekst paste. Is het alleen wat duurder. Omdat hij die foto nog moet ontcijferen. Maar I don't care. Ik ben zo'n iemand. Op het moment dat mijn AI budget op is. Dan pak ik mijn creditcard. En gooi ik er meer budget in. En op dit moment in de tijd. Is dat nou wel te doen. Want ik betaal nu 200 euro per maand aan AI. En voor mijn gevoel. Krijg ik er meer voor terug. Want voor je beeld. Een boekhouder betaal ik ook. 95 euro per bedrijf. Waar die voor werkt. En als ik die op kan zeggen. Dan is 200 euro voor die AI winst. Alleen ik ben me nu heel bewust van het feit. Dat we in een soort van. Het begin van de curve. Van onherroepelijke. Het wordt duurder. We worden afhankelijker gemaakt. Ik wil nu eigenlijk al. Voor zijn dat ik gewoon weet. Zoveel mogelijk naar. lokaal naar mijn eigen computer trekken. Ik wil gewoon heel duidelijk weten, wat kan ik allemaal gewoon eigenlijk stiekem op mijn eigen hardware doen.

Jurian Ubachs:
[28:48] En daar zit je intuïtje in. Weten wat wel en niet kan op minder sterke hardware, minder sterke... Ik kan je vertellen.

Randal Peelen:
[28:55] Als ik een bepaald prompt in ChatGPT gooi, en daarna in Claude, en ik zie die twee antwoorden, en jij zou dat voor mij verborgen, ik denk dat ik dan weet welke welke is. En ik kan het je niet uitleggen. Kun jij het wel uitleggen? Want je hebt dat zelf.

Ivo Toby:
[29:08] Je leest het, je voelt het. Klinkt gek, je voelt het. Dat zijn andere personen. em-dashes, daar zie je al aan dat het Anthropic is. Die streepjes. Dat is kenmerkend voor Anthropic antwoorden. En Opus begint dat minder te krijgen. Maar Sonnet zit nog steeds vol met em-dashes. Dat is dé giveaway van Anthropic-modellen. En ik zeg altijd van, zeker met programmeren, maar met OpenAI-modellen, zeker de laatste 5.6 modellen. Ik weet niet of je die serie Silicon Valley hebt gezien. Er zit zo'n bof H-type in, Guilfoyle. Nou, dat is 5.6. Dat is een soort Guilfoyle. Heel erg, een beetje een narig typeje. Nou, en dat merk ik met OpenAI-modellen. En dat heel veel mensen die 4.0 hebben gebruikt. 4.0, nou, dat is een jaar geleden. Toen hebben ze gezegd, dan stoppen we mee met dat model. Allemaal acties, mensen die hun liefdesrelatie met hun AI in het water zagen vallen. Die had een hele, op een of andere manier, een hele vriendelijke, prettige omgang. En mensen voelen dat, hebben dat door.

Jurian Ubachs:
[30:15] Ja, dat is niet Guilfoyle, nee.

Ivo Toby:
[30:17] Nee, dat is nu heel anders met OpenAI. En Claude heeft altijd wel een beetje dezelfde vibe gehad. Het is altijd wel een soort vriendelijk, toegankelijk model geweest.

Randal Peelen:
[30:24] Ik vind Codex ook meer doelbewust en rechtsvoorziening krijgt shit voor elkaar. Terwijl ik vind Claude veel creatiever. Die kan veel meer blinde vlekken zien en iets maken dat er nog niet was. Ik heb van de week, was ik op vakantie in Denemarken, in Kopenhagen. Daar was een geocache, maar dat is een earth cache. Dat betekent je moet daarheen en dan krijg je een soort van proefwerk. zeven vragen. Die gingen over bepaalde stambeelden die daar stonden en type graniet en uit welke steenlaag van de grond ze dat hebben gehaald en dergelijke. Ik denk, ik ga dat allemaal niet uit zitten zoeken. Die copy-paste had lekker naar ChatGPT en naar Fable. Nou, ik kan je vertellen Fable maakte daar gehakt van, die was er in één keer uit. Die heeft ook allemaal bij andere vragen over, er hangen daar schilderijen en hoe heet dat schilderij dat daar en daar hangt. Nou, dan had hij gewoon de juiste manier gevonden om erachter te komen. Dat ging in één keer Wel, Sol, het grootste model van ChatGPT... die heeft zich daar een half uur op vastgebreid... kwam niet met de goede antwoorden. En dat is een heel andere... Ik zet codex in als ik mijn computer moet bedienen. Data van A naar B moet krijgen.

Randal Peelen:
[31:37] Shit voor elkaar moet boksen. Ik gebruik klats als ik een boek wil schrijven of een podcast voor wil bereiden. Het zit gewoon een heel ander gevoel in. Maar we dwalen af. Dit doet er wel toe op het moment dat je die agents gebruikt. Dat jij taken uitsplitst naar niet alleen het beste model voor de taak. Maar ook het goedkoopste model. Dat dat kan.

Ivo Toby:
[31:59] Ja, ik probeer daar zelf ook, dat is iets wat doorlopend, omdat er zoveel nieuwe modellen komen, doorlopend probeer ik dat te toetsen aan de use cases die ik zelf heb. En een tijdje geleden, een week of vier geleden, ik heb een soort frameworkje gemaakt om makkelijk te programmeren.

Ivo Toby:
[32:23] En normaal gesproken in een software ontwikkelingstraject, professioneel zeg maar, dan heb je een SDLC, de Software Development Lifecycle. Die gaat door een aantal stappen heen. Dat is gewoon, je schrijft een plan, je gaat het ontwikkelen, je laat het reviewen, dan wordt het gereleased en daar zitten nog allemaal kleine dingetjes aan vast. Maar dat hele proces kan je paralleliseren. Je kan zeggen van nou, ik start gewoon drie of vier features of taken tegelijk. Maar je gaat geheid ergens, ga je conflicten krijgen. Want als je vier of vijf agents tegelijk iets laat doen, dan raken ze dezelfde files aan. Dat is heel onhandig en dan moet je dat allemaal weer gaan, die conflicten er weer uit gaan halen. Als ik nou een project heb en ik maak een specificatie van iets wat ik wil maken, en ik ga dat uitsplitsen in taken, dan laat ik AI bekijken, welke van die taken kan ik parallel doen en welke niet. Dan krijg je een soort golven. Golf 1 is 4, 5 en 6. golf 2 is alleen taak 1 en die volgorde maakt ook nog uit, dus dat noem ik dan wave driven development want het zijn golven daar ben ik al hele tijd aan aan het sleutelen omdat ik op die manier eigenlijk probeer om, het maken van software zo autonoom mogelijk te krijgen, Waar ik naartoe wil, is ik dat nu ook geprobeerd met Qwen. En dat is een heel goedkoop, dom model vergeleken met de OpenAI's en de Anthropic modellen.

Randal Peelen:
[33:46] Want Qwen draaien op ons als eigen server, dat is eigenlijk gratis. Ja. Ja, het kost stroom, maar het is afgrond gratis.

Ivo Toby:
[33:53] Dus als Qwen daar een hele nacht over doet om vijf taakjes te draaien, prima. Als de rest van de gebruikers er geen last van hebben, doe maar lekker.

Randal Peelen:
[34:00] Ja.

Ivo Toby:
[34:01] Dus ik ben het gaan toetsen. Ik had gewoon een heel simpel projectje. Ik ben van Picnic overgestapt naar Albert Heijn. Dus ik wil weer een MCP server, hebben voor Albert Heijn. Ga maar een MCP server in Albert Heijn bouwen. Specificatie geschreven. Ik had alles klaarstaan. En aan de ene kant ben ik dat met Luna gaan doen. Luna op max. En dan is Luna de implementatie aan het doen. En Sol laat ik het reviewen. En Sol die geeft dan fouten terug. Nee, dit moet anders, dit moet anders. Dan gaat Luna het weer fixen. En zo is dat loopje zeg maar totdat je een software hebt die goed is. Datzelfde heb ik ook gedaan. Alleen dan met Qwen. Dus Qwen die ging het implementeren. En dan laat ik Sol, laat ik het reviewen. En wat opviel is dat Qwen er in eerste instantie helemaal niks van bakte. Ik kwam echt met sommige dingen terug dat JavaScript en Python door mijn keer heen waren geschreven.

Randal Peelen:
[34:46] Oh, wauw.

Ivo Toby:
[34:47] Hoe kan dat nou? Dus ik ben het gaan uitzoeken en ik heb Fable gebruikt om dat te analyseren. En die kwam met een enorme lijst met verbeteringen in de prompts. Dit moet duidelijker, je moet dit afbakenen en dit moet duidelijker. Nou, dat heb ik gedaan. En dat zijn een stuk of vijf iteraties geweest. Maar de volgende dag, toen werkte dat aardig. Toen heb ik dezelfde test nog een keer gedaan. En toen deed Qwen het lachend. Met prima code. En het werkte gewoon in één keer. Dus die heeft die MCP-server gebouwd. Gereviewd. En het duurde wel zes uur.

Randal Peelen:
[35:18] Het was gratis.

Ivo Toby:
[35:19] Het was gratis, ja.

Randal Peelen:
[35:21] Maar wacht even. Is dat dan uiteindelijk vergelijkbaar resultaat. Als dat je met Luna Max hebt bereikt? Want, oké.

Ivo Toby:
[35:31] Alleen wat langer. Het duurde wat langer. De reviewer gaat ongeveer per taak. komt er drie of vier keer feedback in plaats van één keer.

Randal Peelen:
[35:39] Ja, dus je moet nog steeds wel heel erg, het ding zit hem er dus vooral in wat je zegt, die frontier modellen, die hele dure Amerikaanse modellen, die zijn gewoon veel beter in zelf begrijpen wat je eigenlijk wil, en als je het goedkoper wil maken, dan zul je wat meer van het denkwerk vooraf moeten doen. Dat klinkt eigenlijk wel logisch.

Ivo Toby:
[36:02] Ja.

Randal Peelen:
[36:05] Tristan, even terug. Ik vind het nog steeds heel lastig. Hoe kun je tegenwoordig aan zoveel VRAM komen, dat je ook serieus grote modellen kan draaien? Want dit is voor mij, en dan kan ik misschien wel gelijk een vraag van een luisteraar erbij pakken, want Boba die heeft een vraag ingestuurd, die vroeg zich af, hoe zouden jullie het aanpakken als je voor een bedrijf van zeg 50 man lokaal een AI zou aanbieden? Zeg even dat je geinig budget hebt. En je wil... Dan kun je een server neer gaan zetten die... Iets van leuk denkwerk kan verrichten natuurlijk. Zeker. Hoe pak je dat aan?

Tristan Suerink:
[36:47] Zal ik eerst een paar voorbeelden even bijpakken. Om idee te geven.

Randal Peelen:
[36:52] Oh, hij tilt iets op. Oké. Fucking hell.

Tristan Suerink:
[36:55] Ga maar het zak. We kijken het maar.

Randal Peelen:
[36:58] Ja, oké. Dit is een Radeon Instinct MI50. Dames en heren. Het ziet eruit als een doodnormale videokaart. Maar dan wat opvalt. Hij is helemaal zwart. Dus hij is niet zo met allemaal RGB leds. En noem maar op. Zoals een gaming kaart. Deze ziet er niet uit alsof hij voor gaming is. Maar hij is even groot. En hij heeft geen ventilator. Wat ook bizar is.

Jurian Ubachs:
[37:19] Een reden klein vergelijking met de laatste huge kaarten.

Tristan Suerink:
[37:22] Het kan groter. Met de desktop kaart is hij heel compact.

Randal Peelen:
[37:27] Ja, maar dit is ongeveer de kaart die wij in onze machine hebben zitten.

Tristan Suerink:
[37:34] Het is hetzelfde model.

Randal Peelen:
[37:35] Ja, dit is alleen de 16 giga versie. Ik heb dan de 32 giga versie.

Jurian Ubachs:
[37:41] En waarom is het awesome?

Tristan Suerink:
[37:42] Deze kaart is in 2019, 2020 uitgekomen. En dit is wel de kaart waar heel veel van de begin AI werk op gedaan is. Dus het is een soort van grootvader.

Randal Peelen:
[37:55] Ik associeer AI tegenwoordig met Nvidia.

Tristan Suerink:
[37:58] Klopt.

Randal Peelen:
[37:58] Maar dit is een AMD Radeon.

Tristan Suerink:
[37:59] Deze waren een stuk goedkoop. Je kon in de tijd dat deze kaart kwam, had je de V100 van Nvidia. Je was twee keer zo duur en je had de helft van de rekenkracht.

Randal Peelen:
[38:09] Dus dit was een betere deal?

Tristan Suerink:
[38:11] Ja. Dus hier zijn echt velen van verkocht, velen voor gebruikt. Het gaat er maar vanuit dat mensen datacenters vol met de spulbeel gedraaid. Of om crypto mee te minen, of om AI-modellen mee te trainen.

Randal Peelen:
[38:24] Dus wat in mijn server zit, laat ik het onze server noemen. Want Ivo gebruikt die ook, dat is ongeveer deze kaart. Maar die zit niet eens DDR in, volgens mij.

Tristan Suerink:
[38:31] Die zit HBM in.

Randal Peelen:
[38:32] HBM? Wat is HBM?

Tristan Suerink:
[38:34] HBM is een geheugen wat veel bredere geheugenbandbreedte heeft dan DDR. Je hebt gewoon een dikkere snelweg naar je geheugen.

Randal Peelen:
[38:42] Maar, jouw punt hiermee is, je moet lekker op marktplaats kijken of iemand nog een sloot van deze kaart heeft liggen.

Tristan Suerink:
[38:48] Nou ja, dat zijn opties. Dit is een van de opties. Het bestaat een variant van deze kaart, dat je de acht naast kaart kwijt kan. En met een soort van SLI-achtige brug ze aan elkaar kan knopen. Waardoor je dus gewoon al die acht kaarten tegelijk een model kan inladen. Dus dan acht keer 32 gig. Dit is 384 gig aan...

Jurian Ubachs:
[39:06] Ik kan het nog kopen op Ali, zie ik.

Tristan Suerink:
[39:08] Oh, dat verbaast me niks.

Jurian Ubachs:
[39:09] 220 euro, dat is misschien een 16 GB versie. Moet ik even kijken.

Tristan Suerink:
[39:12] Maar dit is zeg maar een kaart waar eigenlijk een hoop is begonnen. Vandaar dat ik het me ook mee heb.

Randal Peelen:
[39:16] Ja.

Tristan Suerink:
[39:17] Draait die de laatste varianten van ROCm? Dat is zeg maar de CUDA-variant van AMD? Nee. Kan je makkelijk deze kaart dat wel laten doen? Ja. Je kan ook via Vulkan aanspreken, wat je natuurlijk ook kent van de spelletjes. Daar is die nog heel erg gebruikelijk. Ik weet dat deze kaart, het is op niks de basis dat dit een paar honderd euro maar plaats kan opleveren.

Randal Peelen:
[39:36] Wacht even, want je zegt ROCm. ik ken dat toevallig dat omdat ik daarmee geklort heb, jij zegt dat deze wel de nieuwste versie kan.

Tristan Suerink:
[39:43] Je kan hem, de nieuwste versie aan de praat krijgen, moet je twee bestandjes lenen van de ouder. En dan werkt het.

Randal Peelen:
[39:48] Ja, dat is gedoe. Dat is gedoe.

Tristan Suerink:
[39:50] Ik vind een ander alternatief.

Randal Peelen:
[39:53] Oh god, nee. Een kartonnen doos waarop staat Maxsun Intel Arc Pro B60 Dual 48G Turbo. Nou, voel ik aan mijn water.

Jurian Ubachs:
[40:05] Is dat niet dat ik het wel weer ver geleend heb? Of lijkt die erop?

Tristan Suerink:
[40:07] Ja, dat is hem.

Randal Peelen:
[40:08] Tweakers deze van...

Jurian Ubachs:
[40:10] Ja, maar we konden er eigenlijk niet de juiste test case. We hebben er eigenlijk niks mee gedaan. Maar we hebben wel een tijdje...

Tristan Suerink:
[40:16] Dit is de kaart die jullie begin dit jaar van hebben.

Jurian Ubachs:
[40:18] Ja, die hebben een tijdje een testlab gehad inderdaad.

Randal Peelen:
[40:20] Dus deze is, als ik hem zo moet omschrijven, want mensen zitten te luisteren. Ik zou zeggen groter. Hij is groter.

Jurian Ubachs:
[40:27] Dan is hij beter.

Randal Peelen:
[40:28] Ja, en zwaarder. Hij is wel knetterzwart. En hij heeft nu wel een ventilator. Maar als ik eerlijk ben, want Ivo zei al, als zo'n lokaal AI-model op jouw taken een nachtje moet pruttelen, is dat niet per se een ramp. Want het is heel vaak niet het enige model dat je gebruikt. Je kunt ook nog steeds geld aan open AI en een drop-up geven. Dus ik zie dit als een soort extra. Hoe snel die is, is niet het enige wat mij interesseert. Ik vind het heel interessant hoeveel VRAM heeft hij. Deze heeft dus 48.

Tristan Suerink:
[40:58] Er zitten kleine nuances. Eigenlijk zijn dit twee videokaarten.

Randal Peelen:
[41:01] Ah, oké.

Jurian Ubachs:
[41:02] Daarom heet hij dual.

Tristan Suerink:
[41:03] Daarom heet hij dual. Uit tien jaar, wat was het? Tien, vijftien jaar terug hadden we toch van die dual videokaarten van AT en NVIDIA?

Randal Peelen:
[41:10] Toch wel mooi, hè?

Tristan Suerink:
[41:11] Goals worden deze. Ik kijk even naar de expert.

Jurian Ubachs:
[41:13] Ik ben niet de expert op het video kaarten, maar. Daar heb ik hele goede collega's voor.

Tristan Suerink:
[41:18] Dat klopt. Maar deze kaart heeft een leuk trucje. Als je een moderne intelsysteem hebt, kan je er vier van deze kaarten in stoppen. En door middel van CXL kan je ze aan elkaar knopen.

Randal Peelen:
[41:28] CXL. Ik zie ze niet oud mee geworden.

Tristan Suerink:
[41:31] Dat. Zeg zelfs een technologie om met lagere vertraging op je PC-Express bus direct geheugen te kunnen uitwisselen. Dus als je vier van die kaarten aan elkaar knoopt, kan je 192 gigabyte VRAM krijgen. En zo'n kaart met een machine was een jaar geleden om van 10.000.

Randal Peelen:
[41:51] Euro.

Tristan Suerink:
[41:52] Dus had je voor 10.000 euro 192 gigabyte VRAM. En als je dat vergelijkt in Nvidia geld, dan zat je daar in een ton of zo. In die tijd. Om even het verschil te trekken.

Randal Peelen:
[42:02] Maar jij zegt 10.000 euro. Dat is als jij een leuk advocatenkantoor bent natuurlijk, best een acceptabel bedrag.

Jurian Ubachs:
[42:10] Nou, we relateren het eens aan Boba's vraag. Voor een bedrijf van 50 medewerkers zit je dan in de buurt van wat je nodig hebt. Moet je je dan nog iets meer bouwen?

Tristan Suerink:
[42:16] Het ligt heel gegaan. Gaat iedereen alleen maar tijdens kantoortijden op dat ding draaien?

Jurian Ubachs:
[42:20] Ik ken Boba een beetje. Als hij werkt voor dat bedrijf dan wel.

Tristan Suerink:
[42:24] Want hij is wel een kantoortijden tijger.

Jurian Ubachs:
[42:26] Volgens mij draait hij gewoon heel veel dingen.

Tristan Suerink:
[42:27] Ja, oké.

Tristan Suerink:
[42:29] Dit is een optie om te gaan. Voordeel van de Intel-kaart is dat Intel... ...bouwt best wel goede softkwaliteit. Heeft een hele API die al heel lang werkt. Dit is een optie om voor te gaan. Als je modern wilt gaan...

Randal Peelen:
[42:41] Oh god, nou gaat hij weer grabbelen in zijn dood. Waarom heeft Tristan alle leuke dingen? Oh, dat is zo'n Spark.

Jurian Ubachs:
[42:48] Die is heel klein, dus minder goed.

Randal Peelen:
[42:50] Wacht even, ik heb nu een kastje in mijn hand. Dat is een soort gouden kastje.

Jurian Ubachs:
[42:53] Ja, het heeft heel veel bling-bling. Als je er een ketting omheen maakt... En dan kan je hem zo om je nek dragen als een rapper.

Tristan Suerink:
[42:59] Ja, dan kan je echt hiphop rapper zijn.

Randal Peelen:
[43:02] Ik denk anderhalf tot twee keer. Zo'n vorige Mac Mini zou je eigenlijk kunnen zeggen. Want de nieuwste Mac Mini is wel echt kleiner. Maar het is zeker niet Apple TV. Het is wel... Het ziet er goud uit. De buitenkant zijn een beetje zo'n spons op een manier die heel erg luxe lijkt. Hoe kan je een spons luxe laten lijken?

Jurian Ubachs:
[43:23] Als je een beetje nagels overheen gaat bij je mic, dan maak je ASMR.

Randal Peelen:
[43:26] Zit er dan fucking SFP-sloten op?

Tristan Suerink:
[43:29] QSFP-sloten.

Randal Peelen:
[43:30] Deze motherfuckers willen heel veel gigabits maken.

Jurian Ubachs:
[43:33] Maar om maar even met de deur in huis te vallen. Want Simon had ook nog de vraag. Christan, heb je al met een spark kunnen spelen? En ik denk dat wij het antwoord hebben.

Tristan Suerink:
[43:42] Het antwoord is ja. Alleen, ik heb deze geleend van mijn goede vriend, Cedric Bot. Ik was begin van deze zomervakantie. Was ik toevallig bij hem thuis. Ik zag hem staan. Er zat al een laag stof op die doos. En ik vroeg, wat ga je dan mee doen? Ja, ik ga dat doen tijdens de vakantie. Ik zie iets van je gaat op vakantie naar buitenland. Daar ga je niks van doen. Dus ik heb het hem beloofd dat ik hem mocht lenen. En dat ik hem geconfigureerd en wel weer aan hem teruggeven in de drugs van vakantie. Wat kan dit kastje?

Randal Peelen:
[44:08] Ja, wat kan dit kastje?

Tristan Suerink:
[44:09] Hier zit een kleine versie van de Blackwell generatie Nvidia GPU's in. De GB10 uit mijn hoofd. De grote varianten zijn de B100, B200, BD1. Dat is wat alle grote jongens nu opdraaien.

Jurian Ubachs:
[44:24] Ah, B100, nice.

Tristan Suerink:
[44:26] Ja. En ze hebben dus...

Randal Peelen:
[44:29] Oh, ik val dit B100.

Jurian Ubachs:
[44:33] Zo. Anders ook wakke mensen.

Randal Peelen:
[44:35] Ik vind het nog net binnen de tijd.

Tristan Suerink:
[44:38] Er zitten dus 200 gigpoorten op. Daarmee kan je ze aan elkaar clusteren. En hij heeft een setje Amcors. En er zit 4 terabyte aan NVMe mee in.

Randal Peelen:
[44:47] 4 terabyte?

Tristan Suerink:
[44:48] Ja.

Ivo Toby:
[44:49] Ja, NVMe, geen geheugen.

Randal Peelen:
[44:51] Oh ja, dat is waar.

Tristan Suerink:
[44:52] En hij heeft dus 128 gig aan RAM, wat ook tegelijk je VRAM is. Want hij heeft universeel geheugen. Weet je wat ook in de PlayStation 5 is?

Randal Peelen:
[45:00] Hoeveel gig?

Tristan Suerink:
[45:00] 128.

Randal Peelen:
[45:01] Oké. Ja.

Tristan Suerink:
[45:03] Er zijn dus mensen, die hebben dus 16 van die kastjes naar elkaar geknoopt, om Kimi K3 op te draaien.

Randal Peelen:
[45:10] Ja.

Jurian Ubachs:
[45:12] Nog één keer hoeveel?

Tristan Suerink:
[45:13] 16. Van deze kastjes.

Ivo Toby:
[45:15] Maar dat is...

Tristan Suerink:
[45:17] Eén zo'n kastje is ongeveer straatwaarde... 6.000, 7.000 euro. Ligt er aan of je over geen btw moet betalen. Dat dan keer 16. Dus als je houdt van knutselen... is dat ook een optie.

Jurian Ubachs:
[45:29] Ik ben ook gewoon zo'n tijdens dit ding meenemen... en lekker uit eten gaan.

Randal Peelen:
[45:31] Ja, dat kan zeker.

Tristan Suerink:
[45:33] Je kan gewoon met Okura heel uitgebreid sushi gaan eten dan.

Jurian Ubachs:
[45:35] Dat denk ik ook wel, ja. Als je iemand kan vinden die dat werkt voor je betalen... en ik denk dat je daaraan komt dat ze niet echt begrijpen wat je in je hand hebt.

Randal Peelen:
[45:41] Ik moet ook zeggen van... Je zegt, als je lekker wil knutselen. Als ik heel eerlijk ben, ik vind het dus van niet. Ik vind dit is een kant-en-klaar appliance. Dat voor mij trekt de nerd-factor een beetje omlaag. Het is duur en leuk speelgoed. Het is een fucking fancy ding. Maar het is ook een beetje de soort van kant-en-klaar oplossing.

Ivo Toby:
[46:03] Klopt, de Apple onder de AI-appliance.

Randal Peelen:
[46:06] Je bent niet zelf een server in elkaar aan het schroeven. En dan kijken waar je in Godusnaam zoveel stroom vandaan haalt. Nou trouwens, als je 16 van die dingen bij mij in stopcontact houdt, denk ik niet dat die...

Tristan Suerink:
[46:17] Dat trekt hij.

Randal Peelen:
[46:18] Kan mijn stop dat aan?

Tristan Suerink:
[46:20] Berekend is dat je ongeveer 2 kW nodig hebt om 16 van die kastjes, inclusief switch, te kunnen draaien.

Ivo Toby:
[46:25] Oh, dat valt mee.

Randal Peelen:
[46:27] Dat is eigenlijk best wel weinig.

Tristan Suerink:
[46:28] En dat is gewoon, heb 16A-groep in je huis voor die toepassing en je bent klaar.

Randal Peelen:
[46:33] Nou, dan is het niet meer gratis afgerond, maar dan is het een stuk goedkoper dan een heel erg dikke...

Tristan Suerink:
[46:39] Je zou als je natuurlijk zonnepanelen hebt, je overstroom hierin kunnen douwen. En dat je overdag lekker je i-modellen draaien en s'nachts terugschakelt.

Randal Peelen:
[46:47] Maar in feite komt het hier wel op neer. Jij zegt, de instap variant van iets leuks op kantoor neerzetten. Is gewoon een x-aantal videokaarten tweedehands aanschaffen. Op een gegeven moment kom je natuurlijk met meer budget bij nieuw aanschaffen. Alleen dat is tegenwoordig onbetaalbaar.

Tristan Suerink:
[47:05] Klopt.

Randal Peelen:
[47:06] En je hebt die NVIDIA Spark kastjes die gewoon kant en klaar.

Tristan Suerink:
[47:11] Ja.

Randal Peelen:
[47:13] De hamvraag wordt natuurlijk in de toekomst van hoe lang gaan we die open modellen nog zien. En hoe goed worden die modellen. Want sorry dat ik het zeg Jur, maar de rek is er nog niet uit. Die modellen worden nog steeds beter.

Tristan Suerink:
[47:25] Zeker. Wat is het model van de grote jongens vorig jaar net zo goed als de open modellen van nu? Volgens mij is dat nu de stelregel. en het feit dat Kimi K3 standaard in de top 3 van alle benchmarks staat qua, kwaliteit en wat die allemaal kan heb ik zoiets van brons is toch ook goed?

Jurian Ubachs:
[47:44] Maar beantwoord dat dan de vraag zijn open weights voorlopig nog niet goed genoeg of wel goed genoeg?

Tristan Suerink:
[47:49] Als je het mij vraagt zijn ze goed genoeg alleen je hebt nu nog een bak hardweer nodig wat, Aan uitdagingen zijn bij elkaar te sprokkelen. Of naar je budget of je mogelijkheden uitdagen zijn.

Jurian Ubachs:
[48:02] Hadden jullie de vraag van Friti al gedaan tussendoor of niet? Nee. Want die vraag dus inderdaad. We hebben weer terug te komen hier. Is het echt al tijd om te investeren in een NVIDIA, DGX, Spark of AMD, Ryzen, AI, Halo, developer platform. Om modellen lokaal te draaien. Of zijn openweeds voorlopig nog niet goed genoeg?

Tristan Suerink:
[48:19] Ik zou zeggen dat ze goed genoeg zijn. En als geld een rol speelt en je gaat in die midden aan elkaar knopen, zou ik voor de AMD versie gaan.

Jurian Ubachs:
[48:28] Als je één van beide en er maar één gaat kopen, dan is die AMD versie wel.

Tristan Suerink:
[48:32] Die is prima. Het nadeel van die AMD versie is dat hij niet die 200 gig aansluiting heeft. Maar hij is wel 600, 700, 800 euro goedkoper. Dus als je zegt, ik wil er eentje hebben en ik stop mijn mergers in mijn meterkast of op zolder of wat dan ook. Ga lekker voor Sign. En het voordeel ook is, je kan er ook nog winnens op draaien ook. En dat kan Dave niet. Voor de mensen die dat doen.

Randal Peelen:
[48:54] Wat ik al zei. Ik wil vooral echt zoveel mogelijk veeraan. Ik wil gewoon.

Tristan Suerink:
[48:58] Dan heb ik nog een voordeeltje. Van die AMD versie komt binnenkort een 192 giga versie uit.

Ivo Toby:
[49:04] Nice.

Randal Peelen:
[49:04] Dat is wel een leuk kastje.

Tristan Suerink:
[49:05] Ja.

Randal Peelen:
[49:06] Ik heb nu te veel hobby's in mijn leven. Dus dit is zo'n onderwerp waarbij tijdje vrienden zijn. Ik denk als je nu een jaar wacht. Dan heb je echt voor een derde van het geld wat je nu kunt kopen.

Jurian Ubachs:
[49:18] Zelfs maar eens dat geen vaste baan hebben voor jou echt heel duur.

Randal Peelen:
[49:20] Dat is echt een heel slecht idee voor me.

Jurian Ubachs:
[49:22] Ja, je kan beter snelwinnen. Je kan beter sneltreinvaart allerlei hobby's dat allemaal geld kosten.

Randal Peelen:
[49:26] Nee, ik heb laatst al een blok IP-adressen gekocht waarvoor je ook een prima spark had kunnen hebben. Dat is ongeveer om het even. Maar het is wel belangrijk om in het oog te houden van hoe goed gaan die modellen worden. Want ik denk wat ik nu heb draaien op zo'n videokaart 32 gig. Dat zie ik nog net op het randje van bereikbaar voor de gewone mens. Eigenlijk heeft de videokaart al 12 gig of 16 of misschien een keer 24, maar een 32 gig kaart is al pushing the limit. Voor één single kaart is dat zeldzaam.

Tristan Suerink:
[50:02] Je hebt een 48 gig nu op tafel liggen.

Randal Peelen:
[50:04] Ja, dat is inderdaad.

Tristan Suerink:
[50:08] Maar dat is ook een vrij zeldzaam bijzondere kaart.

Randal Peelen:
[50:10] Ja, precies. Dus die wordt al een stuk duurder.

Tristan Suerink:
[50:13] Dan zit je in ongeveer 1000 euro aan kaarten te kijken.

Randal Peelen:
[50:16] Hoe goed gaan die modellen worden die op dat soort kaarten passen?

Tristan Suerink:
[50:20] Mijn vermoeden is dat veel van die modellen. Als je zo'n Kimi K3 pakt natuurlijk. Je hebt dan 1,5 terabyte een VRAM nodig. Maar mijn vermoeden is dat. Dan komen er des te later uit die steeds beter gaan passen op compactere hoeveelheden RAM. Dus dat je daardoor een soort van, hoe moet je dat zeggen, het druppelt door naar de volgende laag. En daardoor krijg je toch het gros van de kwaliteit van de laag te boven. Weet je dat idee?

Randal Peelen:
[50:45] En een belangrijk onderscheid dat ik Ivo laatst heb horen maken bij ons op de Slack. Is dat hij zei, ik heb allemaal benchmarks en daarin is dit het beste model. Maar het gaat bij je altijd over programmeren. Terwijl als je het hebt over gewoon kennis van de wereld. Of waar kan een ding nog meer allemaal goed in zijn. Het kan natuurlijk ook gewoon heel gespecialiseerd worden. Dus dat je voor een advocatenkantoor eentje hebt die heel erg goed is in heel veel tekst. En daarin verbanden en fouten en logische inconsistenties. Hoef je geen regelcode voor te kunnen schrijven.

Tristan Suerink:
[51:15] Je hoeft ook niks met plaatjes te kunnen.

Randal Peelen:
[51:17] Nee, helemaal niet.

Tristan Suerink:
[51:18] En dan wordt je model al heel snel een heel stuk compacter. Wij zijn nu ook bezig met het eigen model natuurlijk te trainen. Dat zijn we ons erna aan het doen. En wat we merken is dat je hebt een soort van curve verlopen. Dat een model als je maantreden bent gaat steeds hoger, hoger, hoger. En bepaald stort het in. Je hebt een heel stuk niemands land. Een bepaald moment krijg je pas de curve dat die uiteindelijk je optimum bereikt. Dat is hoe je trainingsproces eigenlijk eruit ziet.

Randal Peelen:
[51:43] Leg dat nog eens uit?

Tristan Suerink:
[51:44] Zie je dat als een soort van achtbaan. Dus je klint omhoog. En dan ga je natuurlijk de eerste stuk naar beneden. Dan zit je qua kwaliteit verbeterd niks aan het model.

Randal Peelen:
[51:54] Maar wat is die achtbaan? Dus de tijd die je hem laat trainen?

Tristan Suerink:
[51:56] De tijd die je laat trainen, de ruimte die je hem geeft, caféroom en de ruimte die je hem geeft qua rekenkracht. Dus je hebt een hele tijdsblok erin zitten dat hij eigenlijk niet beter wordt. Maar je blijft er energie in stoppen, je blijft er informatie in stoppen, je blijft er nog meer ram aan geven. En uiteindelijk krijg je dat hij helemaal omhoog schiet en dan pas haal je je optimum uit je model.

Randal Peelen:
[52:18] Hoe kan dat?

Tristan Suerink:
[52:20] Dan moet je aan mijn collega's vragen.

Randal Peelen:
[52:24] Ik vind dat trainen sowieso een fascinerend iets. Ik heb geen flauw idee hoe je dat doet.

Tristan Suerink:
[52:28] Uiteindelijk is het gewoon heel veel informatie aan voederen en zeggen, zoek de verbanden maar. Alsof je een rechercheur bent die je een zaak probeert op te lossen. Je hebt een heleboel dingen liggen en uiteindelijk moet je die rode lijn vinden. Dat is uiteindelijk wat trainen is.

Randal Peelen:
[52:40] Want hoe groot zijn de grote modellen van de grote labs tegenwoordig? Ik weet dat dat een groep bewaard geheim is, maar kun jij eyeballen op hoeveel videokaarten zoiets schijt? Want wat ik heb gemerkt, is als je meerdere videokaarten naast elkaar gaat hangen...

Tristan Suerink:
[52:54] Wordt dat niet sneller op?

Randal Peelen:
[52:55] Nee, het wordt meestal trager.

Jurian Ubachs:
[52:59] Waarom wordt het trager?

Tristan Suerink:
[53:00] Omdat... Als jij iets kan berekenen in je hoofd, dat is natuurlijk het snelst. Op het moment dat je aan randen moet vragen van...

Jurian Ubachs:
[53:08] Je moet overleggen en daar gaat de vertraging in zitten.

Tristan Suerink:
[53:11] Dus hoe meer je toevoegt, hoe trager het wordt. Daar is een oplossing voor.

Randal Peelen:
[53:14] Oh god, dan ga ik in geïnteresse.

Jurian Ubachs:
[53:15] Echt twee keer de stakken van Sinterklaas wat hier gebeurt.

Randal Peelen:
[53:18] En wat is dit? Oh, dit is een...

Jurian Ubachs:
[53:24] Ook wel van gauw.

Randal Peelen:
[53:24] Dit is een NVIDIA ConnectX-9 SuperNIC. Kijk, hij doet me heel erg denken aan een Nvidia Tesla A2, die ik ook in mijn server heb zitten. Dat is zo'n klein kaartje, die is eigenlijk bedoeld voor videotranscoding en kleinere modellen.

Jurian Ubachs:
[53:38] Is het een NPU of zo?

Tristan Suerink:
[53:39] Nee, dit is...

Randal Peelen:
[53:40] Maar dit is een netwerkkaart.

Tristan Suerink:
[53:41] Dit is een 800 gigabit netwerkkaart.

Randal Peelen:
[53:43] 800 gigabit.

Tristan Suerink:
[53:45] En dit is een prototype.

Randal Peelen:
[53:46] Een prototype.

Tristan Suerink:
[53:48] Die wel te kopen is.

Jurian Ubachs:
[53:49] En deze gebruik je om een hele grote hoeveelheid kaarten heel snel met elkaar te laten praten.

Tristan Suerink:
[53:54] Dus wat deze kaart kan is, als jij een machine hebt met GPU's erin, dan kan hij de data die binnenkomt direct in het geheugen van de GPU schuiven. Dus dan slaat hij de CPU volledig over. En hij weet dus ook van waar hij de andere GPU's kan vinden, om dan de data zo snel mogelijk van A naar B te krijgen.

Randal Peelen:
[54:11] Ik kan nog een, hoe heet die directeur van Nvidia ook alweer? Met dat hippe leren jasje. Die stond laatst op het podium en die vertelde een heel verhaal over server racks, waarin ze eigenlijk elke machine in dat rack even snel met elkaar konden laten praten, alsof het een soort van één machine was. En ik vond dat eerst een soort van waarom de fuck heb je de gast? Doe even normaal. Maar het is natuurlijk, Als een model niet meer in één kaart past. Niet meer in twee kaart. Op een gegeven moment in meer dan honderd kaarten moet. Dan moeten die kaarten net zo lang onderling kunnen praten. Als op hun eigen chips. En dat is eigenlijk een soort van. Ik wil dat woord frontier niet te vaak gebruiken. Maar de volgende wedstrijd. De bandbreedte op die kaart. Dat lukt nog wel. Binnen de printplaat heen en weer. Is het makkelijk. Maar om dan naar de andere kant van data te zitten. Op een gegeven moment worden die modellen gewoon simpelweg te groot. Hoeveel groter kan zo'n model nog?

Tristan Suerink:
[55:06] Waarom denk je dat ze kasten van een megawatt aan het ontwerpen zijn? Als volgende generatie GPU-rekenmachines.

Randal Peelen:
[55:14] Dus gewoon de hele kast is een GPU?

Tristan Suerink:
[55:15] Nou ja, het zijn een boel GPU-chips aan elkaar. Maar ze proberen zoveel mogelijk bij elkaar te proppen. Omdat die dingen ook steeds warmer worden en steeds meer energie nodig hebben om snel te worden. Ga je straks naar een megawatt per 19-inch kast. Nou, het zijn geen 19-inch kast, maar gewoon dat idee. Dat je echt denkt van, ik zit hier naar gewoon een halve stad aan vermogen te kijken.

Randal Peelen:
[55:36] Heeft iemand enig idee hoe groot die grootste modellen bij zo'n Anthropic of OpenAI zijn?

Tristan Suerink:
[55:41] Mijn vermoeden is dat ze gewoon, het feit dat ze gigawatt datacenters aanbouwen zijn, betekent dus dat je minimaal 10.000 van die kasten hebt staan en elke kast zit er 72 GBUS in van de laatste generatie of 144. Nou weet ik hem uit.

Randal Peelen:
[55:58] Ik kan dat niet uit mijn hoofd. Dat is een hoop. Dat is gewoon, dat is niet Kimi K3, zeg maar.

Tristan Suerink:
[56:02] Nee, dat is heel veel keer Kimi K3. Dat is echt gewoon Kimi K3 is tussendoortje.

Randal Peelen:
[56:07] Dat één keer in het geheugen staat. Dat is fucking bizar, toch?

Tristan Suerink:
[56:11] Zeg maar, AMD heeft ook een helioskast ontwikkeld en dat is zeg maar anderhalve meter bij anderhalve meter groot.

Ivo Toby:
[56:19] Ik kan me herinneren, ik heb gelezen een tijdje terug dat toen ging het over mythos, zeg maar de voorloper of het model waar Fable uit ontstaan is, dat die tegen de 10T, dus Triljoen aan zat. Maar goed, dat zijn allemaal schattingen. Mensen weten dat niet.

Tristan Suerink:
[56:35] Aan gewichten of aan... Nou, dat is best veel. Dan heb je wel dat soort kasten nodig. Maar heb je in ieder geval zo'n beetje alle bouwblokjes liggen waarmee je wat mee kan doen. Wat je nodig gaat hebben.

Randal Peelen:
[56:48] Behalve die Nvidia Inference kaarten die ook een vermogen kosten.

Tristan Suerink:
[56:54] Daarom heb ik er ook niet eentje mee.

Randal Peelen:
[56:55] Nee, precies. Naast het feit dat je ze niet kunt krijgen.

Tristan Suerink:
[56:58] Ja.

Randal Peelen:
[56:59] Dus het feit dat ze zo duur zijn is een beetje kip-eien.

Tristan Suerink:
[57:03] Ja. Uiteindelijk, om Boba's vraag nog verder te beantwoorden, het meest kritische component als je een AI-fabriek of je AI-kluster opbouwt, zijn je netwerkkaarten. Op dit moment zijn de ConnectX-7 400 gig kaarten nergens te krijgen. Dus mensen, ga ik over naar de 2x200 gig netwerkkaarten. Alleen 200 gig kabels, modules en alles andere dingen, die zijn niet zo heel populair. Dus die zijn nu overuit verkocht. Je ziet gewoon dat iedereen probeert wat te doen. Het is uitverkocht, dan zoeken ze een alternatief en dan is het volgende weer uitverkocht. Dat is gewoon een gek huis.

Jurian Ubachs:
[57:39] Dat is een goede samenvaring van de hele hardwaremarkt.

Tristan Suerink:
[57:41] De hele hardwaremarkt is gewoon een gek huis. Maar het feit dat natuurlijk al het RAM opgekocht is, is al best wel bijzonder. Waar ik twee vermoedens bij heb. Van ene zij om een landje pik te doen en de andere zij, want ze hebben het ook wel heel hard nodig. Je ziet het ook op networkkaarten, je ziet het kabels, je ziet het zelfs op dingen zoals busbars die je nodig hebt binnen het datacenter om stroom naar je kassen te krijgen. Echt op de meest rare plek kom je tegen dat dingen gewoon uitverkocht zijn. Of dat je bedragen krijgt van wat de gekker voor geeft.

Randal Peelen:
[58:14] Ivo, laten we nog even verder. Graaf, want je hebt natuurlijk, Talon gebouwd wat een soort van agent harnas is om AI allerlei trucjes te laten doen. Maar je hebt ook Postgram gemaakt. Wat is dat in hemelsnaam?

Ivo Toby:
[58:33] Postgram is eigenlijk het geheugen voor mijn agent. En dat is eigenlijk ontstaan, mijn agent, Talon heeft van zichzelf geheugen. Dat is SQLite. Dat is een heel erg lichte database.

Randal Peelen:
[58:48] Een database in een bestandje eigenlijk.

Ivo Toby:
[58:50] Ja, maar dat is niet echt heel stabiel. En ik vind het ook niet heel erg, het is niet deelbaar.

Randal Peelen:
[58:57] Het is niet robuust.

Ivo Toby:
[58:58] Nee.

Randal Peelen:
[58:59] Het kan sneller.

Ivo Toby:
[58:59] Het kan sneller. En zoeken wordt ook duur op een gegeven moment. Als je efficiënt wil zoeken. Vooral als hij veel geheugen heeft. Veel dingen in het geheugen opgeslagen heeft. Dus, en ik ben al best wel veel bezig geweest met vector databases. Voor werk. Dus ja, semantisch zoeken. Dus op een slimme manier zoeken naar semantische samenhang in termen en in je database. En toen dacht ik op een gegeven moment, nou ja, ik wil dat eigenlijk lokaal hebben voor mijn agents. Niet alleen voor Talon agents, maar ook voor mijn coding agents, voor werk. En ik wil eigenlijk gewoon een soort centrale database waar al mijn AI naartoe kan grijpen om op te halen of het op te slaan wat belangrijk is. Voor mij op persoonlijk gebied. en werkt wel maar, En zo kom ik op Postgram. Dus dat is eigenlijk samenvorming gewoon Ngram en Postgres database. Het is een Postgres database met een API erop.

Ivo Toby:
[59:55] En wat ik erin gemaakt heb, is dat die dus met pgvector, dat is een extensie op Postgres, waarmee je dus semantisch kan zoeken. Er zit een API op. En later heb ik het nog uitgebreid met een hele simpele graph, layer eroverheen. En Graf wil zeggen dat hij dus links kan maken tussen dingen in je database. Ik heb bijvoorbeeld een voorbeeldje. Ik heb een meeting gehad met een collega, Alex. En dat wordt opgeslagen door mijn agent. Ik heb een gespreksverslag. Ik maak een transcript via Zoom. Die upload ik automatisch naar mijn agent toe. Die maakt een verslag van. En die haalt eruit, oh Alex, dat is een entiteit, een persoon. Dus die wordt als entiteit in die database opgeslagen. Nou, dat wordt gelinkt aan alle documenten waar Alex mee te maken heeft gehad. Dus related to of involved in. Dat zijn dus die links, dat noemen ze edges. Die kan je typeren. Een edge kan zijn related to of er is een project van. Dus op die manier ontstaat er een soort spin aan geheugen, aan documenten, aan taken.

Ivo Toby:
[1:01:04] Die voor mij als persoon, ik heb er een webinterface voor gemaakt, kan ik er gewoon in zoeken. Dat is handig. Maar het is heel erg krachtig voor mijn agent. Ik kan een project starten op mijn werk, want we mogen eigenlijk alleen maar Codex en Claude gebruiken. Dus je kan een project starten of een taak starten in Codex. En op een gegeven moment denk je, nou ik ga verder in Claude. Nou dan weet Claude eigenlijk precies wat ik in Codex heb gedaan, omdat hij het allemaal uit Postgram kan halen.

Randal Peelen:
[1:01:29] Maar help mij even. Wat ik heb gemerkt. Toen ik voor het eerst met Claude Code op mijn servertje. Gewoon via de shell aan de gang ging. Is dat hij overal van die .md bestandjes achter begint te laten. En ik had in eerste instantie niet door. Wat is een md bestandje in hemelsnaam. Dan ging ik er eens in kijken. Het is eigenlijk gewoon een tekstbestandje. Maar ze noemen dat markdown. Dus md is gewoon een bepaalde manier van tekst neerzetten. Waar je ook wel dik gedrukt. En koppen en tabelletjes in kan maken. En er blijkt eigenlijk al een hele rijke geschiedenis aan tools die daarmee werkt. En... Ik weet nog dat we een aantal jaar geleden bijvoorbeeld zo iemand als Martijn Aslander in de studio hadden. Die was al heel erg bezig met een persoonlijk kennissysteem. Zorg dat je alles in eigen beheer hebt. Terwijl ik had zoiets van, ik heb mijn Evernote en ik heb mijn e-mail en ik kan alles vinden wat ik zoek. Dus waar doe je nou moeilijk?

Randal Peelen:
[1:02:23] Vele jaren later nu in het AI tijdperk valt het kwartje eigenlijk pas veel meer. Dat je als je in een map al je eigen bestanden hebt zitten en het is zo simpel mogelijk. tekst, zo'n AI daar heel goed mee uit de voeten kan, maar een andere AI opeens ook. Dus misschien een beetje langer omweg voor de vraag, maar ik heb me op een gegeven moment weer een beetje verdiept in Obsidian. Dat is eigenlijk ook een notitie-app die al heel lang via die filosofie werkt. Zo van, nou, wij kunnen ze wel, maar wij gaan niet al jouw aantekeningen op onze server zetten. Dat is niet het idee hierachter. Het idee hierachter is, je hebt gewoon een mapje. Daar staan een heleboel van die MD-bestanden. Die zitten ook weer in mapjes. En daar zit een soort van, ik noem hem even hyperlinks in. Het wereldwijde web was ooit revolutionair. Omdat de ene pagina de andere wijste. Nu denk je, ja, duh, natuurlijk doen ze dat. Maar dat was ooit revolutionair. En doordat dat allemaal naar elkaar ging wijzen, kreeg je dus dat web. Dat kun je natuurlijk ook in die MD-bestandjes hebben, die in een mapje staan, die met obsidian werken, die elke AI ook kan doen. Waarom ga jij het dan in hemelsnaam in een database zetten die weer niet door iedereen te begrijpen en te runnen is?

Ivo Toby:
[1:03:29] Wat jij beschrijft, die markdown files die naar elkaar linken, als je dat goed opzet op een bestandssysteem, dat heet Progressive Disclosure, dan kan jouw AI...

Randal Peelen:
[1:03:39] Progressive Disclosure?

Ivo Toby:
[1:03:40] Ja, dat is het patroon wat erachter zit. Je begint met een index, daar staat bijvoorbeeld recepten. sport auto, dat zijn de hoofdcategorieën jouw agent of jouw AI kan die gaan volgen, dan komt die in de map auto, dan ziet die nog een index en dan staat er kilometerstand, onderhoudsgeschiedenis, verzekeringen en zo kan jouw agent als het ware een soort boom van bestanden doorheen ploegen en, dat heb ik niet verzonnen progressive disclosure, dat heeft Andrej Karpathy een paar maanden geleden verzonnen dat heeft hij gedropt ergens in En GitHub en heel AI-wereld is er overheen gevallen. Dus een heel erg krachtig en mooi patroon. Alleen, als jij op je mobiel met Claude aan het kletsen bent, dan heb je dat faalsysteem niet bij jou. Bij de hand heeft Claude niet. Nee. Het zet je op diezelfde verhaal. Of een willekeurige agent die in jouw omgeving draait, kan best zijn dat het op een laptop is waar mijn notitiemapje niet op staat. Postgram voorkomt dat. Dus daar wordt eigenlijk alles in gekloond. Dus ik heb mijn notities gewoon op mijn server staan. Die staan in Git. Op het moment dat ik iets toevoeg, wordt het gecommit. Zodat het in ieder geval netjes erger staat. En ik heb een script te draaien, want ieder half uur kijk ik naar alle nieuwe files in mijn notities. En die upload die naar Postgram. Daar worden ze geëmbed, zodat ik goed kan verzoeken. Dan worden ze gelinkt. En dan staat het klaar eigenlijk voor al mijn agents, inclusief mobiel, gewoon vanuit ChatGPT, om er doorheen te zoeken.

Randal Peelen:
[1:05:09] Maar hoe komt ChatGPT daar dan weer bij?

Ivo Toby:
[1:05:12] Via een API.

Randal Peelen:
[1:05:13] Een MCP-server?

Ivo Toby:
[1:05:15] Een MCP, ja. En in ChatGPT heet dat een app. En in Anthropic is het MCP. En sinds kort kan je ze, als je een remote MCP hebt, die draait dus gewoon op een webadres, een API, moet je die met OAuth-authenticeren. Dat is even gedoe. Maar als je dat eenmaal hebt draaien, dan hoef je alleen maar een key in te geven. Dan heeft hij die toegang. En dan kan dat vanaf je laptop. Vanaf je mobiel.

Ivo Toby:
[1:05:37] Vanaf desktop web. Dus gewoon vanaf je browser. Hij heeft gewoon die app.

Randal Peelen:
[1:05:41] Dat is wel hip. Want ik heb dus op een gegeven moment zelf bedacht. Ik wil Obsidian. Want dat is een soort notitie app. Die werkt onder water met MD bestandjes. Die MD bestandjes kun je op elke debiele computer kwijt. En dat kun je copy pasten. En dan heb je een backup. Dat is wel super down to earth. Makkelijk. Iedereen snapt dat. Dus ik vind de charme van die bestandjes wel heel lekker. ik dacht op een gegeven moment, nou als ik er overal bij wil kunnen dan moet ik gewoon, nee niet Google Drive, nee niet Robbox, ik maak een Nextcloud servertje en dan zet ik het daar allemaal in maar ik heb inderdaad wel het probleem wat jij nu omschrijft ik heb nog niet alles in mijn leven kunnen koppelen aan mijn Nextcloud mapje, dus eigenlijk is dit een manier om dat op te lossen.

Ivo Toby:
[1:06:23] Het belangrijkste en ik heb de vraag wel eens gehad wat is dan jouw single point of truth? Dat blijven mijn notities. Dus als ik iets wil wegschrijven, doe ik dat nooit na een Postgram. Dat kan wel, maar dat doe ik in principe nooit met notities.

Ivo Toby:
[1:06:39] Dus je hebt eigenlijk drie dingen die je kan opslaan in Postgram. Dat zijn documenten. Die kunnen allemaal types hebben. Geheugen, memory. Dat is echt alleen voor agents. Dat maak ik, dat raak ik nooit aan. En taken. Taken, dat is eigenlijk meer voor mezelf. Want ik gebruikte altijd Apple Reminders. En dan had ik weer een markdownlijstje. Het werkte nooit goed genoeg, want ik moest het zelf managen. En nu heb ik gewoon de ouderwetse getting things done. ik weet niet meer wie dat geschreven, maar dat is al heel oud. Die methodiek heb ik in Postgram ingebouwd. Dus je hebt gewoon een lijst met dingen in je inbox.

Randal Peelen:
[1:07:13] Ja, een inbox.

Ivo Toby:
[1:07:15] En een lijst met dingen met Next. En een lijst met dingen met Postponed.

Randal Peelen:
[1:07:19] En Someday Maybe.

Ivo Toby:
[1:07:22] En dat wordt allemaal beheerd door mijn agent. En het mooie is, mijn agent gaat elke avond om zeven uur of half acht door al mijn notities heen van die dag. Dus alle gesprekken die ik heb gehad. Ik heb het gekoppeld via Glean, heet dat. Dat is een Amerikaans systeem dat we op werk gebruiken. Wat eigenlijk overal aan gekoppeld is. Dus aan Slack, aan e-mail, aan Google Workspace, aan Confluence. Dan gaat hij via Glean gaat hij kijken, wat heb je vandaag allemaal aangeraakt? Met wie heb je gesproken? En dan haalt hij zo op, je moet dat en dat en dat morgen doen. Dus dan gaat hij mijn getting things done lijstje aanvullen met alle taken die ik de volgende dag moet doen. De volgende ochtend krijg ik om half negen mijn daily van mijn agent. Nou, je moet vandaag dit en dit en dit en dit doen. En als ik het dan deadline, tijd of wat dan ook aan heb... en ik heb het rond die deadline nog niet gedaan... dan krijg ik weer een berichtje. Hé, je bent dit vergeten. Dat moet je nu echt snel gaan doen.

Randal Peelen:
[1:08:15] Klinkt als iets wat ik in theorie heel hard nodig heb... maar het beduizelt me ook voor de ogen hoe ik dat moet bouwen. En... Ik weet ook al dat mijn volgende struikelblok wordt. Als jij mij vandaag super goed gepland vertelt wat ik allemaal moet gaan doen. Er is een steeds kans dat ik het niet ga doen. Sterker nog, ik zie dan die to-do en ik denk, wacht even. Als ik dit nou ook weer aan AI leer, dan hoef ik het er nou nooit meer te doen. Dan ben ik de hele dag daarmee bezig.

Ivo Toby:
[1:08:41] Dat is de volgende stap.

Randal Peelen:
[1:08:43] Maar dat is wel ook een valkuil, denk ik. Want er is ook wel werk dat gewoon gedaan moet worden.

Ivo Toby:
[1:08:47] Soms wel, soms niet. Als ik een document moet schrijven met een of andere architectuur waarvan ik al wat notities heb. Talon is in mijn geval, heb ik die prompt al zo aangepast dat die slim genoeg is om daar een bedraafd voor te maken.

Randal Peelen:
[1:08:59] Wat ik morgen doe als ik deze aflevering ga nabewerken is. Ik haal de kop en de staart eraf. Dan sleep ik alles naar het plekje waar het moet zijn. En dan render ik de aflevering. Dan trek ik daar geautomatiseerd een transcript uit. En eigenlijk vanaf dat moment hoef ik niet zoveel meer te doen. Want ik heb nu codex zo dat als ik dat transcript erin gooi. Dan gaat hij een heel erg dikke sessie doen die een kwartier duurt met een titel en een transcript. En dat gaat hij dan naar WordPress zetten. Dat doet hij via SSH. Waarom niet? En dan zet hij dat document ook in WordPress. Dan vraagt hij mij nog wel om de foto eraan te doen. En is dit akkoord? Als ik het niet akkoord vind edit ik het nog even. als hij het wel akkoord heeft, dan zet hij het vast neer op de plek waar we het hosten. Om die studio. Dan zet hij het vast klaar op YouTube en alle andere plekken waar de aflevering gepubliceerd gaat worden. En dan plant hij het allemaal vast in op de juiste plekken. En dan.

Randal Peelen:
[1:10:00] Eh... Hoef ik eigenlijk alleen nog te zeggen waar het WAV-bestandje staat. Dat zet hij er dan bij. En dan gaat hij zelfs de reclameslots in de juiste plek van het WAV-bestandje. Het enige waar ik echt voor moet oppassen. En dat probeer ik ook te doen. Is dat de menselijke mate er wel in blijft. Staat tegenover. Kijk bijvoorbeeld Jurian die schrijft reviews. Dat is zijn product. Dat lezen mensen ook. Bij ons is het product de podcast. Dat WAV-bestandje. Dat doe ik met de hand. Daar zit de liefde in. Alleen als je kijkt naar de statistieken. Hoeveel mensen die omschrijving bij de podcast gaan lezen. Geen één hond. Dus daar heb ik gezien. Daar mag iets minder liefde in zitten. De titel is wel een beetje.

Jurian Ubachs:
[1:10:43] Als je een beetje feeling hebt. Dan weet je wel dat het AI teksten zijn. Dat haal je eruit.

Randal Peelen:
[1:10:48] Ik heb zoiets van. In ons geval vind ik dat acceptabel. Als je kijkt hoeveel tijd het scheelt. En het feit dat toch niemand het leest. De titel vind ik wel belangrijk. Maar dat is tegenwoordig helaas. In de clickbait. generatie toch al best wel formulistisch, zeg maar. Een soort van x-aantal formules, waarmee je een titel kan maken. Maar evengoed, het blijft een valkuil. Ik merk dat hoe meer ik automatiseer, hoe leuker ik het vind. Hoe meer ik nog meer ga automatiseren. Hoe meer mijn tuintje groeit van shit die ik moet onderhouden. Ik vind dat echt wel... Jawel.

Ivo Toby:
[1:11:23] Je kan namelijk ook zeggen je moet het zelf onderhouden. Dat kan je je ook laten doen. Ik geef het moment had ik ook, Vooral met mijn werkagent. Die was de hele dag maar berichten aan het sturen. Op een gegeven moment wordt het noise, wordt het herrie. Dan luisterde hij er ook niet meer naar. Dus ik ging het optimaliseren. Op een gegeven moment dacht ik, maar wacht even, waarom ben ik dat aan het doen? Ik kan ook iets maken dat hij elke avond kijkt naar de interactie die ik met mijn agent heb gehad. En dat hij zelf bedenkt, hé, kan ik hier dit proces verbeteren?

Ivo Toby:
[1:11:52] Dat is eigenlijk dat je je agent zichzelf laat verbeteren. Nou, ik heb daar een prom voor geschreven. Ik heb dus dat hele noisy wat hij deed, heb ik niet aangeraakt. Ben ik niet bij verder gegaan. Ik heb gezegd, nou, dit is deze prompt. Is dat je aan het eind van de dag interactie doorloopt. En dan een suggestie doet aan mij, dat wil ik nog wel zien. Over hoe je jezelf kan verbeteren. En het eerste wat hij zei, ik stuur nogal veel notificaties. Dus ik ga dat splitsen naar wat belangrijk is voor dat moment. Wat echt prioriteit heeft. En aan het eind van de dag stuur ik eigenlijk alles wat ik de rest van de dag, zou sturen. Maar wat niet zo belangrijk is. Wat dus Harry is. Nou, dat vond ik eigenlijk wel een goede suggestie. En zo heb ik dus iedere drie, vier dagen komt hij met een idee. Nou, misschien kan ik dit beter doen. Misschien kan ik dat beter doen. En ik zeg niet dat ze allemaal even goed zijn. Maar sommigen zijn best goed. Oh ja, oké. Dus mijn agent heeft nu ook het recht gekregen om zijn eigen prompt aan te passen en te optimaliseren. Dat is best wel riskant. Maar het is ook wel een leuk onderzoek. Leuk om te zien hoe goed dan AI is in, een toepassingsgebied. Niet zichzelf als AI, maar in een toepassingsgebied zichzelf te verbeteren.

Randal Peelen:
[1:13:02] Ja, en naarmate de modellen beter worden, dat ook weer beter gaat doen. Maar ik vind nog steeds dat dit valt onder mijn paraplu van een steeds groter tuintje met steeds meer onkruid. Want ik heb namelijk ongebreidelde creativiteit die niet opgaat op het moment dat ik steeds meer uit mijn vingers krijg. Ik zit nu echt in het tijdperk dat ik honderd keer meer dingen kan doen dan ik ooit voor elkaar kreeg. Maar naarmate ik meer doe, krijg ik ook meer ideeën. En het stopt gewoon niet. Er gaat niet één proces zijn dat al mijn tuintjes kan lopen wieden. En ik weet ook niet vooraf welk tuintje ik ooit... Uit ga spelen. Te veel hobby's. Te veel creatieve ideeën.

Tristan Suerink:
[1:13:48] Volgens mij heb je weer tijd voor een dagdaak.

Randal Peelen:
[1:13:51] Het wordt tijd dat ik mezelf ga vermaken. Nou, nu vermaak ik me kostelijk. Dat is niet het probleem.

Jurian Ubachs:
[1:13:57] Maar soms gaat het missen. Dat hoor je in de bonus.

Randal Peelen:
[1:14:00] Precies. Eén toetje, Tristan, eventjes.

Randal Peelen:
[1:14:04] Ik zei in de intro al dat jullie nu bezig zijn met... Wat voor koeling was het? Directe vloeistofkoeling? Ik denk, er zijn al decennia lang computers met waterkoeling. Wat doe je nou interessant?

Tristan Suerink:
[1:14:16] Eigenlijk niks bijzonders.

Randal Peelen:
[1:14:18] Oh.

Tristan Suerink:
[1:14:19] Nou ja, het bijzondere is eigenlijk dat... Misschien is het een klein stukje geschiedenis handig om te weten. Ik stond bij de supercomputerconferentie in de VS in 2019 in een fluisterruimte van een van de grote bekende fabrikanten. En het was in de tijd dat AMD Rome uitkwam. Dat was de Zen 2 Epic processor. En dat was de eerste proces die op de markt kwam. Waarbij AMD zeg maar een mokerslag aan Intel gaf. Naar technologie bekeken. Dus je kan Intel's reactie overwachten. Iets met kut, kut, kut, kut, kut.

Tristan Suerink:
[1:14:54] Dus wat hebben ze gedaan? Ze hebben hun bestaande interprocessen gepakt, twee aan elkaar vastgeplakt, dat op een socket gedauwd en dat keer twee. En er stond zo'n prototype systeem in die fluisterruimte bij die fabrikant. En ze hadden twee varianten, luchtgekoeld en vloeistofgekoeld. De vloeistofkoelder had aan de voorkant allemaal gewoon een harde schijfbeest, zoals je gewen bent van een surf. De luchtgekoelde zag eruit als een windtunnel. Dus vroeg aan degene die ons rondleidde van, waarom dat verschil? Hij ziet van, de ene doet per socket een kilowatt.

Tristan Suerink:
[1:15:22] En dat keer twee. Dus je hebt alle koude lucht nodig om dat ding te kunnen koelen. En ik had zoiets van, we zitten nu op 7 nanometer. Nou, bepaald kunnen we niet kleiner. Want 0 nanometer kan natuurlijk niet. Dus de enige manier om snel te kunnen gaan, is om meer vermogen erin te stoppen. Als je er meer vermogen in stopt, moet je dat kunnen wegkoelen. En er zit een grens aan luchtkoeling. Dus ik had toen nog zoiets van, we moeten wat gaan doen met vloeistofkoeling. Om te gaan kijken op een manier wat toepasbaar is, zeg maar, in kleinere schaal datacenters. Kijk, dat grote supercomputers al decennia vloeistofkoeling doen, dat is logisch. Dat mainframe is dat al decennia doet, dat is ook logisch. Maar dat zijn hele specifieke systemen die in een spe... Sommige mensen bouwen compleet nieuw pand om zo'n ding kwijt te kunnen. Zelfs wat nu met AI systemen gebeurt. Het ding, er wordt een pand om een ding heen gebouwd. Maar ja, dat kunnen we niet. We hebben een datacenter wat vroeger onze bibliotheek was. Dus het moet passen in bestaande datacentervloeren. We hebben zelfs een datacentervloer die uit de jaren 70 komt. Dus...

Tristan Suerink:
[1:16:22] Genoeg te doen. Nou ja, we hadden corona, we hadden renovatie aan het pand. Uiteindelijk was het 2024. Toen ben ik op diezelfde beurs bij alle koelingsfabrikanten langsgelopen en gevraagd van. Wat voor technologie gebruik je? Wat voor vloeistof gebruik je? En hoe zorg je ervoor dat het ook past in bestaande kasten op een soepele manier? En toen kwam ik uit bij één fabrikant die hele dunne slangetjes gebruikt. Die gebruikt maar het van zogeheten tweefase koeling. Dus dat je de vloeistof verdampt bovenop. processor. En die damp voer je dan weer terug af.

Randal Peelen:
[1:16:55] Maar dat doen zelfs iPhones tegenwoordig van binnen.

Tristan Suerink:
[1:16:58] Ja, dat doen ook koelblokken met van die mooie kopere pijpjes in je thuiscomputer ook.

Randal Peelen:
[1:17:02] En mijn airco doet dat ook.

Tristan Suerink:
[1:17:05] En je koelkast ook. Het is technologie wat een heel taal heel lang bestaat.

Randal Peelen:
[1:17:08] Ja.

Tristan Suerink:
[1:17:10] Maar ja, in service is dat niet heel erg makkelijk. Want je zit met een paar natuurkundige probleempjes.

Randal Peelen:
[1:17:15] Condensforming?

Tristan Suerink:
[1:17:17] Nou ja, je zit te maken met dat soort vloeistof gebruik je, want je kan bijvoorbeeld vloeibouw CO2 pakken. Dat borrelt bij min 40 graden Celsius. Nou, min 40 graden Celsius, dan krijg je natuurlijk condensvorming. Verleidingen, daar word je niet heel gelukkig van. Iets met water en elektra is geen goede kombi. Dus dat is niet makkelijk toepasbaar. Nou ja, water zit natuurlijk 100 graden. Dat is veel te warm voor siliciumchips. Dat is wel wat er tussenin zit. Dus je hebt uiteindelijk vloeistoffen nodig die gemaakt zijn... om zeg rond de 40 graden Celsius te kunnen verdampen. Maar dan heb je wel een koelblok nodig die maximale warmteafgifte doet. En ook voorzorg dat het niet borrelt. Als je een pan met heet water hebt, heb je natuurlijk bepaalde plekken waar allemaal belletjes ontstaan. Op die plekken heeft dus de vloeistof geen contact met het koelblok. Dus heb je daar geen koeling. Dan krijg je dus een niet-uniforme manier van koeling. Wat weer hete punten op je proces kan veroorzaken. Wat weer nadeelige effecten kan geven.

Randal Peelen:
[1:18:14] Klinkt als zover achter de comma mensen.

Tristan Suerink:
[1:18:16] Ja, maar als je op de schaal opereert waar ik op opereer, dan wordt het thuis heel belangrijk.

Randal Peelen:
[1:18:21] Ja.

Tristan Suerink:
[1:18:21] Dus. Die ene fabrikant had die probleem opgelost. En dat ziet er al zocht uit.

Randal Peelen:
[1:18:28] Oh god, hij heeft zijn zak weer bij zich. Dit is...

Jurian Ubachs:
[1:18:31] De tafel ligt inmiddels helemaal van de kop. Nu een gigantse pizzadoos op tafel.

Randal Peelen:
[1:18:35] En die pizzadoos die heeft er bovenop zie ik al twee soort van koelblokken zitten. En daar zitten slangetjes aan. Een rood slangetje en een blauw slangetje.

Tristan Suerink:
[1:18:44] Dat klopt.

Jurian Ubachs:
[1:18:45] Dan moet je het doorknippen voor de bom die niet...

Randal Peelen:
[1:18:47] Ja, precies. Ik denk de rode, want dan wordt het lekker koel.

Tristan Suerink:
[1:18:52] Je mag hem eruit pakken als je wil.

Randal Peelen:
[1:18:54] Dit is zo'n cool blok. Dat gaat op een hele grote processor. Dat is denk ik niet een standaard processor. Die bij mijn zoontje in de Roblox computer zit.

Tristan Suerink:
[1:19:03] Het is mogelijk om met een 3.0 te stoppen.

Randal Peelen:
[1:19:05] Als het goede moederbord draait.

Jurian Ubachs:
[1:19:07] Blijf je wel lekker cool man.

Randal Peelen:
[1:19:08] De server die dit draait. Kan waarschijnlijk ook wel Roblox als hij wil. Ja, hartelijk. Dat denk ik wel. Maar kijk. Ik wil het natuurlijk helemaal niet minder sexy maken. Dan het werkelijk is. In essentie heb ik nu gewoon een cool blok in handen. Zoals ze dat dertig jaar geleden op tweakers ook al hadden.

Tristan Suerink:
[1:19:25] Zeker, zeker.

Randal Peelen:
[1:19:27] Wat maakt dit bijzonder? Want dit koelblok is niet van... Ja, een deel is van koper volgens mij.

Tristan Suerink:
[1:19:31] En dan is het gewoon van kunststof.

Randal Peelen:
[1:19:32] Maar de rest is van plastic.

Tristan Suerink:
[1:19:35] Wat bij één fase koelingsysteem de manier hoe je koelt is... Door middel van je vloeistof zo vlot mogelijk door het koelblok heen persen. Om op die manier de warmte weg te krijgen. Een beetje het omgekeerde wat je radiaat tot thuis doet. Daar zitten limitaties aan. Die limitaties zitten ergens rond de 10 bar. Dat is meer dan wat je espresso apparaat aan druk heeft om een koffie te maken.

Randal Peelen:
[1:19:55] Ja.

Tristan Suerink:
[1:19:56] Je kopje koffie te kunnen maken. En erbij 10 bar wil je niet in de buurt hebben als het kapot gaat.

Randal Peelen:
[1:20:01] Nee, dat ontploft.

Tristan Suerink:
[1:20:02] Eén fase koelsystemen hebben altijd een mix van water en of glycol als koelmiddel. Beide word je niet heel gelukkig van in de buurt van elektronica en glycol is natuurlijk erg giftig.

Randal Peelen:
[1:20:14] Natuurlijk. Dat wist ik niet.

Tristan Suerink:
[1:20:18] Je wilt het niet drinken. Het andere nadeel van zo'n mix met water en glyco is dat je vaak nog wel last hebt van biologische vorming in je water. Of zeg algen groei, planten groei en dergelijke. Er zijn dus supercomputers in deze wereld die zijn dus uitgezet omdat ze dus last hadden van prut in hun koelleidingen.

Randal Peelen:
[1:20:38] Algen.

Tristan Suerink:
[1:20:39] Dus dan moet je dat allemaal schoonmaken, uitspoelen. Een beetje wat je ook met je aquarium thuis hebt.

Randal Peelen:
[1:20:43] Stel je bent die algen en je denkt, wil je waar ik gaan wonen?

Tristan Suerink:
[1:20:46] Ik ga in een supercomptie te wonen. Het is natuurlijk een lekkere warme temperatuur. Want je hebt natuurlijk water wat zeg maar tussen 30 en 40 graden warm is.

Randal Peelen:
[1:20:54] Maar er komt toch amper zonlicht en er is niks te vreten daar.

Tristan Suerink:
[1:20:57] Dat maakt niet uit. Kennelijk vinden ze het toch leuk daar. Dus dat is allemaal na...

Jurian Ubachs:
[1:21:00] Het is altijd een hele lange glijbaan. What's not to like?

Randal Peelen:
[1:21:02] Ja, precies. De hele wiii.

Tristan Suerink:
[1:21:04] Ja, dat ja. Dus uiteindelijk heb je daar een probleem met één fasekoegelsystemen. Plus, als je kijkt naar hoeveel vermogen kan ik eigenlijk wegkoelen uit een chip. Dan heb je een grens van 3 kilowatt. Wanneer één fase koeling eigenlijk niet meer gebruikbaar is. Zijn we luchtkoeling stopt ergens bij 300 watt per hoogteinheid. En één fase stopt dus ongeveer bij 3 kilowatt. AMD heeft deze maand, GPU's aangekondigd die 2400 watt per stuk doen. De nieuwe generatie NVIDIA's doet 2300 watt per stuk. Dus we gaan er vanuit dat de generatie daarna ergens rond die 3 kilowatt zal, stoppen. Om nog die koeltechnologie te kunnen gebruiken. Twee-fase-koeling kan 450 watt per vierkante centimeter koelen. Om een idee te geven, een moderne AMD EPYC doet ongeveer 20-30 watt per vierkante centimeter. Dus je hebt meer dan genoeg bandbreedte om te koelen. Plus dit systeem draait op 1,2 bar. En het bijzondere aan dit koelblokje is, er zit een vlot erin. Net zoals wat je in je wc spoelstortbak hebt zitten. Dus hij vlot af met vloeistof. Vlottertje blokkeert het gaatje. De inlaat. De vloeistof verdampt. Vlottertje zakt naar beneden. En dan wordt er bij gevuld. Gewoon mechanisch.

Randal Peelen:
[1:22:21] Relatief low tech ook.

Tristan Suerink:
[1:22:22] Juist. Je hebt geen actieve aanstuur nodig. Natuurlijk en de regelt het allemaal voor je.

Randal Peelen:
[1:22:27] Maar waar gaan die slangetjes heen?

Tristan Suerink:
[1:22:29] Uiteindelijk naar een stijgroot die je in je kas monteert. En die zit aan een warmtewissel aangesloten. En die warmtewissel zitten aan je pand aangesloten.

Randal Peelen:
[1:22:36] Oké, dus waar gaat die warmte dan ultimo uiteindelijk heen?

Tristan Suerink:
[1:22:41] Je kan natuurlijk uiteindelijk naar je koolmachines die boven op het dak staan. Die de warmte weer loslaten aan de buitenlucht. Of in ons geval, wij stoppen de warmte in de grond. Om de warmte weer her te gebruiken om a, ons eigen pand te verwarmen in de winter. Maar ook om de andere panden bij ons op het Science Park, zoals de studentenwoningen en panden van de universiteit te verwarmen.

Randal Peelen:
[1:22:59] Ja, dus die pomp je onder de grond al in warmte.

Tristan Suerink:
[1:23:03] Ongeveer 200 meter diep.

Randal Peelen:
[1:23:05] Waarom wordt het daar niet vanzelf weer koud?

Tristan Suerink:
[1:23:07] Omdat die temperatuur ook ongeveer op die diepte ook zit. Iets met aardwarmte. Hoe diep je gaat, hoe warm de aarde is.

Randal Peelen:
[1:23:17] Maar wacht even, dus de warmte die pomp je onder de grond. Dit gesprek hebben we voor de aflevering al even gehad. Dus de luisteraars volgen het niet. Maar je zei, daar zitten ook een soort van meren. Eigenlijk waar je het bronwater ook vandaan haalt volgens mij. Grondwater.

Tristan Suerink:
[1:23:31] Het is nog dieper dan grondwater.

Randal Peelen:
[1:23:33] Oké, 200 meter diep.

Tristan Suerink:
[1:23:34] Dat is best wel diep.

Randal Peelen:
[1:23:36] Ja, maar daar is het toch koud?

Tristan Suerink:
[1:23:38] Nee.

Randal Peelen:
[1:23:39] Nee?

Tristan Suerink:
[1:23:39] Nee.

Randal Peelen:
[1:23:40] En als je er meer warmte heen pompt, dat gaat dan toch ook naar de stenen in plaats van alleen maar in dat water.

Tristan Suerink:
[1:23:45] Ja, maar je zit ook in een soort van af, er zit een hele zoutlaag mee die je ook daarmee de warmte ook nog vasthoudt. Je zit vrij geïsoleerd. Maar ja, als jij bijvoorbeeld 60 graden warm water zult opstaan, dan moet je het 2 kilometer diep. In dit systeem kan 60, 70 graden warm water leveren. Dus daar kan je er veel meer mee dan de 25, 30 graden die je nu uit...

Randal Peelen:
[1:24:09] Dat is veel te heet om mee te douchen, zeg maar.

Tristan Suerink:
[1:24:11] Ja, maar je kan er wel gebruiken. Je kan er koud water bij mengen, dan kan je er wel mee douchen. Maar je kan ook bepaalde soorten thee maken met 70 graden.

Randal Peelen:
[1:24:20] Ik vind het bezachtig interessant. Maar er moet dus, als je een heel rek vol met servers hebt hangen die allemaal van die slangetjes produceren, die gaan dan allemaal naar een bak daar onderin.

Tristan Suerink:
[1:24:30] Uiteindelijk komen ze in een bak onderin en die zit weer met wateraansluitingen aan het pand aangesloten. Dat is gewoon een gesloten systeem. Het is eigenlijk een omgekeerde radiator.

Ivo Toby:
[1:24:40] En wat voor vloeistof is dat dan?

Tristan Suerink:
[1:24:42] De vloeistof die we gebruiken is R1233ZD.

Ivo Toby:
[1:24:46] Oh, die.

Tristan Suerink:
[1:24:47] En dat is een synthetische vloeistof die dus borrel bij 38 graden. En het voordeel van die vloeistof is dat die ook een stuk milieuvriendelijker is dan de oude stijl zeefkaas en zo. Dat we vroeger natuurlijk allemaal gebruiken. Om een voorbeeld te geven, als je het in een potje hebt staan en je laat er zes weken in de zon staan, dan is het helemaal afgebroken.

Ivo Toby:
[1:25:07] Water?

Tristan Suerink:
[1:25:08] Nou, niet zozeer water, maar uiteindelijk iets waar, de natuur wel blij van wordt. Of je ervan niet blij van wordt.

Randal Peelen:
[1:25:20] Ik zit met mijn ogen te klapperen en ik besef me dat hier voor vele duizenden, zo niet tienduizenden euro's aan materiaal.

Jurian Ubachs:
[1:25:28] Het gaat zeker easy boven de 10.

Randal Peelen:
[1:25:29] 20.

Tristan Suerink:
[1:25:30] Oh ja, dit gaat makkelijk.

Jurian Ubachs:
[1:25:32] 20 ook wel, denk ik.

Randal Peelen:
[1:25:33] Ik ga jullie heel hartelijk danken voor al deze wijsheid, heren. Tot zover deze aflevering van Met Nerds Om Tafel. En Met Nerds Om Tafel is een podcast door Jurian Ubachs en mij, Randal Peelen. Onze panelleden zijn Annelies Verhelst, Ruurd Sanders en Sander Bijleveld. En we werden geëdit regelmatig door Maarten van Woerkom. Ik neem erop hem met liefde. Maar dat heb ik u zelf ook.

Jurian Ubachs:
[1:25:53] Ja, ik neem erop hem laatst ook ergens zonder liefde. Maar dat bleek onterecht. Want er was een koudje in de planning. En daar was hij helemaal niet verantwoordelijk voor. Dus nogmaals, sorry Marit.

Randal Peelen:
[1:25:59] Dat was mijn schuld. Mijn schuld was dat. Onze gastneurards van vandaag waren Ivo Toby. Ivo? Hartelijk dank dat je er weer was.

Ivo Toby:
[1:26:07] Graag gedaan.

Randal Peelen:
[1:26:07] Ik krijg straks nog een lift van mij waar nodig. We zien elkaar eigenlijk min of meer dagelijks op Slack. Dus wij kennen elkaar, maar wij kunnen luisteraars meer over jou te weten komen.

Ivo Toby:
[1:26:17] Ja, op de MNOT Slack natuurlijk.

Randal Peelen:
[1:26:19] Ja, natuurlijk. MNOT.nl, die website is laatst weer flink gepimpt door een niet-nader te noemen AI-model. Dus als het goed is, kun je daar de weg ook vinden.

Jurian Ubachs:
[1:26:29] We hebben echt alle AI-modellen bij naam genoemd, maar deze noemen we dan niet.

Randal Peelen:
[1:26:33] Ik weet niet meer welke het was.

Tristan Suerink:
[1:26:36] Het was wel even wennen, de nieuwe website. Kan ik je vertellen.

Randal Peelen:
[1:26:39] Ja, maar het is wel, vind ik, gewoon wel redelijk onze huisstijl ook hoor. Dus ik herken de kleurstelling er wel in. En het is zo hip.

Tristan Suerink:
[1:26:47] En alle tekstjes bij alle gasten, waar geneerd zag ik?

Randal Peelen:
[1:26:52] Ja, ik heb voor elke gasten, dat was wel twee nachtjes pruttelen, kan ik je vertellen. Nu weet ik ook gelijk welk AI-model dat moet zijn geweest. Want dat zou ik Claude niet zo makkelijk hebben laten doen. Dus het was Codex, denk ik. Tristan Suerink mensen kunnen jou niet zien wij wel.

Jurian Ubachs:
[1:27:10] Voor de mensen die de clipjes en zo kijken hij is niet echt die plusse kat nee.

Randal Peelen:
[1:27:15] Hoewel ik het eigenlijk wel leuk had gevonden als het wel zo was.

Jurian Ubachs:
[1:27:18] Het ook wel wereldnieuws.

Randal Peelen:
[1:27:19] Geweest ik had zelfs vandaag iemand die mij vroeg of ik een vraag door wilde spelen aan Tristan want hij kreeg hem online niet gevonden dan denk ik, nou kun je beter zoeken, want volgens mij kun je wel een mailadres van Tristan vinden, maar niet veel meer dan dat Als.

Tristan Suerink:
[1:27:32] Je bij mijn werk geeft, hebben we gewoon een adresboekje en dan krijg je een heel mooi maildres.

Randal Peelen:
[1:27:35] Ja, maar een foto van jou heb ik nog niet online gezien.

Tristan Suerink:
[1:27:39] Nee, klopt. En ik heb tegenwoordig een nieuw maildres. Handig neefje, apestaatjenikaf.nl Echt?

Randal Peelen:
[1:27:43] Handig neefje?

Tristan Suerink:
[1:27:44] Omdat steeds als het handig neefje werd aangekondigd. Hadden een van mijn collega's iets van, die alias krijg je bij deze.

Randal Peelen:
[1:27:49] Oh, die kun je niet eens zelf maken.

Tristan Suerink:
[1:27:50] Oh, je kan ze ook zelf maken.

Randal Peelen:
[1:27:52] Maar?

Tristan Suerink:
[1:27:52] Ik vond het wel...

Randal Peelen:
[1:27:54] Gaat wel ver, hè?

Tristan Suerink:
[1:27:54] Een soort van liefvansen.

Randal Peelen:
[1:27:58] Waar kun je mensen heen wijzen wat leuk zou zijn voor verdieping? En...

Tristan Suerink:
[1:28:04] In ieder geval een paar linkjes voor de vloeistofkoeling. Daar heb ik 1 april twee praatjes over gegeven. Die leidt me handig om in ieder geval notities achter te laten. En voor alles wat met AI te maken heeft. Ja, stuur een mailtje, een handig mailtje. Een handig neefje, Abesteitje en ik.

Jurian Ubachs:
[1:28:18] Handig mailtje.

Tristan Suerink:
[1:28:19] Handig mailtje. En anders de open dag van Nikhef. Hij is 3 oktober.

Randal Peelen:
[1:28:23] 3 oktober weer.

Tristan Suerink:
[1:28:25] Dus wees er ook om.

Randal Peelen:
[1:28:26] Nou, meer informatie over ons staat op onze website. Dat is mnot.nl. Daar kun je ook onze Slack joinen. en daar gingen meer dan 2600 charmante capables en gezellige neusje voor, wel Ivo, geen Tristan, hoewel ik moet zeggen, je zou het toch goed doen in het kanaal Funny, want al die grappige plaatjes die je regelmatig stuurt, dat doen mensen daar ook de hele dag. Je kunt ook vriend van de show worden, dan krijg je toegang tot onze clubhuis ook op diezelfde Slack.

Randal Peelen:
[1:28:54] Je krijgt stikkers en bierviltjes door je briefbus je kunt naar onze meetups komen, je luistert eerder dan de rest, zonder reclame en elke week met de pracht van een bonus aflevering En je kunt de volgende gasten van onze podcast vragen stellen in het kanaal. Vragen van een luisteraar. Voor nu hartelijk dank voor het luisteren. En tot de volgende keer.