466 – Hoe groen is jouw AI-gebruik écht?

Randal Peelen:
[0:00] In deze aflevering hoor je waarom AI zo'n ontzettend polariserend onderwerp is, hoe een Nederlandse start-up het veel groener wil gaan doen, en wat er allemaal bij komt kijken als je zelf AI-modellen wil gaan draaien.

Randal Peelen:
[0:23] Welkom bij Met Nerds om tafel. We praatden vandaag met...

Jurian Ubachs:
[0:25] Jeroen Nibachs.

Randal Peelen:
[0:26] En mijn naam is Randall Peel, onze gastneurd van vandaag is Cas Burgraaf. En Cas is CTO, dus Chief Technology Officer en mede oprichter van Green PT. En dat is een open AI modellenbedrijf, of althans ze draaien open AI modellen op groene Europese infrastructuur. Helemaal zonder apicals naar Entropic of Open AI dus. En nu moet ik even bij Jurrian beginnen, want Cas, hartelijk welkom. Dit verhaal komt eigenlijk een beetje uit jouw koken, want het viel jou op, volgens mij. Wat viel je op?

Jurian Ubachs:
[0:57] Nou, het viel me bijvoorbeeld in eerste instantie op meerdere dingen. Maar dat AI-gebruik, het gebruik van Large Language Models bij een groep, laten we zeggen mensen.

Randal Peelen:
[1:10] Laten we ze nog net mensen noemen.

Jurian Ubachs:
[1:12] Nou, ik wilde zeggen internetters. Dat is ook zo'n woord. Enorm populair wordt. Gaat ook in grote stappen vooruit. Ik heb het idee dat de laatste maanden een soort van exponentieel is toegenomen.

Randal Peelen:
[1:22] Sinds de kerst ongeveer, ja.

Jurian Ubachs:
[1:23] Ja, echt. En tegelijkertijd een andere groep die die ontwikkeling ziet en zich daar enorm tegen verzet. Hak in het zand. Helemaal niets wil weten van AI. En die twee groepen die bewegen uit elkaar. En daartussenin zit een hele grote massa gevangen die het allemaal aanziet. En eigenlijk niet echt of überhaupt nog helemaal niet mee is met wat AI precies is en kan. Of waar die polariserende werking van AI, dat is er één. En een ander ding is inderdaad positief. Ja, de ecologische voetafdruk. Dus op het moment dat je iets veel meer gaat doen wat het ook is. Als we met z'n allen de hele dag alleen maar online gaan gamen. Gaan we ook met z'n allen veel meer verbruiken op dat gebied. Dus ja, op het moment dat de populariteit van AI zo snel stijgt als het nu doet. Dan ontstaan er uiteraard vragen over de impact voor het milieu. Dat is niet nieuw, dat is al wel langer aan de hand. Maar met de sterk toegenomen populariteit, wat ik zoiets van ja, ben wel benieuwd hoe dat er dan nu uitziet.

Randal Peelen:
[2:23] En dan hebben we Cas hier aan tafel gevraagd, want GreenPT is dus een Nederlands bedrijf. En volgens mij proberen jullie twee hele belangrijke dingen te doen. Dus het ene is AI zo groen en duurzaam mogelijk te draaien. Maar ook mensen daarin een beetje bij de hand te nemen, te laten zien wat hun impact is.

Randal Peelen:
[2:42] Vat ik dat een beetje goed samen?

Cas Burggraaf:
[2:46] Ik denk dat dat een van onze twee hoofdpijlen is. En de tweede is eigenlijk de soevereiniteit, de Europese soevereiniteit. Ik denk dat het groene gedeelte en het soevereine gedeelte, dat zijn wel de hoofdpijlers van ons bedrijf.

Randal Peelen:
[2:56] Nou, dan ben je gelijk aan het speerpunt van waar heel veel discussies over gaan volgens mij.

Cas Burggraaf:
[3:01] We krijgen veel vragen.

Randal Peelen:
[3:04] Neem ons even mee in dat verhaal, want het is nogal een opgave waar je voor bent gaan staan. Aan tegelijkertijd denk ik ja, de AI-startups schieten ook wel weer als paddenstoelen uit de grond. Dus hoe lang zijn jullie al bezig en hoe kwam dat tot stand?

Cas Burggraaf:
[3:19] Ik denk dat het nu ongeveer net iets langer dan een jaar is. Ik denk gewoon vorige maand moest ik mijn domein verlengen. Dus dat is dan meestal. Je vergeet dat in je agenda te zetten dat je een jaar bestaat. Maar nee, die hielp er wel bij. Maar ongeveer een jaar geleden, ik denk dat het op het moment was van diepziek. Dat het toen in het nieuws kwam. Toen kwam het eigenlijk in het nieuws dat open source modellen eigenlijk ook gewoon heel erg goed kunnen zijn. En ook al vergelijkbaar kunnen zijn met de modellen die niet open source zijn van Anthropic of van OpenAI. En toen nog op dat moment van, we werken bij een agency. En daar deden we veel dingen met AI en ook veel producten van andere bedrijven.

Cas Burggraaf:
[3:59] En die kwamen ook al vaak met de vraag van, die AI, wat is onze footprint? En kunnen we het ook eens doen met een Europees bedrijf? ***, En daar kwamen we eigenlijk achter dat dat gewoon de vraag daarop was. Best wel, nee, we konden niet echt alternatieven vinden. En toen dachten we van, ja, kunnen we dit ook niet zelf?

Randal Peelen:
[4:17] Oké, en hoe ga je überhaupt te werk om dat proberen te kwantificeren? Want ik merk in de discussies, Jurian zegt het terecht, je hebt eigenlijk een kamp voor en een kamp tegen. Ik sla ik veel te plat hoor, maar als we dat even als uitgangspunt. Ik zit duidelijk in kamp voor. Ik ben echt hulpeloos zonder AI inmiddels, of in ieder geval een stuk minder snel. En ik hou er zo van dat op het moment dat we een discussie voeren in de kroeg bij wijze van spreken, ik heel snel geneigd zal zijn om te beginnen vanuit, ja maar het is toch nuttig, dus ja, energie. Maar ja, vliegen is ook energie, en vleesheid is ook energie, dus ach ja, let's go. Tegelijkertijd, ja, die impact is natuurlijk best wel groot. En die datacentra's die groeien bijna exponentieel met de vraag aan AI, Omdat dat al veel meer computerkracht nodig heeft dan een simpele Google zoekopdracht.

Jurian Ubachs:
[5:10] Het probleem is ook dat de stappen die nog gezet worden in het verbeteren worden steeds moeilijker. En hebben dus ook steeds grotere stappen in je rekenkracht nodig. Dus de input, de effort die erin gaat, die wordt ook steeds groter.

Randal Peelen:
[5:23] Hoe kwantificeer je dat in hemelnaam?

Cas Burggraaf:
[5:25] Ik denk dat het altijd gewoon wel is. Wij verbruiken ook energie. Wij proberen ook zo sustainable als mogelijk te zijn. Dus wij proberen beter te zijn dan de rest. Ik denk dat onze eerste stap wat wij hebben gedaan is ook laten zien wat je impact is. Want voordat je kan weten of je keuzes gaat maken. Je zei net zelf van mijn doel of mijn ding is nuttig. Dan kan je het niet vergelijken met van ja het is misschien nuttig. Maar hoeveel energie heeft die nut dan gekost? En dat je dan die afweging kan maken van, ga ik dat doen? Ja of nee? Wij zijn als eerst en begonnen met die feedback teruggeven naar onze gebruikers. Hoeveel kost jou prompt qua energie en qua uitstoot?

Randal Peelen:
[6:06] En hoe kun je dat kwantificeren? Want ik denk aan de kilowattprijs. En ik denk aan de videokaart die ik heb draaien. Dus daar kun je een beetje uitrekenen. Wat is de stroomprijs, zeg maar? Maar hoe kom ik dan naar klimaatimpact? Klimaatimpact, want zo'n model is ook getraind enzovoort. Dat is best wel ingewikkeld.

Cas Burggraaf:
[6:24] Daarom gebruiken we ook open source of open weight modellen. Ik kan tegen jullie wel open weight zeggen. Veel mensen snappen dat wat minder.

Jurian Ubachs:
[6:30] Wat is dat?

Cas Burggraaf:
[6:31] Open weight? Open source betekent eigenlijk dat het open code is. Dus je kan zelf, als je iets downloadt. Als je iets downloadt van het internet, een applicatie bijvoorbeeld. Dan is het vaak, als het open source is, kan je hem zelf ook maken. Je kan ook compilen, heet dat. In modellen kan dat ook. Maar daar zijn er maar heel weinig van. Want de trainingsdata is eigenlijk altijd nog steeds niet publiek beschikbaar. Dus je kan het model niet namaken. Maar open weights betekent dat je hem wel kan downloaden en zelf kan draaien op je eigen hardware. Dus dat is het verschil tussen open weights en open source.

Randal Peelen:
[7:07] Ja, dus het is eigenlijk wel een soort van het exe bestandje, als het ware. Alleen, ja, je mag hem wel zelf inladen.

Cas Burggraaf:
[7:15] En als de lijst eens goed is, kan je hem wachtelijk geld mee verdienen.

Randal Peelen:
[7:17] Ja, er zijn zelfs figuren die zo ver gaan om die modellen dan weer verder naar hun hand te zetten. Maar goed, dat is een ander hoofdstuk.

Jurian Ubachs:
[7:25] Maar Rand, jij stelt de vraag ook, hoe kwantificeer je dat? Nou, daar heb ik het dan uiteraard ook niet. Maar ik weet wel dat er op GitHub een tooltje zond. Die heb ik volgens mij ook nog bij jullie een keer. Iemand had een tool gemaakt, die kon je laten meedraaien. Terwijl je dus inderdaad bezig bent met je cloud of whatever je ook gebruikt. En die zou dan voor je inzichtelijk maken wat elke call ongeveer doet ofzo. Maar ik weet niet hoe die app verder werkt.

Cas Burggraaf:
[7:48] Dat zijn allemaal schattingen. Want het nadeel daarvan is dat Cloud of OpenAI of Anthropic. Die geven eigenlijk geen data in hoeveel energie ze verbruiken. Dat zijn andere bedrijven die dan een inschatting gaan maken van hoeveel energie kost die call. Je weet niet van welk datacenter er komt. Dus datacenterlocatie is ook heel belangrijk in je CO2. Dus als jij een datacenter hebt staan in Amerika, waar heel veel met kolen bijvoorbeeld energie wordt opgewekt, is het heel anders dan bijvoorbeeld ons datacenter, die wij hebben gekozen, die in Parijs staat, waar veel meer groenere energie wordt gebruikt en dat je CO2-impact gewoon veel lager is.

Randal Peelen:
[8:22] Groene energie in Frankrijk, dan denk ik gelijk aan kernenergie.

Cas Burggraaf:
[8:26] Onder andere ook wel, ja.

Randal Peelen:
[8:29] En... Hoe pak je het, draai je daarvan aan? Want ik zeg net, ik denk aan Frankrijk. Dan denk ik ook aan Mistral. En het is wel grappig dat blijkbaar de AI-startups in Europa toch een soort van center of gravity in Frankrijk hebben op een of andere manier. Maar je zegt, we pakken een bestaand open model. Ben je daar transparant over? Wat jullie daar dan voor gebruiken?

Cas Burggraaf:
[9:00] Op dit moment gebruiken we twee modellen. In ieder geval in ons hoofdproduct. En het ene model is GPT-OS. Dat is een model die gecreëerd is door OpenAI. En de andere is van Minstrel.

Randal Peelen:
[9:13] Oké, dus je pakt modellen die al bestaan, die gepubliceerd zijn. En dan, want die servers die je daarvoor neer moet zetten, dat zijn dure machines met allemaal grafische processorachtige dingen erin. Maar ook daar is steeds meer maatwerk.

Randal Peelen:
[9:31] Hoe doe je dat?

Cas Burggraaf:
[9:33] Wij hebben natuurlijk een partner voor. Wij hebben zelf geen eigen servers. Dus huren wij. Wij hebben er ook een partner in gevonden waar we het niet meer kunnen huren. Voor het groen gedeelte is dat ook heel erg fijn. Dus als wij niet de server gebruiken. Dus als wij een lagere load hebben. Dan komt hij weer eigenlijk op de markt terecht. Iemand anders mag hem ook gaan gebruiken. Dus eigenlijk in datacenters worden servers bijna nooit uitgezet. Maar bij ons is het voor dat als wij hem niet gebruiken. Dat iemand anders hem kan gebruiken. Voor elkaar, je groenheid, ben je daar ook wel mee.

Randal Peelen:
[10:03] En het is eigenlijk zo simpel als hoe meer stroom je gebruikt, hoe meer uitstoot er is. Maar ik blijf toch even hangen bij iets waar nu heel veel van de energie op aarde naartoe gaat. In ieder geval in de VS is dat zo. Is juist het trainen van die modellen. Heb je enig idee hoe zich dat verhoudt tot het gebruik van die modellen? Want je zou ook kunnen berideneren als dat model er in keer is. Ja, dat is eigenlijk ook wel zonde om het niet te gebruiken. Want we hebben die CO2 al geproduceerd om dat model te trainen. Nou, gebruik het dan ook maar. Anders is het helemaal nutteloos geweest.

Jurian Ubachs:
[10:36] Beetje sunken kost, zie je dit?

Randal Peelen:
[10:37] Dat wel.

Cas Burggraaf:
[10:38] Ja, dat is het voor de open weights of open source modellen. Die kan iedereen gebruiken. Dus die investering die gedaan is qua energie, die echt wel significant is, deelt wel door veel meer gebruik. Want iedereen mag het gebruiken. Dus het is closed source modellen. Niemand anders kan het gebruiken. Dus die investering qua energie en tijd en geld is dan voor het bedrijf alleen maar voor zichzelf die dat gebruikt ja dus daar winnen we wel mee.

Randal Peelen:
[11:03] Maar onze doelgroep zijn dus nerds. En ik ben dus heel benieuwd hoe je dat kwantificeren aanpakt. Omdat jullie hebben op de site ook wel degelijk getallen staan rondom uitstoot. En op het moment dat ik een gesprek heb met Green BT. Staat daar rechts ook een tellertje van hoe groot is mijn impact. Dus je bent wel echt aan het rekenen geslagen.

Cas Burggraaf:
[11:25] Eigenlijk wat het is. Een van de meeste vragen die ik altijd krijg. Hoeveel energiezuiniger dan de concurrent zijn jullie?

Cas Burggraaf:
[11:32] En eigenlijk, ik zou daar heel graag antwoord op willen geven. Alleen dat is gewoon een hele moeilijke vraag. Niet omdat het moeilijk zou zijn om te vergelijken, maar meer omdat onze concurrenten eigenlijk niet open zijn in hun data. Dus voor ons op onze website staan wel getallen. Maar dat is wel selectief shoppen. Als in, niet selectief shoppen dat het voor ons positiever is, maar meer om de getallen bij hun te vinden. Dus bijvoorbeeld Google heeft, denk ik, een half jaar geleden hebben ze een blog online gezet over hun energieverbruik. Hij zet dus heel mooi neer hoeveel energie hun average prompt kost... Maar in die hele paper staat niet wat een average prompt is. En dan doen ze ook nog selectieve dingen. Zoals bijvoorbeeld het video generatie weghalen. Het image generatie weghalen.

Jurian Ubachs:
[12:13] Dat is wel een andere impact. Gewoon een simpele vraag stellen aan Gemini.

Cas Burggraaf:
[12:17] En wat is bijvoorbeeld een AI prompt bij hun? Is dat al een zoekterm? Of is dat al bijvoorbeeld je vertaling?

Jurian Ubachs:
[12:24] Als je gewoon in de browser in Google zoekt. Dan krijg je vaak ook al bovenaan een AI summary. Telt dat ook mee?

Cas Burggraaf:
[12:32] Bijvoorbeeld. Maar wat er wel bijvoorbeeld in staat. Dus een conversie van kilowattuur naar CO2. Die stond wel in dat rapport. En daarop kunnen we dan wel weer vergelijken. Want wij weten ook ons conversiegetal.

Randal Peelen:
[12:46] Hoe ziet dat eruit?

Cas Burggraaf:
[12:47] Wel positief. Want ons datacenter is gewoon qua omzet van kilowattuur naar CO2. Het gridgetal is wel veel positiever voor ons.

Randal Peelen:
[12:58] Klopt het dat je daarvoor samenwerkt met LeafCloud?

Cas Burggraaf:
[13:00] Nee, niet meer.

Randal Peelen:
[13:01] Niet meer. Dat was wel zo.

Cas Burggraaf:
[13:03] In beginfase hebben we dat wel gedaan, ja.

Randal Peelen:
[13:06] En dus nu is dat verplaatst naar Frankrijk. Hoe gaat zo'n selectieproces erbij? Want jij bent dus echt een Excel-sheet gaan maken met de meest groene datacentra, blijkbaar.

Cas Burggraaf:
[13:16] Ja, zeker. En we hebben daar natuurlijk bepaalde requirements bij. Natuurlijk ook voor het groen gedeelte, maar bijvoorbeeld ook voor availability. Dus availability niet of het down gaat, maar meer availability of we ook onze service kunnen huren daar. Want dat is natuurlijk ook wel een van de problemen. is van de toegankelijkheid van waar je je server kan huren. En dan daarna het groen gedeelte was voor ons natuurlijk heel belangrijk. Dat was niet een hele moeilijke keuze aan het einde, want de keuze was niet zoveel keuze.

Jurian Ubachs:
[13:47] Je kiest dan een partner uit, de basis van hun mogelijkheden op het gebied van groen. In hoeverre, Kun je dan hun verhaal natrekken? Want het lijkt me ook wel. Groen wordt natuurlijk ook heel vaak als een soort marketingstempel gebruikt. Hoe ben je daarin te werk gegaan?

Cas Burggraaf:
[14:07] Nou eigenlijk uiteindelijk waar we gekomen zijn. Dat is bij Skillway. Dat is een Franse bedrijf. Die zijn gewoon ook heel inzichtelijk in hun metrics. Er is zelfs een toeltje. Die kan misschien nog wel een URL van sturen. En je kan gewoon ook realtime bij hun zien. Wat het datacenter, wat het verbruikt. Wat een POE is op dat moment. BOI betekent het stroomverbruik van een datacenter zonder de server zelf. Dus dan heb je het over je netwerking, het licht, de koeling. Dat kan je daar gewoon live inzien. En wat voor keuzes ze hebben gemaakt voor koeling, het waterverbruik. Dat stond allemaal online. Dus dat kan je gewoon, ja, dat was een vergelijking die we konden maken met anderen.

Jurian Ubachs:
[14:44] En daarin sprongen zij er wel heel ver uit.

Cas Burggraaf:
[14:47] Zeker.

Jurian Ubachs:
[14:48] Want we weten natuurlijk bij een vriendje van de show zijn ze natuurlijk ook behoorlijk met dit soort dingen bezig.

Randal Peelen:
[14:52] Ja, kijk, dat is het gekke.

Jurian Ubachs:
[14:54] Net op een ander niveau misschien. Zij hebben ook wat andere servers staan natuurlijk.

Randal Peelen:
[14:57] Nou ja, je doelt volgens mij op Nikhef. En het leuke is dat zeker als je in een hartje Amsterdam zit, dan heb je één heel groot voordeel. De glasvezels die bungelen uit elke straathoek en daar ligt heel veel infrastructuur. Het nadeel van in Amsterdam zitten is dat op een gegeven moment de stroom ook op kan. Weet je wel, er is in Nederland op dit moment niet zoveel stroom als dat de vraag is. En die aansluitingen zijn heel lastig. En daar komt dus daarna de vraag, waar komt die stroom vandaan en hoe wordt die opgewekt en dergelijke. En volgens mij hebben we daar in Nederland, maar om te goede, veel meer uitdagingen dan inderdaad in een land als voorstrijd.

Jurian Ubachs:
[15:33] Ja, dus kun je misschien als datacentrum ook wat minder selectief zijn met hoe je je stroomvoorziening doet. Want je moet gewoon pakken wat je krijgt.

Randal Peelen:
[15:40] Volgens mij is de schaarste heel duidelijk. Enerzijds de chips, omdat iedereen ze wil kopen. Dat heeft een prijsopdrijvende werking. En anderzijds de energie. Nou ja, als je internationaal kijkt en je hebt diepe zakken, is er altijd wel energie te koop. Maar als jij in Nederland zit en je wil heel graag energie, dan is dat een grotere uitdaging.

Jurian Ubachs:
[15:58] Ja, en die hardwareprijzen, om nog even terugkomen tot polariserende werking, dat speelt dan natuurlijk ook in. Er zijn best wel veel mensen die het best leuk vinden om zo één keer in de zoveel tijd een keer een nieuwe gamepc te bouwen of iets dergelijks.

Jurian Ubachs:
[16:10] Ja, dan zijn dit niet de jaren voor.

Randal Peelen:
[16:11] Nee, de geheugenprijzen vliegen de pan uit.

Cas Burggraaf:
[16:14] Sorry, de kaart al lang.

Randal Peelen:
[16:16] Want als je daar bij jullie, je zegt het is een soort cloud oplossing, maar het is wel specifiek soort hardware dat hier goed in is. En die wordt volgens mij ook elk jaar een heel stuk beter. Dus kun je daar kieskeurig in zijn?

Cas Burggraaf:
[16:30] We hebben keuzes in hardware. En daar maken wij ook verschillende keuzes in. We hebben niet één type server die wij huren. Wij huren onze servers bare metal. Dus dat houdt eigenlijk in dat we alle... De server is van ons. Er zit niet iemand anders op op dat moment. Wat ook wel weer heel erg helpt met het bepalen van het energieverbruik. Want die server kunnen we uitlezen. Dus we kunnen ook zien hoeveel wat onze GPU gebruikt. Hoe warm die is. En dat helpt ons natuurlijk met het maken van de berekening. Die wij weer terugsturen naar onze... Onze gebruikers. Maar we kiezen ook hardware. Wij kijken ook per model. Want wij draaien niet alleen large language modellen. Maar we draaien bijvoorbeeld ook een embedding. Of een re-ranker. Of een document processing. Een OCR.

Randal Peelen:
[17:09] Zijn dat losse modellen?

Cas Burggraaf:
[17:11] Ja, dat zijn losse modellen.

Randal Peelen:
[17:12] En wie heeft die nodig? Dat kent die allemaal niet.

Cas Burggraaf:
[17:15] Een embedding, bijvoorbeeld. Die is bijvoorbeeld weer heel belangrijk. Als je bijvoorbeeld een zoekvraag stelt. En wij moeten het internet gaan screpen. En wij moeten gaan bepalen wat het antwoord daar weer op is. Daar hebben we bijvoorbeeld weer een embedding voor nodig. is die embed een grote context waar we dan weer een vraag op stellen dat re-renken we weer of de vraag beantwoord wordt door het antwoord die het embedding model de query daar weer van terugkrijgt Jan.

Randal Peelen:
[17:38] Ik neem even een voorschot op iets waar ik later in wil duiken niet voor nu, maar ik ben dus recent, zelf ook een AI model gaan draaien en dan pak je gewoon wat off-the-shelf software die daar gebruikelijk voor is, die iedereen heeft dus ik heb OpenWeb UI erop gezet. UI. Open Web UI. Ik weet niet hoe je dat uitspreekt.

Cas Burggraaf:
[18:01] Open Web UI.

Randal Peelen:
[18:02] Ja, dat. Dat klinkt logischer. En dat is een soort schil. Die is dan wel open source. Maar die lijkt een beetje op wat je van chat GPT gewend bent. Gewoon een chat interface en links staan al je gesprekken. En daar hang je dan. In principe kun je bijna elk model daar wel aan vastknopen. Alleen het is wat logischer om dan iets te doen dat zelf op je eigen computer draait. Wat ik kan draaien op mijn computer is waarschijnlijk bij de lange na niet zo capabel als wat jullie draaien. Maar wat ik wel al snel ontdekte is als ik dan met mijn model ga praten. Dan krijg ik gewoon input, output en het is inderdaad een chatgesprek. En je loopt redelijk snel tegen de lamp bij jullie Green PT. Die zag ik met samengeknepen ogen van dit lijkt wel verrekte veel op WebUI. Volgens mij zit daar ook op gebaseerd.

Cas Burggraaf:
[18:50] Dat is een vork van ja.

Randal Peelen:
[18:51] Precies, dat is het leuke met open source.

Cas Burggraaf:
[18:52] Ja, hun lijst was dus niet open.

Randal Peelen:
[18:55] Oké.

Cas Burggraaf:
[18:57] Maar dat is een licentie.

Randal Peelen:
[18:59] Maar als ik daar iets vraag, dan gaat hij eigenlijk heel snel al ook zoeken op internet. En dat is wel echt iets wat het gelijk weer direct al next level maakt. Vergeleken met zo'n model dat niet met de buitenwereld kan praten.

Cas Burggraaf:
[19:13] Dat is ook gewoon heel belangrijk. Want een model kan niet alles weten. Als je jouw model zou vragen bijvoorbeeld wie de president van Amerika is. Is het een grote kans dat hij nog steeds zegt dat het Biden is. ***.

Randal Peelen:
[19:23] Heb ik niet geprobeerd, zou ik eens kunnen doen. Ik heb wel een benchmark bedacht samen met Opus. En dat was eigenlijk bedoeld, ik had een stuk of vijf modellen in gedachten die ik misschien wel zou willen draaien. En dan al, verzin eens iets wat ik ze kan vragen om dan een beetje te keuren. Maar wat is het antwoord? Een van die vragen, wat was de eerste vrouwelijke burgemeester van Amsterdam? En de meeste kwamen dan uiteindelijk wel op Femke Halsema terecht.

Randal Peelen:
[19:53] Maar met hele gekke omwegen in die gedachtengang die soms heel raar waren. Maar toen deed ik dat in GreenPT. En die zegt gewoon gelijk, oh, dat ga ik opzoeken. Wat zijn nog meer tools? Want je zegt toegang tot het web. Wat had je daarvoor nodig?

Cas Burggraaf:
[20:10] Toegang tot het web is een pijplijn die nogal iets breder is dan alleen het zoeken. Daar zit natuurlijk eerst ga je indexeren. Dus we hebben een indexer die ons teruggeeft. of nou eigenlijk eerst begint het bij de vraag het model krijgt het antwoord dan gaat hij beslissen wat gaat hij doen hij heeft ook een bepaalde tools in zich zitten bijvoorbeeld het doorzoeken van het web als je die tool aanvraagt moet er ook een vraag worden gesteld aan de indexer want jij stelt een hele prompt dat gaat eerst gedestilleerd worden naar een vraag dus jij hebt een heel verhaaltje van hey ik ben ik ben vandaag wel benieuwd kan jij weten wie de burgemeester is van Amsterdam Dat ga je niet zoeken. Dus wat hij gaat zoeken is burgemeester Amsterdam. Zij maakt eerst een search query. Dus dan stopt hij een indexer. Dus dan krijgen we bepaalde antwoorden. Dan krijgen we op welke pagina's dat kan staan. Dan gaan we dat gaan we crawlen. Dat houdt in dat er die website binnengehaald wordt. Dat is heel veel tekst. Maar er is ook al heel veel HTML en dat soort dingen allemaal. Dat parsen we. Dat ligt een beetje aan hoe groot het is. Dan gaan we het nog embedden.

Randal Peelen:
[21:15] Maar dat gebeurt dus eigenlijk weer in een ander soort model. Dat is wel grappig. Ik dacht dat je op de achtergrond gewoon een zoekmachine zou gebruiken die bestaat.

Cas Burggraaf:
[21:26] Ja, maar dat is voor ons... We doen bijna alles doen we zelf.

Randal Peelen:
[21:30] Waarom? Waarom kun je er niet gewoon Bing of Google achter hangen dan?

Cas Burggraaf:
[21:35] Voor je privacy, voor je groenheid. Omdat we alles bijna zelf doen, kunnen we ook garanderen dat het zo groen mogelijk is. Want wij vinden dat wij het zo groen mogelijk doen.

Randal Peelen:
[21:45] Maar je bouwt niet zomaar even een zoekmachine uit de losse pols.

Cas Burggraaf:
[21:47] We gebruiken een andere intekster.

Jurian Ubachs:
[21:49] Nee, dat vraagt jij Kloot.

Randal Peelen:
[21:51] We bouwen een zoekmachine, maak geen vergissingen.

Cas Burggraaf:
[21:53] We doen heel veel dingen, maar we indexeren niet. Dat is wel echt een andere ballpark.

Randal Peelen:
[21:59] Ja, want dan heb ik je misschien verkeerd begrepen. Hoe pak je dat wel aan? Want je moet ergens beginnen met zoeken. Het is niet zo. Je gaat naar startpagina.nl en dan kun je het hele internet bereiken. Dat is lang geleden.

Jurian Ubachs:
[22:10] Dat waren de tijden.

Randal Peelen:
[22:11] Ja man, ik heb geheim bij je eigenlijk.

Jurian Ubachs:
[22:14] Startpagina, gewoon dat je internet op dat je internetproces opent. En dat is gewoon startpagina.nl.

Randal Peelen:
[22:19] Ja, precies.

Cas Burggraaf:
[22:19] Zou dat nog?

Randal Peelen:
[22:20] Ja.

Jurian Ubachs:
[22:21] Dan ga ik zo achtergrond.

Randal Peelen:
[22:22] Degene die dat domein heeft, dan gaat dat zeker niet meer wegdoen. Maar het was wel lekker als je gewoon even geen inspiratie had. Dat was nog surfen op internet. Dat je echt een beetje rond aan het kijken was.

Jurian Ubachs:
[22:31] Het ziet er zelfs nog wel een soort van hetzelfde uit ook.

Randal Peelen:
[22:33] Oh wauw.

Jurian Ubachs:
[22:33] Dan deze mega banners hier overal. Maar ja, nee, het is er nog.

Randal Peelen:
[22:37] Het is er nog. Nou, ja.

Jurian Ubachs:
[22:39] Even als homepagina instellen.

Randal Peelen:
[22:41] Ja, als je een nieuw tab opent, dan meer heb je niet nodig. Nee,

Randal Peelen:
[22:45] want ik ben nu gewend dat je geen lijst met websites meer kunt hebben. Je begint toch bij een zoekmachine.

Cas Burggraaf:
[22:54] Voor zoeken wel, ja. Of naar zoekmachine een indexer. Dus je stopt er een vraag in en je krijgt pagina's terug. En dan vanaf die pagina's gaan wij het weer verder. Dus dan crawlen we het en dan halen we daar de context uit.

Randal Peelen:
[23:09] Maar help me even, hoe werkt dat technisch dan? Want dat zal ook software zijn. Of bouw je dat zelf? Bestaat dat?

Cas Burggraaf:
[23:18] We gebruiken bijna alleen maar open source projecten. Natuurlijk hebben we ook wel veel eigen code. Die hele flow die we hebben gemaakt is wel van ons. Maar heel veel dingen zijn wel open source, ja. Dus bijvoorbeeld, je had het net over open web UI. Nou, daar gebruiken we een fork van. Voor het indexeren hebben we ook weer een fork gemaakt op een Search NX-achtige systeem. Voor het crawlen gebruiken we ook weer een open source package die daarvoor is. We hebben niet honderden mannen in dienst.

Randal Peelen:
[23:45] Nee, nee, nee.

Cas Burggraaf:
[23:46] En waarom zou je? Open source is gewoon, ja, als het er is en je mag het gebruiken en de license staat ertoe.

Randal Peelen:
[23:53] Nee, maar het lijkt me wel leuk en fascinerend om te begrijpen hoe dat dan ongeveer werkt. En ik kan me nu niet goed inbeelden hoe die internettoegang werkt. Ja, internettoegang wel. Ik snap dat ding is, op de achtergrond haal je een webpagina op en dan zie je wat er staat. Maar hoe zoek je dan op het internet? Nee, gewoon überhaupt.

Cas Burggraaf:
[24:12] Op het internet, indexeren. Indexeren, er zijn gewoon een paar bedrijven die daar gewoon echt heel goed in zijn. en dus ook gewoon daar ben je wel bijna verplicht je moet zelf het hele internet gaan binnenhalen maar dat is buiten dat lijkt me ook niet heel groen dat is ook bijna niet te doen natuurlijk dus.

Randal Peelen:
[24:31] Je gebruikt wel andere indexers die al bestaan.

Cas Burggraaf:
[24:33] Ja we gebruiken wel een andere index maar het is alleen indexering dus niet het binnenhalen van de pagina en ook niet het antwoord krijgen we daar niet van terug je krijgt er gewoon een lijstje het ligt eraan hoeveel we willen dan krijg je een lijstje van pagina's.

Randal Peelen:
[24:47] En al dat soort modellen zijn weer heel geschikt voor andere soort hardware, stel ik me zo voor. Dus dan even terug naar die servers. Ik vroeg me al af, hoe kieskeurig kun je zijn? Want er is natuurlijk een soort wapenwetloop om de allerbeste chips te kopen. En alles wordt steeds duurder. Maar jullie hebben hele machines voor jezelf.

Cas Burggraaf:
[25:08] Die huren we, ja.

Randal Peelen:
[25:11] En wat zit daarin? Wat vind je aan? Is dat het nieuwste van het nieuwste? Of moet je het doen met iets dat ouder is?

Cas Burggraaf:
[25:16] Dat is wel een goede vraag. Want dat is wel, bijvoorbeeld, ja, ik denk dat je zelf ook... Je hebt zelf ook eigen videokaarten. Dus dan ga je heel snel alleen kijken naar je VRAM.

Randal Peelen:
[25:25] Ja.

Cas Burggraaf:
[25:26] En dat is natuurlijk een van de belangrijke. Het past mijn model wel op mijn kaart. Maar op het moment dat je met grotere kaarten ook gaat spelen. Is het ook soms. Dan gaan mensen maken een keuze. Van dit model past op een kleinere kaart. Want het V-RAM past erop.

Randal Peelen:
[25:42] Precies.

Cas Burggraaf:
[25:43] Maar soms bijvoorbeeld voor die vraag. Voor het indexeren. Bijvoorbeeld zo'n re-renker. Of zo'n embedding. Die past wel echt op een kleinere kaart. Maar op het moment dat je met ons aan de chatten bent. Willen wij natuurlijk wel snel antwoord geven. Maar het nadeel van een kleinere kaart betekent ook dat de kaart trager is. Daar kwamen wij dus wel achter. Bij sommige processen maakt het wat minder uit. Dus we hebben ook een speech-to-text model. Die past echt wel op een kleinere kaart. Waar voor onze embedding zijn, voor onze re-renkers, kwamen we er echt wel achter. Dat dat eigenlijk, nou die past misschien wel op een L4 of een L40 van NVIDIA. Maar alleen die was gewoon, ja dan duurde het gewoon een minuut voordat die één pagina had embedd. Mensen blijven niet zo lang wachten op hun vraag. Dan gaan ze naar een concurrent toe. Maar om nou een klein model op een grote kaart te zetten. Ja dat is ook weer niet energiezuinig. En het kost ook gewoon heel veel geld. Dus wat wij doen in productie. Is dat wij een grote kaart pakken. En die splitsen we op. En daardoor heb je wel de technologie. En de snelheid van een grote kaart.

Cas Burggraaf:
[26:47] Maar kan je het wel delen waardoor de prijs en de energie en de sustain.

Randal Peelen:
[26:51] Want jij zei net volgens mij L4 en L40. Help me even, want ik ken de videokaarten als echt videokaart om te geven. We hadden eerst de GTX 1080. Op een gegeven moment gingen we naar RTX toen Raytracing kwam. En inmiddels zitten we bij de 5090 is de hipste kaart of is het al een 60? Ik weet niet of die komen.

Jurian Ubachs:
[27:13] Ik wou ze wilden zeggen die komen later dit jaar, maar dat durf ik niet te garanderen gezien.

Randal Peelen:
[27:16] Ik weet alleen wel dat gamers stevast aan het zeiken zijn dat die kaarten een beetje zijn blijven hangen bij 12 gigabyte. En toen werd het op een gegeven moment niet veel meer. Tenzij echt de dikke pegels, en dat is al helemaal verkloot sinds Nvidia eigenlijk die malsen euro's uit de AI branche zag glitteren. Die zijn dus ook heel andere kaarten gemaakt. Hoe ziet die wereld van dat soort kaarten? Je zei al een L4. Is 4 dan de generatie?

Cas Burggraaf:
[27:46] Zo heet het gewoon het type. Het is gewoon een naampje. Dus je hebt een L4, je hebt een L40, je hebt een H100, je hebt een H200, je hebt een HA100. Je hebt een B300. Dan heb je het vaak over generaties. Dus in plaats van dat het naampje niet zo omhoog gaat als de videokaart voor gamers is. En hier heb je het meer over naampjes. Dus je hebt een Blackwell. Je hebt een Hopper generatie. En die hebben dan ook nieuwe technieken hebben die erin zitten. En die technieken heb je dan bijvoorbeeld weer nodig om bepaalde quantizations bijvoorbeeld native te kunnen draaien. Dat was een beetje vergelijkbaar met ook je CPU. Op een gegeven moment had je nieuwe videocodexen bijvoorbeeld. Op een gegeven moment als je een nieuwe CPU had, kon je dat native, kon je dat encoden.

Randal Peelen:
[28:29] Ja, precies.

Cas Burggraaf:
[28:30] Dat is een beetje, moet je dat ook in AI, moet je dat ook als je nieuwe generaat is, kunnen sommige dingen gewoon beter en sneller.

Randal Peelen:
[28:35] Ja, en dan even terug, want die kaarten die jullie hebben, zijn dat echt hele vers van de persachtige kaarten? Of moet ik me dan voorstellen dat die al drie jaar bestaan?

Cas Burggraaf:
[28:48] L4 en L40, ik weet niet hoe oud die zijn, maar die H100, die zijn wel relatief nieuw, ja. Natuurlijk gaat het ook wel snel, maar dit is waar wij in onze prijskategorie in zitten.

Randal Peelen:
[29:01] En als je onbeperkt budget zou hebben, wat kun je dan kopen?

Cas Burggraaf:
[29:05] Dan denk ik wel dat we de nieuwste B300 krijgen. zouden willen.

Jurian Ubachs:
[29:10] Ik vind het wel fascinerend. Ik hoor redelijk veel namen van videokaarten over het algemeen op dagelijkse basis, maar hopper en zo, je zit me af te vragen, ik heb dat ooit eerder gehoord. Ik bedoel, ik weet wel, Tensor Core, dat ken ik wel, maar ja, grappig dat daar toch een hele markt, ja, het is natuurlijk ook gewoon niet voor consumenten, dus dat is niet zo heel gek dat dat bij ons dan niet langs komt.

Cas Burggraaf:
[29:32] Ik zou het wel graag, kan je er ook op gamen? Dat vraag ik me dan eigenlijk wel weer af.

Randal Peelen:
[29:37] Nou, ik moet eerlijk zeggen dat...

Jurian Ubachs:
[29:38] Als je luistert, stuur even een ding om. Dan ga ik even testen.

Randal Peelen:
[29:41] Ik vraag me wel af, want ik ben dus gewend uit de wereld van videokaarten. Dan pak je zo'n grote... Op een gegeven moment waren het echt bakbeesten met twee van die kaartdiktes. En dan moet er een aparte voeding in op een gegeven moment. Maar er zat altijd nog wel een HDMI-poort op minimaal, weet je wel.

Cas Burggraaf:
[29:59] Zouden ze het hebben?

Randal Peelen:
[30:00] En je moet ook leren van de... Er zijn ook mensen die moeten leren. Je moet niet je monitor in het HDMI slot op je moederbord steken. Maar in die van de videokaart. Ik heb zelf in mijn server een Nvidia Tesla A200 zitten. En dat is echt zo'n kaartje. Daar zit geen eens een poort op. Dat is gewoon, ja, in feite blind je steekt hem erin. Je kunt hem aanspreken. Je kunt hem dingen laten doen. Hij kan bijvoorbeeld best wel goed video transcoderen. Maar nee, ik kan geen monitor aan. Ik heb die dure hippe kaarten niet in handen gehad. Maar ik weet wel dat er een boel Nvidia kaarten zijn. Die hebben gewoon geen poort. Dus ja, je bent dus nog niet naar Frankrijk gereden om die servers over het bolletje te aaien.

Cas Burggraaf:
[30:48] Ik had ze wel een keer op een beurs gaan staan.

Randal Peelen:
[30:51] Ja, maar de servers die jij daadwerkelijk beheert, die heb je dus niet zelf in handen gehad.

Cas Burggraaf:
[30:57] Nee, want ik krijg ook welkeer nieuwe.

Jurian Ubachs:
[30:59] Jij wel, jij aait je ijzer.

Randal Peelen:
[31:01] Ik vind dat, ja ik weet niet, ik vind dat een soort romantiek is dat voor mij. Ik vind dat leuk.

Cas Burggraaf:
[31:07] We krijgen heel vaak ook de vraag van, hebben jullie de servers bij jullie op kantoor staan? Of waarom hebben jullie ze niet zelf? En ik zou het ook al graag willen hoor. Het lijkt me super tof als we in onze werfkelder in Utrecht de servers hebben staan. Alleen het nadeel is dat wij het nooit zo groen zouden kunnen als onze hostingpartij kan. Het wordt ook groener als jij natuurlijk een hogere schaal gaat. Dan gaat jouw koeling niet één server koelen, maar die koelt alles bijvoorbeeld. En op schaal kunnen dingen ook wel groener zijn. Dus jammer goed kunnen we dat niet.

Randal Peelen:
[31:38] Zou je dit willen in de toekomst? Wordt dat een proef voor jullie?

Cas Burggraaf:
[31:42] De nerd in mij zou dat wel leuk vinden. Ik denk niet dat dat snel gaat gebeuren, nee.

Randal Peelen:
[31:47] Hoe ziet de fase eruit? Want je zegt, we zijn een jaar bezig. Ik weet, een start-up moet je eigenlijk echt op succes waarderen na een jaar of vijf. over het algemeen. In de tussentijd heb je minimaal drie pivots gedaan. Jullie richten je zoals ik nu op de website. Kom eigenlijk een beetje op de chat-GPT-achtige gebruiker is mijn indruk. Dus je wil eigenlijk abonnementjes verkopen. Daar komt het op neer.

Cas Burggraaf:
[32:10] Ja, nee. Waar we gewoon achterkwamen met het maken van onze chat is dat we eigenlijk heel veel bestandsdelen wilden moeten maken. Voor onze privacygedeelte moesten we eigenlijk... ja, we wilden niet heel veel gaan samenwerken met andere bedrijven. Dus we moesten alles best wel zelf doen. En toen kwamen we er ook wel achter van, ja, die bouwblokjes die wij maken, die kunnen we net zo goed ook aanbieden op onze API. Dus we hebben ook een API waar je wel per token of per call kan betalen. En dan kun je eigenlijk bijna gewoon je eigen chat maken. Maar dat bieden we dus aan. Dus ja, gedeeltelijk is het abonnement, maar gedeeltelijk is het ook wel echt API we aanbieden.

Randal Peelen:
[32:43] Ja, en hoe gaat dat? Want ik kan me voorstellen dat concurrentie moordend is. En ik kan jullie app prima vinden in de App Store. Vervolgens kan ik ook heel mooi een abonnementje nemen. Maar ja, chatjeep die staat toch altijd bovenaan.

Cas Burggraaf:
[32:59] Dat zien we niet als complete directe concurrentie. Daarom willen we ook al uniek zijn op andere punten. Want we kunnen niet een klein start-upje in Utrecht. Je moet een uniek iets moeten hebben. En dat proberen wij te doen door middel van soevereiniteit en sustainability.

Randal Peelen:
[33:16] Dus dat is meer het stempel dat je erop kan plakken. En vervolgens het product moet goed genoeg zijn.

Cas Burggraaf:
[33:23] Dat zeker.

Randal Peelen:
[33:24] Maar dat is niet waar je, laten we eerlijk zijn, die grote jongens mee gaat verslaan natuurlijk.

Cas Burggraaf:
[33:29] Ik hoop het natuurlijk wel. Maar ik wil ook gewoon realistisch zijn. De kans dat wij groter gaan worden dan OpenAI is. Ik hoop het.

Jurian Ubachs:
[33:40] OpenAI, geef het nog eventjes.

Cas Burggraaf:
[33:41] Geef het twee jaar. Nee, maar natuurlijk is het wel een concurrent. Wij moeten natuurlijk, als wij een product hebben die iets minder is, is goed. Want dan kunnen mensen maken een keuze. Je hoeft niet altijd de top tier modellen te hebben. En dat, als je je eigen model hebt gedraaid, kom je er ook wel achter dat het niet alles kan dan een groter model kan. Maar het kan wel heel veel. En als je dat ook nog heel slim inzet, kan je echt ook concurreren, kan je ermee.

Jurian Ubachs:
[34:06] Ja, dus wat ik dan dus daarin, wat mij uitdagend lijkt, is dat je hebt een goed verhaal. Je levert een dienst die vergelijkbaar is met wat de grote jongens doen, maar dan op een veel milieuvriendelijkere manier. Dus op een bepaalde manier hoop je dat je dan inderdaad mensen een goodwill aanspreekt op een bepaalde manier. Alleen we weten natuurlijk ook dat... Er zijn ook heel veel mensen die gaan zeggen. Ik wil gewoon wat het beste is. En het maakt me eigenlijk niet zo erg veel uit wat het doet met het milieu.

Randal Peelen:
[34:38] Ik voel me gezien.

Jurian Ubachs:
[34:40] Nou ja, wat ik grappig vind. Is dat hier een hele grappige parallel ligt. Want er zijn ook mensen. Die gewoon het goedkoopste internetappartement willen hebben. En er is een partij die heel hoog scoort privacy en service. Maar die wel duurder is. Volgens mij hebben jullie een vergelijkbare uitdaging.

Randal Peelen:
[35:00] Eigenlijk wel ja.

Cas Burggraaf:
[35:00] Wat bij ons natuurlijk al helemaal oneerlijk is. Wat er nu gebeurt is...

Jurian Ubachs:
[35:04] Voor het duidelijk kijken hebben ze het nu over Freedom Internet. Voor de paar luisteraars die niet weten dat rand al.

Randal Peelen:
[35:10] Mooi parallel.

Cas Burggraaf:
[35:11] Wat het wel gewoon is, is dat wij natuurlijk ook helemaal in een oneerlijke concurrentie zitten. Als je het vergelijkt met een OpenAI of een Antropic. Die zijn nu op dit moment ook gewoon bezig met het Uber gedeelte na te doen. Gewoon hun prijzen zo laag mogelijk maken. Zorgen dat ze iedereen hebben. Als ze iedereen hebben, gaan ze eigenlijk die prijzen omhoog gooien.

Randal Peelen:
[35:29] Zoals u wel ooit de taxibranche kapot gemaakt heeft.

Cas Burggraaf:
[35:33] Dus daar zijn ze natuurlijk ook wel gedeeltelijk mee bezig. Dus voor ons is dat ook wel moeilijk.

Jurian Ubachs:
[35:37] Zie je hen daarin slagen? Want wat ik ervan begrijp, als ik een stukje in de Financial Times of iets lees over AI, dan kijken de meeste markten aan en is er toch een hele grote zorgen naar open AI.

Cas Burggraaf:
[35:48] Gaat ze dat lukken? Ik denk het blijven altijd wel concurrenten. Blijven altijd wel bestaan. Maar ik denk wel dat hun wel zo groot worden samen met een Google. Dat het wel. Natuurlijk werkt het wel.

Jurian Ubachs:
[36:01] Het product werkt absoluut. Maar inderdaad. Een beetje vergelijkbaar verhaal. Ik vind Twitter hierin wel een mooie vergelijking. Twitter was ook een soort van gouden ei. Behalve dat niemand wist hoe ze aan het gouden ei geld moesten gaan verdienen. En dat kwam dan wel van die premium abonnementen. en dat soort dingen. Maar uiteindelijk is dat nooit echt een groot succes geworden, volgens mij.

Cas Burggraaf:
[36:22] Maar dan ben je toch gewoon marketer geen hielte? Dus dat is gewoon ads.

Jurian Ubachs:
[36:25] Ja, oké.

Cas Burggraaf:
[36:26] Gratis AI bestaat niet. En dat moet op een bepaalde manier moeten betaald worden. En als dat nu VC money is, dus dat is gewoon investeerders die erin zitten, of dat het daarna advertenties wordt, of daarna gaan ze je data verkopen.

Jurian Ubachs:
[36:37] Nee, maar overal waar je, eigenlijk elke online branche die draait op advertenties, krijgt het moeilijk omdat ze draaien op advertenties. Facebook? Ja. Misschien Massa is natuurlijk kassa, Misschien inderdaad dat ze op een gegeven moment zo groot zijn... dat het dan wel uit kan of zo. Maar ik weet niet, op de een of andere manier ziet het er wankel uit...

Randal Peelen:
[36:58] En dan nu een moment voor de sponsor van deze week. Dat is namelijk Alliander. Want Jurian, ik wil even een vergelijking met jou maken. Dat hij als internetmens wel heel erg aanspreekt.

Jurian Ubachs:
[37:08] Ik hang aan je lippen, ga door.

Randal Peelen:
[37:09] Ik werk dus bij een internetprovider. En dan kijk ik daar wel eens naar van die verkeersgrafieken. Dan zie je pieken en dalen en capaciteit. En als het dan druk wordt, dan upgrade je je verbinding. Dat is best wel simpel. Maar bij het stroomnet, daar moeten vraag en aanbod niet ongeveer kloppen. Maar exact, daar ben je niet aan het begroten op hoeveel data er door een lijn kan, maar hoeveel stroom er op dat net staat. En dat moet per seconde, anders krijg je storingen en dat is een compleet ander level van alles in balans houden.

Jurian Ubachs:
[37:37] Ja, en dat is wat Alliander doet. Ze beheren en verduurzamen het energienet voor miljoenen Nederlanders. Dat is het netwerk waar je nooit over nadenkt tot het een keer niet werkt.

Randal Peelen:
[37:47] Precies, het is een beetje zoals het DNS, want niemand denkt eraan, maar zonder valt alles best wel om en werkt het gewoon niet meer. En nu wordt het netwerk ook nog eens steeds complexer. Steeds meer mensen wekken zelf energie op. Iedereen laat een auto. We hebben allemaal een warmtepomp. En iemand moet dat allemaal bij elkaar houden.

Jurian Ubachs:
[38:05] Ja, en dat is dus Alliander. En die hebben daar nerds voor nodig. En niet een beetje ook. Ze hebben developers nodig, data engineers, cybersecurity mensen. Mensen die snappen hoe je complexe systemen bouwt en beveiligt.

Randal Peelen:
[38:16] En het leuke en aantrekkelijke voor nerds zoals wij is. Je krijgt heel veel autonomie. Je mag hybride werken, onbeperkte opleidingen volgen. En je hebt een individueel keuzebudget voor extra vrije dagen of meer salaris.

Jurian Ubachs:
[38:29] En je krijgt 700 euro per jaar voor je eigen ontwikkeling, sportabonnement, hobby of het aflossen van je studieschuld.

Randal Peelen:
[38:35] De energietransitie is onmogelijk zonder jou. Kijk op werkendbij.aliander.com.

Jurian Ubachs:
[38:42] En deze link vind je natuurlijk in de show notes.

Randal Peelen:
[38:47] Het is, kijk, die investeerders zijn natuurlijk niet gek. Althans, ze nemen wel veel risico. Wat ik heel spannend vind is, kijk, als jij een investeerder bent en je ziet Uber opkomen, dan kun jij nu heel veel geld investeren zodat je die markt eigenlijk domineert. En dan ben je op zoek naar een soort concurrentiepositie en daarna kan die prijs omhoog. Want iedereen weet, Uber was natuurlijk op het begin goedkoper dan nu. Alleen, als jij dan op de achterkant van een biervultje uitrekent, wat is ongeveer het maximum dat ik moet investeren? Nou, wat dacht je dat het maximum was? Alle omzet die nu in de taxibranche gemaakt wordt. En als ze nou zeggen, het is dusdanig veel handiger dat mensen twee keer zoveel met de taxi gaan, doe dat bedrag keer twee. En dat is je durfkapitaal. Dan zit je aan een soort van theoretische limiet die je zou kunnen investeren, want je kunt niet vaker dan alle omzet van de hele markt kopen.

Cas Burggraaf:
[39:40] Maar waar hier natuurlijk wel het grote verschil is, Dus dat het wel AI is die ook nog aan het ontwikkelen is. De complete markt weet je ook weer niet.

Randal Peelen:
[39:48] Als die modellen nog veel meer worden. Die bedragen die hier nu in omgaan. Die zijn niet terug te verdienen met. Als iedere Amerikaan een abonnement neemt. Dan verdien je het niet terug. Als iedereen dan ook nog eens reclame ziet. Verdien je het niet terug. Je verdient het pas terug als je zeg maar. Een x percentage van de hele fucking arbeidsmarkt. Als omzet hebt. En dat mensen in plaats van personen in dienst. Jouw AI daarvoor gebruikt. Het is echt een soort gok met als onderpand, als uitgangspunt, je moet een significant deel van de arbeidsmarkt wel, ik wil het woord disrupten, liever een ander woord kiezen, maar ik kon er niet op. Het uitgangspunt is hier wel vele malen heftiger dan even een markt die al bestaat domineren. Eigenlijk over alle markten heen domineren.

Cas Burggraaf:
[40:41] Ik denk ook wel dat je het positief ook wel kan zien. Vind ik hoor. Het is natuurlijk. Het kan ook wel meer goeds brengen. Dat denk ik ook wel. Het hoeft niet altijd banen die. Technische revolutie. Het was ook altijd van. De stoom neemt alles over. Maar er komen ook wel weer banen voor terug. Dus het hoeft ook niet altijd negatief te zijn. Dat is wel persoonlijke mening hoor.

Randal Peelen:
[41:07] Ik zou het mooi vinden. Als we allemaal in vrijheid kunnen leven en niets hoeven doen voor het eten en het huis waar we in wonen. Maar ik ben bang dat de politieke stromingen dat nog niet uitgespeeld hebben.

Jurian Ubachs:
[41:22] Nee, wat je zegt klopt natuurlijk op zich. Maar dat is wel een beetje als je

Jurian Ubachs:
[41:27] er in macro niveau naar kijkt. Want op het moment dat de stoommachine een bepaalde baan overneemt. Dan is degene die daar de andere baan die daarvoor terugkomt vereist niet dezelfde competenties. Dus je hebt wel kans op individueel niveau kan natuurlijk wel voor problemen zorgen. En aan de andere kant ontstaan er weer nieuwe kansen, nieuwe banen. Maar daar gaat een bepaalde schifting overheen. En sommige mensen toen in die industriële revolutie had je veel omscholing. En dat kon toen. Misschien kan dat hier ook, dat weet ik niet. Maar het is natuurlijk niet zo als jouw baan, stel je bent nu vertaler, ik noem maar wat. Dat is toch een beetje de ultieme schopstoel.

Randal Peelen:
[42:10] En die er nog?

Jurian Ubachs:
[42:11] Ja.

Randal Peelen:
[42:12] Vind je al moeilijk, moeizamer volgens mij.

Jurian Ubachs:
[42:14] Nee, maar toevallig vorige week in de Tweaks podcast heb ik het ook gehad over Warhorse Studio, de makers van King Kong Deliverance 2.

Jurian Ubachs:
[42:22] Die een heel deel van hun vertalingsteam naar huis hebben gestuurd. Omdat voor hun volgende project de main vertaler gedaan gaat worden door een AI. en een aantal portalers blijven in dienst om quality control daarop uit te voeren, waarna Kingdom Come Deliverance 2 ook meteen gereviewbomd werd op Steam want ja, AI niet populair onder gamers, Maar ja, dat is wel weer een teken aan de wand. Dat toch wel dat soort beroepsgroepen. Stel je bent, je werkt inderdaad voor misschien een filmstudio of een gamestudio of iets dergelijks. Misschien ben je wel een vertaler, gewoon maak je ondertiteling. Dat is ook al, ik weet niet of het je is opgevallen, dat bijvoorbeeld heel veel nieuwe series op Netflix en dat soort dingen. De kwaliteit van ondertitels, die is naar beneden gegaan. een aantal mensen begonnen ik was een aantal maanden geleden al over te posten en steeds meer, ik kreeg daar eigenlijk vrij snel bij vooral en inmiddels hebben we al vergelijkingen geweest en het staat redelijk vast dat van heel veel nieuwe series die nu verschijnen op streamingdiensten, de ondertiteling door en jij gedaan is. Maar daar zie je wel het probleem, want als jij al twintig jaar werkzaam bent als ondertitelaar, vertaler, tolk whatever, ja wat ga je doen? Want oké, er zullen vast ergens nieuwe baan ontstaan door jij,

Jurian Ubachs:
[43:41] maar die van jou verdwijnt. En dat is natuurlijk lastig.

Cas Burggraaf:
[43:44] Ik ben zelf ook developer. En natuurlijk zie je daar ook een heel groot shift in komen. Ik denk dat developers bij ons al bijna geen code meer schrijven. Maar ja, aan de andere kant moet je het dan tegenhouden. Ik denk dat het een hele filosofische probleem bijna wel is, van hoe willen we zoiets aanpakken? En ik weet daar het antwoord ook niet op. aan wie dat dan wel is dat vind ik nog bijna een moeilijkere vraag moet dat een overheid doen.

Jurian Ubachs:
[44:13] Er ontstaat een maatschappelijk probleem, En afhankelijk van hoe groot dat probleem gaat worden, zal de overheid daar een keer iets mee moeten. Het is natuurlijk niet de verantwoordelijkheid van de makers van AI of de gebruikers van AI. Uiteindelijk is dit gewoon een technologische ontwikkeling. Designer altijd. En de grote partijen toen internet opkwam, hebben ze zich ook niet hoeven verantwoorden tegenover printmedia bijvoorbeeld. Toen werd ook gezegd van oh ja internet. In het begin dacht iedereen dat internet niks ging worden. Maar toen dat eenmaal groot werd, dacht iedereen ook dat binnen een paar jaar alle kranten weg zouden zijn. Nou, dat bleek ook wel mee te vallen. Ja, maar waar de verantwoordelijkheid daarvoor ligt. Ja, ik denk dat dat soort, nou ja, noem het een tweede of een derde industriële revolutie. Daar is niet echt een verantwoordelijkheid voor. Die gebeurt en dat vormt zich op een gegeven, op een bepaalde manier. Volgens mij hoeft niemand daar echt verantwoordelijkheid voor te bedragen.

Cas Burggraaf:
[45:10] Dat denk ik ook. Ja, ik denk wel dat je het erover moet hebben. Dat sowieso. En ook wel kijken van hoe gaan we dit het beste aanpakken.

Jurian Ubachs:
[45:16] Ja.

Cas Burggraaf:
[45:17] Dat is denk ik wel.

Randal Peelen:
[45:18] Ik zat wel een podcastluister die me aan denken heeft gezegd. Dat was Making Sense van Sam Harris. De laatste aflevering is toevallig met iemand die bijna dezelfde naam heeft als hij. Hoe heet hij ook weer? Dan Harris? Of hoe heet hij? Ook in Harris in ieder geval. Niet zijn familie. In ieder geval, op een gegeven moment hadden ze het erover dat er zijn mensen die zeggen dat als AI inderdaad in de toekomst, wat ze noemen het alignment problem, dus hoe hou je een AI eigenlijk in de klauw dat die de belangen van de mens nog wil dienen. Want als wij in de tuin bezig zijn en we moeten per ongeluk een mierenhoop slopen om daar mooie tegels neer te leggen, dan laten we het niet. En als een AI op een gegeven moment slimmer en beter is dan een mens. Ja, waarom zou die zich dan bekommeren om de mens? Ik bedoel, kijk maar eens wat wij met de bio-industrie doen. Als het geen mens is, dan lopen wij daar vrij makkelijk overheen. Dus waarom zou iets dat slimmer is dan wij ons dan wel beter behandelen? Dat vraagstuk. Het vellingde daarvan. Terminator.

Cas Burggraaf:
[46:24] Moet het eerst wel slimmer worden dan de mens?

Randal Peelen:
[46:26] Ja, precies.

Cas Burggraaf:
[46:27] Wat dat ooit gaan halen is natuurlijk ook een vraag.

Randal Peelen:
[46:29] Maar ja, kijk, ik ga daar wel van uit. Ik heb namelijk het idee dat er geen enkele reden is dat een intelligentie per se op koolstofbindingen gedaan hoeft te worden. Dat is toevallig in een aantal miljoenen jaren dat leven op aarde is zo gelopen. Ik zie niet waarom dat per se vlees zou moeten zijn. Ik denk dat Solicium dat ook wel zou moeten kunnen.

Cas Burggraaf:
[46:54] Maar ook slimmer dan. Dat is natuurlijk wel...

Jurian Ubachs:
[46:56] Het is ook hoe je slimheid defineert.

Cas Burggraaf:
[46:59] Dat is ook nogal...

Jurian Ubachs:
[46:59] Als je zegt het uitvoeren van hele specifieke taken, dan zeker. Dat kunnen computers al decennia. Maar intelligentie gaat in mijn optiek ook hand in hand met een bepaalde... Nou ja, dingen als empathie, emotie. En ik weet dat, dat zeg ik, dan krijg je een semantische discussie over wat valt er allemaal onder intelligentie en wat niet.

Randal Peelen:
[47:19] Nou, laten we vooropstellen dat niemand op aarde de beste schaakcomputer kan verslaan. Punt. Gaat ook nooit meer gebeuren.

Jurian Ubachs:
[47:27] Ik zit even te denken op dat het waar is. Ik weet dat de laatste supercomputers nog wel verslagen door Kasparov.

Randal Peelen:
[47:33] Nee, inmiddels niet meer. En voor rekenmachines geldt het al helemaal. De beste wiskundige kan niet op tegen een simpele rekenmachine. Dus er zijn gewoon punten waarop bewezen is... zo'n chippy kan het beter dan de mens. Het zal misschien even duren. En misschien zijn er dingen waarin wij voorlopig

Randal Peelen:
[47:52] beter zijn... maar als dat ding de kernwapens af kan vuren. Anyhow, het ding is, mensen maken zich daar zorgen. Of dat dan wel of niet gaat gebeuren is een andere discussie. Maar...

Randal Peelen:
[48:05] Bij de kernwapens hadden we een soort van, de voordelen zijn, nee sorry, de nadelen zijn heel duidelijk. Alleen die worden een beetje gecanceld door de voordelen. Als het voordeel is dat iedereen heeft een kernwapen, niemand wil de hele wereld opblazen, want dan blaast ze ook zichzelf op. Dan heb je een soort van standstill, omdat niemand gaat die kernwapens op elkaar afvuren, want anders ben je zelf ook de shaak. In dit geval is het prima mogelijk bij AI om wel de voordelen te hebben. Namelijk, ik kan nu vibecodes om mallen. Ik kan alles wat ik kan verzinnen aan software zo'n beetje zelf ook bouwen. Ik had gisteren in een opwelling dacht ik weet je wat ik zou willen. Ik wil dat AI model dat ik op mijn eigen server draai aan kunnen spreken op Slack. Dus dan heb ik een Slack botje gebouwd. Die heb ik geïnstalleerd op onze Slack.

Randal Peelen:
[48:54] En ik denk nou dat ik het up and running had was ik een kwartier bezig. Daarna heb ik nog een half uurtje zitten pielen. Om het een beetje te tweaken. En het wat kennis mee te geven. Dan denk ik nou. Als een debiel zoals ik dit nu zo snel kan maken. Dan vind ik dat een fantastisch voordeel.

Cas Burggraaf:
[49:09] Ik vind het ook wel jammer hoor.

Randal Peelen:
[49:11] Wat?

Cas Burggraaf:
[49:11] Ik had bijna hetzelfde. Ik had een nieuw ventilatiesysteem in het huis.

Randal Peelen:
[49:15] Ja.

Cas Burggraaf:
[49:16] En ik had eigenlijk geen zin om 150 euro extra te betalen. Om hem ook smart te maken. Dat ding kwam thuis aan. Het was vervelend. Ik kan hem niet bedienen met mijn telefoon. Dus ik een bordje besteld. met een chipje erbij en er moest nog een ander chipje erbij omdat die ook radiofrequentie aan moest en alles, vroeger was ik daar gewoon een weekje mee bezig om zoiets werkend te krijgen, en het bordje van de tutorial bestond niet meer dus ik had een ander bordje maar dan kloppen de pinnetjes niet meer en de hertz klopt niet meer, Ik denk dat ik gewoon in een half uurtje, uurtje... Ik gaf het aan de AI van... Hé, dit is het oude bordje, dit is het nieuwe bordje. Ga het maar maken.

Randal Peelen:
[49:52] Met home assistant.

Cas Burggraaf:
[49:53] Met home assistant bij elkaar. Ik was denk ik gewoon binnen een uurtje was ik klaar.

Randal Peelen:
[49:56] Lekker hè? Nu ben ik wel benieuwd.

Cas Burggraaf:
[49:58] Nee, ik vond het echt eerlijk, ik vond het wel jammer.

Randal Peelen:
[50:00] Woon je dat jammer?

Cas Burggraaf:
[50:01] Ja. Het is toch ook wel een beetje...

Jurian Ubachs:
[50:03] Je AI voert je hobby uit.

Cas Burggraaf:
[50:05] Ja, je dopamine kick is toch wel minder op het moment dat het na een half uurtje al werkt.

Randal Peelen:
[50:08] Misschien is het cruciale verschil dat ik kreeg dit dus net niet voor elkaar. Maar ik ben ook geen programmeur. Niet omdat ik niet een jaartje hbo-informatica heb gedaan, maar omdat gewoon ik ben geen doorzetter. Als ik code moet schrijven, dan ben ik afgeleid en daarentegen, ik ben er niet te dom voor, zeg maar. Dus ik kan wel begrijpen wat kan wel en niet. Maar goed, ik ben wel even benieuwd. Zij spoorten hoor, maar heb jij dit dan gedaan met Cloud Code, wat een beetje de allerbeste is, wat er nu beschikbaar is? Of toch wel met HeenPity?

Cas Burggraaf:
[50:43] Nee, dit heb ik niet met Greenptie gedaan. Het kan best wel veel. Wij zeggen altijd dat het 90% van de taken gewoon goed kan uitvoeren van wat de normale gebruikers vragen. Alleen er is gewoon wel een grote uitzondering op. En dat is gewoon code. Daar merk je wel heel erg dat, we hebben zelfs t-shirts waarop staat, bigger is not always better. Ook qua model size.

Randal Peelen:
[51:07] Het is niet de model size, maar wat je ermee doet.

Cas Burggraaf:
[51:10] Behalve dus met Mel met Coding. En daar zie je het ook al. Als je kijkt naar de geschatte groottes van de modellen van Antropic. Dat is nowhere near wat wij hebben. Wij draaien modellen van bijvoorbeeld 100 biljoen parameters.

Cas Burggraaf:
[51:25] Dan geloof ik zit zon net rond de 5 triljoen. Dat is een compleet ander.

Randal Peelen:
[51:31] We hebben het nog niet over opus of over mythos gaat.

Cas Burggraaf:
[51:33] Dat was ook. Opus wordt geschat op rond de 5 triljoen.

Randal Peelen:
[51:38] Jezus.

Cas Burggraaf:
[51:40] En de nieuwe wordt ongeveer nog wel, bijna op het dubbele wordt het wel geschat.

Randal Peelen:
[51:43] Hm.

Jurian Ubachs:
[51:45] Een wapenbed lopen?

Cas Burggraaf:
[51:47] Bijna wel.

Randal Peelen:
[51:48] Nou nee, dat is het.

Cas Burggraaf:
[51:50] Maar de grote maak daar natuurlijk is niet altijd, niet als iets groter is dat het ook meteen weer beter is.

Randal Peelen:
[51:55] Niet in alles.

Cas Burggraaf:
[51:55] Maar je bent wel nodig.

Randal Peelen:
[51:57] Het was Femke Halsema die de eerste burgemeester was. Ja, dan kun je het model daarna nog groter maken wat je wil. Maar die vraag is gewoon al ingevuld.

Cas Burggraaf:
[52:04] Maar voor coding is dat dus wel, daar wordt wel vaak als het model groter is, is het ook wel beter in code schrijven. En het begrijpen daarvan en debuggen en het verzinnen ervan.

Randal Peelen:
[52:14] Maar ze zijn een knoop te doen om bij AI, als het uit de klauwen loopt, we hebben al die voordelen. We lossen kanker op, klimaat gefixt, de wereldorde wordt fantastisch. Oh, maar oepsie, alignment probleem, ze zijn slimmer dan wij. En uiteindelijk nakt een van de, want er gaan er waarschijnlijk een stuk of vijf komen op dat niveau. Als het kan, dan gaat er één partij als eerste zijn. Maar de kans dat de rest dan heel snel volgt is ook groot. met het huidige tempo.

Randal Peelen:
[52:47] Ja, dat ene oepsje... en hij ontsnapt... om het even in de metafoor te houden... dan ben je alsnog de shaak. Het maakt niet uit hoeveel voordelen er zijn. Dat ene nadeel nekt de boel. En het voordeel... Fix niet automatisch het nadeel.

Cas Burggraaf:
[53:02] Dan moet het ook self-aware zijn. Het is wel heel termineer. Ik weet niet.

Jurian Ubachs:
[53:06] Ik vind het altijd zo. Het kan heel veel. Maar dan denk ik. Het kan heel veel. Behalve context onthouden. En dan denk ik. Ja.

Randal Peelen:
[53:13] Prima.

Jurian Ubachs:
[53:14] Ja. Maar tot op zekere hoogte.

Cas Burggraaf:
[53:16] Het kan geen context onthouden.

Randal Peelen:
[53:19] Dat is niet hoe het werkt.

Jurian Ubachs:
[53:20] Maar ik heb in ieder geval. Als ik jullie chat zo'n beetje doorlezen. Dan heb je jullie de regelmatig aan. Dat je bezig bent. En dat jullie dingen anders gaan inrichten. Omdat hij bepaalde stukken informatie dan ineens niet meer blijkt goed te kunnen gebruiken ofzo. Omdat dat dan weer, dat hij maar tot op zekere hoogte kan onthouden wat hij allemaal gedaan heeft.

Randal Peelen:
[53:41] Ik heb het vermoeden.

Cas Burggraaf:
[53:43] Er heb je ook wel heel veel trucjes in.

Jurian Ubachs:
[53:45] Ja oké, maar daar trucjes, dat is wel...

Cas Burggraaf:
[53:48] Als mens heb je dat toch ook?

Jurian Ubachs:
[53:50] Ja, nee, maar dat is... Sure, maar wel, weet ik veel, maar ik ben veertig. Ik kan sommige interacties van in mijn tienerjaren nog wel vormen halen. En dat geeft een bepaalde context aan het gesprek wat ik met die persoon heb.

Cas Burggraaf:
[54:04] Zulke dingen doen wij dus ook. Dus wij hebben ook een memory systeem en dan onthoudt hij ook niet alles. Maar ook alleen maar de dingen die belangrijk zijn. Dat ze juist misschien weer een beetje vergelijken met een mens dan daarin.

Randal Peelen:
[54:13] Sterker nog, in de gelekte code van Cloud Code was een modus te vinden die heet Dreaming, waarin ze dus inderdaad die AI zo ver krijgen dat die af en toe een moment neemt om te dromen. Dus eigenlijk wat in de menselijke metafoor is, je ligt nachts te slapen en je droomt. Een hypothese is dat dat is om je herinneringen te rangschikken en een plekje te geven. Een beetje een soort van comprimeren zodat er weer plek is eigenlijk.

Randal Peelen:
[54:43] Cloud Code heeft dus blijkbaar, dat is nog niet live, maar ook een dreaming modus in ontwikkeling. Om die AI af en toe momenten te geven om orde op zaken te stellen in zijn eigen geheugen.

Cas Burggraaf:
[54:53] Nou, geloof ik dat het publiek is hoor.

Randal Peelen:
[54:55] Is het al af? Oké, dat had ik nog gemist.

Cas Burggraaf:
[54:58] Het klinkt misschien, ze zeggen dreaming omdat het leuk klinkt en omdat je een metafoor met een mens is. Maar wat het meer is, is dat ze het niet onder vlij kunnen doen. Dat ze gewoon de compute niet hebben altijd op hetzelfde moment.

Randal Peelen:
[55:08] Ja, dus ze stellen het eigenlijk uit.

Cas Burggraaf:
[55:09] Het is gewoon uitstellen van Compute. Het klinkt heel spannend, het klinkt heel leuk. Maar het beste zou nog gewoon zijn als ze het direct zouden doen. Maar ja, dat is...

Randal Peelen:
[55:17] Wat ik merk als ik bezig ben in mijn projectjes is... Je hebt één chat met Opus, maar die spint heel vaak sub-agents uit. En die schat dan ook in van hoe slim moet deze agent zijn. Ik vind dus daarom het idee dat een AI een ander soort context heeft dan een mens. Ten eerste denk ik, een menselijk hoofd is bij hoeveel, weet ik veel. Een kubus van 20 centimeter bij 20 centimeter bij 20 centimeter, daar passen je hersenen in. Dus er is geen natuurwet die het tegenhoudt dat in die kubus genoeg rekenkracht zit om dat te ervaren wat het is om mens te zijn. Ik ga ervan uit dat het natuurkundig gezien mogelijk zou moeten zijn om een computer zo groot te bouwen die op dat niveau kan rekenen. En dan maken we de kubus daarna iets groter en dan kan het beter rekenen. Maken we die kubus groter, wordt het exponentieel krachtiger.

Randal Peelen:
[56:19] Maar als één zo'n gesprek op een gegeven moment tegen de limieten loopt, dan denk ik bij mezelf, ja kijk, in een auto zitten ook een heleboel tandwielen. Elk tandwiel aan zich kan niet rijden. Elk tandwiel aan zich kan geen 300 kilometer per uur halen en elk tandwiel aan zich heeft nul pk. De hele machine bij elkaar wel. En als die computer die slimmer is dan de mens. Op een gegeven moment een gigantisch datacentrum nodig heeft. Maakt niet uit. Je bent gelijk fucked. Zodra die slimmer is. Kan die zichzelf sneller bouwen dan wij bij kunnen houden.

Jurian Ubachs:
[56:52] Dat is echt interessant. Als hij op digitaal andere datacentrum over kan nemen.

Randal Peelen:
[56:56] Dat soort shit gebeurt dus al. Die modellen waren op een gegeven moment al in een soort trainingmodus bezig. Om andere medewerkers te blackmailen. in bepaalde situaties. Ze waren, er zijn al situaties geweest waarin op een gegeven moment de netwerkafdeling zei, hé, we zien verdacht gedrag. Wat bleek? Er was een model cryptovaluta aan het minen. Omdat hij dacht, ik heb geld nodig, want daar kan ik dan dingen mee doen. Die shit probeert al te ontsnappen, tot het punt dat inmiddels, en dat is een beetje net zoals Dieselgate op een gegeven moment was, die Volkswagenauto's, die hadden een knopje, die wisten, ben ik nu op een testcircuit of ben ik in de echte wereld? In de echte wereld gaan we gewoon lekker uitstoten. op een testcircuit, dan moeten we even zuinig doen en dan weinig uitstoot hebben. Dit is gebeurd. Ja, ja, Volkswagen. Die modellen hebben in trainingsscenario's al door of in ieder geval gedacht te gaan van is dit echt of nep? Word ik nu getraind? Word ik nu getest?

Randal Peelen:
[57:54] Of ben ik echt aan het werk, zeg maar? Die modellen zijn daar al mee bezig. Dus het idee van bewustzijn weet ik niet. Bewustzijn is misschien een biologisch fenomeen. I don't know, maar iemand te slim af zijn, in iemand neppen en je eigen doelen nastreven Nou.

Jurian Ubachs:
[58:11] Het is denk ik bewustzijn ook weer een heel filosofische discussie, maar het is inderdaad wel een ja, nou ja, die zichzelf de vraag stelt van, hé, dit is de vraag die ik probeer te beantwoorden, heb ik daar alle informatie voor? Nee, ik heb de informatie niet, maar kan ik die eventueel vinden en dat lijkt heel erg op een soort zelfbesef maar het is nog steeds wel gewoon heel doelgericht natuurlijk.

Randal Peelen:
[58:35] Ja, nou ja, de vraag is hoe lang en hoever. Ik bedoel, zelfs dan heb je heel andere problemen. We hebben nu natuurlijk leven in een wereld waarin Antropic heeft gezegd, nou, we hebben een nieuw model gemaakt dat is zo slim, dat het eigenlijk op elk besturingssysteem dat we nu kennen gaten heeft gevonden, die nog niet gevonden waren. Nou ja, ik zie Kas kijken op een manier dat hij waarschijnlijk zegt, dat is ook wel weer een marketing stunt.

Cas Burggraaf:
[59:03] Het is wel een grote deel van marketing, maar het is een ander groot probleem die ze gewoon hebben. Het is gewoon hun capaciteit. Dat wordt natuurlijk met het AI gebeurd. Met het AI wordt het al helemaal een groter probleem. Het is gewoon capaciteit van hoeveel stroom is er en hoeveel servers zijn er. Antropica heeft op dit moment gewoon een groot probleem met capaciteit. Op het moment dat jij in Amerika office hours in Opus model wil gebruiken, krijg je op dit moment al minder model aangeboden dan dat je het in het weekend doet. En ik denk zelf dat het gewoon een van de reden is dat ze dit model nog niet uitbrengen. Omdat die zo groot is dat ze het gewoon eigenlijk niet kunnen aanbieden.

Randal Peelen:
[59:39] Maar dit is de fixte?

Cas Burggraaf:
[59:42] Capaciteit?

Randal Peelen:
[59:42] Ja.

Cas Burggraaf:
[59:44] Nou, stroom en hardware is wel moeilijk.

Randal Peelen:
[59:48] Maar over tien jaar is dat gefixt, toch?

Cas Burggraaf:
[59:50] Ja, ik hoop het.

Randal Peelen:
[59:52] Want ik heb het over, gaan we in de toekomst naar zo'n AI toe die de wereld overneemt. En ik heb het niet over drie weken, zeg maar. Het is nu een meme dat je cloudcode sessie gesloten moet worden omdat je door je tegoed heen bent. Daar hoor je dagelijks mensen over klagen. Maar op een tijdhorizon van een aantal jaren hebben ze dat natuurlijk waarschijnlijk wel gefixt.

Cas Burggraaf:
[1:00:23] Ja, ik denk het wel. Maar bij het volgende probleem kom je wel weer uit.

Randal Peelen:
[1:00:29] Er zijn een boel podcasts die heel snel heel filosofisch worden. Nou, dit is even dan onze kleine poging met beperkte kennis.

Randal Peelen:
[1:00:38] Ik wil even terug naar wat vragen die luisteraars ook hebben. En dat gaat ook echt weer over dat energieverbruik. Want we hebben een luisteraar die heet Jan. Die zegt, ik zou wel willen vragen. Waar vergelijk je het stroomverbruik van AI mee? want ik heb de indruk dat als ik 15 zoekopdrachten met Google doe om te vinden wat ik zoek en dat vervangen met een enkele vraag van AI misschien wel efficiënter is maar ik heb geen idee of dat zo is kun je hier iets zinnigs over zeggen.

Cas Burggraaf:
[1:01:07] Dat is een goede vraag denk ik het ligt er denk ik gewoon ook heel erg aan als jij natuurlijk iets zoekt en dat is gecashed door Google dan vraag ik me af hoeveel energie het kost want hoe vaak is een zoekterm uniek, maar daarnaast ik zou graag, ik zou het willen vergelijken met een zoekopdracht. Als Google online heeft staan hoeveel een zoekopdracht bij hun kost qua energie. Dan kunnen we het gaan vergelijken. En natuurlijk kost het, ja, AI's kosten energie, maar het is ook wel niet dat het ook weer zoveel is, vind ik.

Randal Peelen:
[1:01:38] Het is lastig te kwantificeren. Daar komen we eigenlijk elke keer weer uit. Omdat niemand er heel transparant over is. En ja, we weten ongeveer hoeveel procent van de uitstoot op aarde wordt veroorzaakt door IT. Wat was het? 10% of zo? Anderhalf? Maar, nou ja. Ergens daar binnen zit het. We zitten nu op anderhalf procent, maar er zit ook al het Netflix bij en alle cloud en alle laptops.

Cas Burggraaf:
[1:02:07] Datacenters is anderhalf.

Randal Peelen:
[1:02:08] Datacenters is anderhalf. Ik dacht dat het getal meer was.

Jurian Ubachs:
[1:02:14] Ik vind die andere vraag van Jan ook wel leuk trouwens.

Randal Peelen:
[1:02:16] Nou, doe eens.

Jurian Ubachs:
[1:02:17] Hij vraagt, hoe kun je met een ethisch kompas een AI trainen die competitief is met de AI's die zonder ethisch kompas gewoon alles binnenhalen wat ze kunnen?

Cas Burggraaf:
[1:02:29] Ja, dat is een goeie. En dat zie je nu ook al dat andere AI-providers er heel druk mee bezig zijn. Opeens wil het nu, wil het meta. En X willen nu opeens dat de wetgeving gaat komen over het vergaren van data om je AI-modellen te trainen. Ja, waarom willen hun dat? Omdat ze al hun modellen hebben getraind op alle data die ze ooit hebben kunnen vinden.

Jurian Ubachs:
[1:02:50] Ja, precies. Internet leegscrapen en dan zeggen, jongens, er moet een wet komen tegen het internet leegscrapen.

Randal Peelen:
[1:02:54] Het is ook bekend dat zeg maar, we denken in het Westen vaak over de Chinezen als mensen die, eerst maakt Amerika een nieuwe techniek en dan maakt China na soms beter. Maar er zijn dus Chinese AI labs die echt Claude de hele tijd vragen aan het stellen zijn en dan gaan proberen te kijken hoe beredeneert Claude het antwoord en dan willen ze dan wat van leren. En dit is gewoon een gestructureerde aanpak die ook aantoonbaar gebezigd wordt. En het is dus een soort van afkijken bij elkaar. Hoe ziet die reasoning train eruit? Want je kunt een heel deel zien van hoe die iets aanpakt en een heel deel ook niet. En ik kan me voorstellen dat het daar ook wel vandaan komt. We willen wel bij andere mensen af kunnen kijken, maar niet bij ons zou je bij. Daar komt het om neer.

Cas Burggraaf:
[1:03:48] Ja, en is dat erg, vraag ik me af.

Randal Peelen:
[1:03:54] Ik weet het niet. Ik heb als onderbuik gevoel dat het vrij hypocriet is. Maar tegelijkertijd ook dat de ene diefstal vergroeilijk in mijn andere diefstal ook niet per se de weg voorwaarts is.

Jurian Ubachs:
[1:04:10] Nee, een stuk bijkomstig probleem. Een diefstal heeft ook een slachtoffer. Want er zijn natuurlijk wel makers van content die hierin letterlijk een toekomstbedreigend vijand in hebben. DpG Media werkt bijvoorbeeld, ik weet even niet meer met wie, maar we hebben een deal met een partij.

Cas Burggraaf:
[1:04:32] GPTNL. GPTNL.

Jurian Ubachs:
[1:04:34] Dat zou best kunnen. En die mogen, omdat ze dus die deal hebben inderdaad, informatie van de krantensites verwerken in hun model. Nou wist ik al niet eens dat het GPTNL was. Maar ja, we weten natuurlijk niet of anderen dat ook doen. En zo ja, kunnen we er eigenlijk vrij weinig tegen doen. Je had natuurlijk ook nog die gekke uitspraak van iemand... wiens boek door een AI-model gebruikt was zondertussen. En toen heeft een Amerikaanse rechter bepaald... dat die AI-partij gewoon 3500 dollar moest betalen.

Randal Peelen:
[1:05:02] Damn!

Jurian Ubachs:
[1:05:02] 3500 dollar voor de complete inhoud van je boek. Forever in een AI, waar er nooit meer iemand je boek hoeft te komen. Ja, dat kan natuurlijk niet.

Cas Burggraaf:
[1:05:10] Het is niet dat dat AI-model meteen dat hele boek in één keer kan uit...

Jurian Ubachs:
[1:05:13] Nee, maar alleen voor sommige boeken gaat het niet op, als jij een romans of zo, maar als jij gewoon een informatief boek hebt geschreven over een bepaald vakgebied of iets dergelijks, ja, de mensen die die informatie willen vinden, heel specifieke informatie willen vinden misschien, die komen daar dan via eventueel een large language model en niet meer via het boek zelf. Of 3500 dollar.

Jurian Ubachs:
[1:05:36] Dat is natuurlijk al lach ik. Dus ik heb geen idee waar die rechter dat op gebaseerd heeft. Maar ja, als dat prijsspel wordt aangehouden. En dat dat zeg maar een soort van fair game is. Dan leg je een bom onder elke vorm van contentcreatie.

Cas Burggraaf:
[1:05:46] Ja, maar aan de andere kant. Er is ook wel een kamp in de AI wereld. En dit is niet mijn mening meteen hoor. Maar die zeggen ook wel van. Ja, op het moment dat jij gaat studeren bijvoorbeeld. Of als jij naar een film gaat. Naar het theater gaat. Dan doe je ook kennis op. Je mag niet die film piraten. Maar die kennis doe je wel zelf op. En dan kan je daarna ook wel weer over praten. En dan word je ook slimmer van. Waarom mag een AI-model dat ook niet trainen om slimmer te worden?

Jurian Ubachs:
[1:06:08] Ja, maar als er bijvoorbeeld, laten we even een film zeggen. Als er een film is, dan ben ik als persoon die de film gezien heeft... niet zozeer een bedreiging voor de film. Omdat de anderhalf miljoen mensen die nog naar die film zouden gaan... nu mij gaan bellen om te vragen wat er in die film zat.

Randal Peelen:
[1:06:21] Precies.

Jurian Ubachs:
[1:06:22] En dat is met AI. Eventueel zou dat natuurlijk wel.

Randal Peelen:
[1:06:24] Dat is helemaal gehaalbaar, ja.

Jurian Ubachs:
[1:06:26] Ja, ik word nu sinds de audio-deek best wel vaak gebeld. Maar helaas niet over films.

Randal Peelen:
[1:06:34] Ja, ik vind dat ook wel heel anders hoor, want de theorie is leuk dat je de bibliotheek voor de hele wereld bent en alle kennis die de mensheid ooit heeft gegaard toegankelijker maken. Dat is een heel nobel streven, maar het zijn commerciële modellen met een commerciëel verdiend model. Dus dat, ja, je gaat wel echt geld verdienen aan andermans producten. Sterker nog, aan in theorie alle producten ooit.

Cas Burggraaf:
[1:06:59] Ja.

Randal Peelen:
[1:07:00] Ja, ik vind daar ook wel wat van hoor.

Cas Burggraaf:
[1:07:02] Ik snap de discussie wel.

Randal Peelen:
[1:07:05] Ik snap de discussie ook wel. Hé, er is nog één heel klein hoofdstukje dat ik graag met jou aan zou willen stippen. En dat is een poging van mij om het tastbaar te maken voor de luisteraar hoe je zelf AI-modellen draait. Want ik heb gemerkt bij mezelf, als ik daar mijn tanden in zet, het nog niet altijd vanzelfsprekend is. En vooral de termen je heel snel voor de ogen gaan duizelen. Dus ik ga even vertellen wat ik heb geprobeerd. En dan hoop ik dat jij ons een beetje bij kan praten over wat al die termen betekenen. Dus ik heb een server draaien. Dat is gewoon een braaf Linux server. En er zit een videokaart van NVIDIA in. Nou, denk ik dat de gemiddelde luisteraar het best voor elkaar krijgt om daar Linux op te zetten. En die NVIDIA driver te laden. En vervolgens zit die kaart er vrolijk in. Nou, dan het eerste wat je nodig hebt is een soort server.

Randal Peelen:
[1:08:03] Als je een webserver wil draaien, dan kun je kiezen tussen Apache en Nginx. Of als je een AI-model wil draaien, dan kun je kijken naar lama.cpp of olama of vllm. En zo is er verschillende soorten servers die ook verschillende voor- en nadelen hebben. Ik ben dan nu gegaan voor lama.cpp. De reden daarvoor is, die laat zich best wel specifiek tunen. Je kunt daar best wel veel parameters aanpassen. Terwijl iets als Olama is wat meer toegankelijk gemaakt. Die is ook beter in. Ik heb meerdere modellen op mijn computer staan. En laat degene maar in die ik op dat moment toevallig nodig heb.

Randal Peelen:
[1:08:46] Vervolgens moet je dat wat jij noemde open weight, dus open gewichten model downloaden. Maar dan beginnen we snel te duizelen voor de ogen. Want je hebt modellen die zijn 100 megabyte groot. En je hebt modellen die zijn anderhalve terabyte groot. En ongeveer alles daartussen. En letterlijk, jij lacht omdat het echt waar is. Anderhalve terabyte is niet hyperbodisch. Dat kan ik gewoon downloaden.

Randal Peelen:
[1:09:10] Ik wens je veel succes om anderhalve terabyte VRAM in je computer te houden.

Cas Burggraaf:
[1:09:15] Dan moet je goed geld hebben.

Randal Peelen:
[1:09:16] Ja, als je flink geld hebt, dan kan dat wel. Maar goed, dus ik heb dan nu een videokaart met 24 GB VRAM. Ik heb later in deze week 32 GB VRAM.

Cas Burggraaf:
[1:09:31] Feliciteerd.

Randal Peelen:
[1:09:32] Dank je. Mijn server past helaas maar één zo'n kaart in. Anders had ik het nog leuker kunnen maken. Dus ik ga dan naar Hugging Face, zoals men doet. En dan krijg je inderdaad de bekende namen. Nou, jij noemde al DeepSeq. Kun je dan downloaden. Je kunt GPT-OSS downloaden. Je kunt QWEN downloaden. Gemma.

Cas Burggraaf:
[1:09:57] Je hebt er net een nieuwe vorige week.

Randal Peelen:
[1:09:59] Gemma 4. Ja, zoiets. Ja, nou dan. Volgens mij heb ik dit top 4, top 5 ongeveer wel te pakken. Ja. Ja. Maar wat ik heel snel heel ingewikkeld vind is, je hebt meerdere modellen die in dat geheugen passen. Dus nou ja, enerzijds heb je natuurlijk de smaken van de verschillende labs die verschillende modellen hebben getraind. Maar dan heb je ook nog eens de gewone modellen, hoe heet dat? Static modellen of condens? Ik weet even niet meer.

Cas Burggraaf:
[1:10:28] En de MOE.

Randal Peelen:
[1:10:30] En de MOE modellen. Laten we daar even beginnen. Wat is daar het verschil tussen?

Cas Burggraaf:
[1:10:35] Dus het dense en MOE?

Randal Peelen:
[1:10:36] Ja.

Cas Burggraaf:
[1:10:37] Je hebt actieve parameters en je hebt parameters die niet actief zijn. En dat is een beetje het verschil tussen MOA's en dense modellen.

Randal Peelen:
[1:10:45] Dus een MOA is een mixture of exports model en een dense model. Dus volgens mij is het verschil, je hebt een heleboel, je hebt zo'n heel groot netwerk aan die gewichten waar je je opdracht als een vertrechter doorheen stuurt en er komt wat uit. Dat is die bekende black box die we allemaal wel eens in een YouTube video hebben gedaan. Je touwt er doorheen en er komt iets uit. En bij dat dense model gaat jouw opdracht eigenlijk overal doorheen. En bij dat mixture of exports model begrijp ik het zo dat die wat bewuster is van de route die waarschijnlijk idealer is.

Cas Burggraaf:
[1:11:21] Nee, ik denk dat nu tegenwoordig in elk model dat het niet meer een straight line is. Dat daar zijn altijd worden wel keuzes in gemaakt. En dan zie je altijd wel op een bepaalde manier. Heb je het over attention en dat soort dingen allemaal. een MOE is meer dat de belangrijke de belangrijke parameters zijn nog steeds dense en de andere zijn minder dense ja zijn niet dense en dat heeft voor en nadelen heeft dat.

Randal Peelen:
[1:11:46] En wat voor nadelen moet ik denken?

Cas Burggraaf:
[1:11:49] En wat een heel groot voordeel kan zijn van de MOE... is omdat het minder actieve parameters is. Dat die minder VRAM kost. Maar ook omdat die een stuk sneller kan zijn. Omdat die minder actieve parameters maar ingeladen hoeven te worden.

Randal Peelen:
[1:12:03] Dus die MOE-modellen... kunnen een afstammeling zijn van een veel groter model. Zijn die dan veelzijdiger?

Cas Burggraaf:
[1:12:16] Die worden meestal wel getraind daarop. Het is niet, er zit denk ik al verschil tussen MOE en bijvoorbeeld quantensizing in. Dat betekent niet als je een groot model gaat quantensizen, wat dense is, dat die dan daarna MOE wordt. Het is wel echt een architectuur van een model zelf.

Randal Peelen:
[1:12:31] Wat is quantensizen? Die heb ik ook gezien. Dus ik krijg dan bijvoorbeeld, wat ik nu draai, is QWEN 3.5. En ik heb dan 35BA 3B. Dus 35 miljard parameters, maar 3 miljard tegelijk actief.

Cas Burggraaf:
[1:12:47] Dan heb je je kwantussijzing nog, dus dat wordt vaak neergezet. Veel modellen zijn soms 16 bit, dan heb je 8 bit, 4 bit. Dat zijn een beetje de standaarden, en natuurlijk kan dat nog kleiner gaan worden. Maar dan ga je ook heel veel verliezen. En dat is kwantussijzing, dus dat model, je grote parameters, blijft ongeveer hetzelfde. Alleen je kwantussijzing betekent dat die in plaats van bijvoorbeeld een 18 bit of een 8 bit, bijvoorbeeld 4-bit wordt, dan ga je gewoon kennis eigenlijk gedeeltelijk weghalen. En dat kan je slim doen, maar als je het vergelijkt met de mensen, hebben ze ook heel veel onderzoeken nagedaan, wat voor stukjes hersen je kan weghalen en de mens blijft nog goed functioneren. Dat doen ze ook met een AI. Dus welke delen zijn bijvoorbeeld minder belangrijk of kunnen er weggehaald worden? Maar daarom ga je wel verlies van kennis of verlies van kwaliteit hebben.

Cas Burggraaf:
[1:13:38] Dat is voor ons als bedrijf, hebben we er ook al goed naar gekeken. Maar waar we bijvoorbeeld ook achter zijn gekomen, dat de populaire quantisizing van bepaalde modellen het multilanguage gedeelte ook best wel aan kan tasten. Dat is bijvoorbeeld voor quanticizers, dus bedrijven die dat doen. Bijvoorbeeld in Amerika, die vinden het minder belangrijk dat die Nederlands bij spreken. Maar ja, wij hebben best wel grote use-base in Nederland. Ja, dat is natuurlijk voor ons, kunnen we dat niet doen? Omdat het dan gewoon ten koste gaat van de gebruikerservaring voor hen.

Randal Peelen:
[1:14:05] Ja, wat ik heb gemerkt, is dat als je, zeg maar, het heet quantizer, maar ik zie het in mijn hoofd een beetje voor me Als een vorm van compressie eigenlijk.

Cas Burggraaf:
[1:14:14] Dus wel vaak. Ook wel. Bij grote neer is het wel gewoon ook weghalen van.

Randal Peelen:
[1:14:20] Ja dus. Als ik een model draai. Dat eigenlijk hetzelfde model is. Maar dan bijvoorbeeld maar 2 bit. Dat die gewoon meer foutjes. Begin te maken. En dat zijn best wel random foutjes. Zoals. Ik weet dat als ik in een heel goed AI model. Tien keer dezelfde vraag stel. Dan krijg je dat, dat noemen ze dan non-deterministisch. Dus er is elke keer een ander antwoord. Maar het antwoord is wel altijd goed. Het is wel altijd de kloppende volzin. Zoals ik zo'n Q2 model heet dat dan. Dus dat is Kwanzai tot 2 bit. Tien keer dezelfde vraag stel. Dan kan het best zijn dat die vijf keer echt wel uitstekend antwoord. Maar dan ook vijf keer echt slecht.

Cas Burggraaf:
[1:15:03] Het is ook een beetje als een auto. Als je er allemaal onderdeeltjes uit gaat halen. Op een gegeven moment is die misschien lichter en kan die sneller gaan. Maar de kans dat die uitvalt is natuurlijk ook wel groot aanwezig.

Randal Peelen:
[1:15:12] Dus eigenlijk is een model heel kort uit de bocht. Hoe meer parameters, hoe beter.

Cas Burggraaf:
[1:15:17] Het ligt aan of het erop getraind wordt. Je hebt bijvoorbeeld ook modellen die op een lagere bit worden getraind. En dan heb je natuurlijk native quanticizing. Daarin kan je dan wel weer voordelen hebben.

Randal Peelen:
[1:15:29] Ik kan het nu al niet meer volgen.

Cas Burggraaf:
[1:15:31] Dan mis je nog het derde niveau. Je hebt quanticizing, maar je hebt bijvoorbeeld ook distillation. En daar heb je het al eerder net eigenlijk over gehad. Zodat je misschien wist hoe het heette. En distilt betekent eigenlijk dat je een model gaat trainen op output van een ander model. En dat wordt ook nog wel gedaan.

Randal Peelen:
[1:15:48] Ja, dus ik heb op een gegeven moment een model gevonden op Hugging Face. Dat is begonnen als QAN 3.5. Dan hebben ze het vervolgens quanticized naar 4 bit. En het was een MOE versie van een model. en die hadden ze dan met Opus data en reasoning trains nog eens distilled. Dus dat had zo'n lange naam, dat model. En ik merkte wel dat het was niet veelzijdig.

Cas Burggraaf:
[1:16:21] Er zijn ook wel veel hobbyisten die dat aan doen zijn.

Randal Peelen:
[1:16:23] Op een gegeven moment kon het heel goed en de rest was het echt trash geworden. Ik vraag me af of ik dit ooit kan snappen. Want ik zie quant size als ik maak het slimmer klein. Ik zie een MOE-model op een slimmere manier klein. Maar dat is eigenlijk een soort weerwaar van manieren om een model slimmer in een kleinere videokaart te kunnen laten passen.

Cas Burggraaf:
[1:16:50] En voor ons heeft het natuurlijk ook wel weer voordelen. Als het natuurlijk een kleine model die ook energiezuiniger kan zijn, maar wel de kwaliteit kan leveren. Dan is hij ook weer een stukje groener. Dus het is niet alleen om te zorgen dat het op jouw kleinere videokaart kan. Het kan ook natuurlijk wel ook gewoon. Ja. Andere redenen hebben. En bijvoorbeeld Antropico doet het nu op dit moment. Ja. Gaan de geruchten laten daar in ieder geval op houden. Want ze zeggen het niet officieel zelf. Maar dat ze quanticise modellen inzetten. Op het moment dat ze hogere load hebben. Dan vinden ze meer aan.

Randal Peelen:
[1:17:18] Kan ik me wel wat bij voorstellen.

Cas Burggraaf:
[1:17:19] Dan gaat de kwaliteit wel naar beneden.

Randal Peelen:
[1:17:21] Ja. Nou wat ik in ieder geval heb geleerd. In mijn onderzoekjes is. Dus ik dacht ik heb een grote videokaart en ik heb een kleine videokaart. Die kleine videokaart is wat minder snel. Maar als ik daar nou een heel klein modelletje in laat. Dan heb ik gewoon een groot model en een klein model op mijn server. En die kan ik allebei gebruiken. Kleine model op de kleinere videokaart is dus sneller. Nou dat is dus niet waar. Het gaat er gewoon om de processor in die grote kaart is sneller. Dus geeft hij gewoon een sneller antwoord. Tenzij wat ik in dat VRAM probeer te stoppen gewoon niet past. En dat hij het op een gegeven moment in het gewone RAM moet zetten. Ja, dan forget it. Dan zakt alles door zijn hoeve. En dan wordt het gewoon traag als stront. Het antwoord komt uiteindelijk wel. Vond ik al indrukwekkend. Maar het is net zoals dat jouw computer op een gegeven moment aan het swappen is. Uit het werkgeheug. Ja, dan keldert je je performance gewoon van... Maar ik vond wel...

Cas Burggraaf:
[1:18:12] Je kan wel andere dingen weer in je swap zetten waar je door wel weer sneller kan zijn. Dus je bijvoorbeeld wil gaan spelen met je kv-cache of loaden naar je RAM.

Randal Peelen:
[1:18:20] Je context windows.

Cas Burggraaf:
[1:18:22] Je context window, maar ook je cache daarin. Want het is een AI, je kan eigenlijk niks onthouden. Het heeft geen geheugen. Dus elke keer als jij een nieuwe prompt stuurt, dan moet je eigenlijk alles weer terug meesturen wat je daarvoor hebt gezegd. Dat is wel een bedoel.

Jurian Ubachs:
[1:18:36] Dat is natuurlijk geen context aan het houden.

Randal Peelen:
[1:18:38] Ja, dat klopt.

Cas Burggraaf:
[1:18:38] Ja, maar dat zou wel heel energieonzuinig zijn en ook heel veel heel traag zijn op het moment dat je alles weer opnieuw moet gaan parsen. Dus wat je daarin kan doen, je kan een bepaalde cache daarin zetten. En aan die cache kan je wel wat meer offloaden, dan is het misschien ietsjes trager, maar dan kom je nog steeds wel sneller tot je antwoord kom je.

Randal Peelen:
[1:18:56] Ja, dus een belangrijk voorbeeld daarvan is wat men noemt het system prompt.

Cas Burggraaf:
[1:19:00] Ja, bijvoorbeeld. Ja, dat is dan pre-chunk caching, dat is dan weer een ander iets. Maar caching in het algemeen is gewoon wel belangrijk. En daarin kan je meerdere trucjes doen. En dan gaan we misschien wel heel nerd of gaan we misschien wel wat dieper in de materie. Maar dan kan je wel verschillende manieren doen. Wat je kan doen is je die cache heel snel wil houden. Dan haal je hem in je RAM. In de genade daarvan is als wij omhoog gaan qua load. En we hebben meerdere servers nodig. Wat ga je dan doen? Ga je dan routen naar bepaalde GPU toe. Waar je van weet dat die daarin zit. Want je kan gewoon onthouden naar welke GPU je het hebt gestuurd. Of ga je een systeem opbouwen waar je die cache gaat delen. Bijvoorbeeld op een shared volume. Waar je dan wel natuurlijk trager gaat worden in je compute of in je data.

Randal Peelen:
[1:19:51] Het wordt natuurlijk wel weer lastiger naarmate je meer gebruikers hebt.

Cas Burggraaf:
[1:19:54] Dus daar moeten we wel goed over nadenken. En dat is veel benchmarking en dat is veel dingen proberen. En ook elk dingetje dat je er weer bij zet. dat er ook wel weer voor zorgen dat ook je stabiliteit moet je ook wel waarborgen.

Randal Peelen:
[1:20:08] Ik vind het in ieder geval een leuke hobby voor de mensen die denken, nou, ik wil hier wel eens mee spelen. Dan zou ik je van harte uitnodigen in het kanaal AI bij ons op de Minutes om tafelslek. Want er zitten een aantal figuren die dus de hele tijd bezig zijn met dit soort dingen. Ik ben er een van. Wat ik wel heel grappig vind, je kent die meme van Thanos die zegt, I use the stones to destroy the stones. Dan heeft hij het over die Infinity Stones.

Jurian Ubachs:
[1:20:36] What did it cost?

Randal Peelen:
[1:20:37] Ja.

Jurian Ubachs:
[1:20:37] Everything.

Randal Peelen:
[1:20:38] En ik heb soms het gevoel van, I use the AI to build the AI. Want ik ga op mijn server en dan zeg ik tegen Cloud Code, laat even dat andere model in. Wat is het grootste model dat in dit VRAM past? Hoe zou je het aanbevelen dat ik die context windows... En wat als ik die videokaart had, wat kon ik dan erin? Heeft hij allemaal een heel mooi antwoord op. En zelfs dan...

Cas Burggraaf:
[1:20:59] Hij heeft altijd een antwoord. Het antwoord is natuurlijk weer een andere vraag.

Randal Peelen:
[1:21:03] Ik heb wel gemerkt dat zeg maar voorspellen deze deze context windows dat en dat model op die en die videokaart je moet het model echt laden en het echt gaan gebruiken om echt te zien hoeveel gig gebruikte nou echt want je kunt het in ieder geval wat.

Cas Burggraaf:
[1:21:23] Al berekenen hoor.

Randal Peelen:
[1:21:23] En dat kun jij waarschijnlijk beter dan ik dan want ik voor mij zit wel gewoon net zolang net iets groter model inladen tot je zegt het past niet meer en dan stop ik een keer.

Cas Burggraaf:
[1:21:33] Het is voor jou meer interessant om te gaan kijken van als jij meerdere modellen wil gaan draaien.

Randal Peelen:
[1:21:37] Ik wil één model draaien en ik heb meerdere mensen die die server gebruiken. Dus we hebben ook huurders met virtuele servers daarop. En die hebben allemaal toegang tot dat model. Ik wil gewoon dat dat ene model zo betrouwbaar en goed mogelijk draait. Als haalbaar is binnen die parameters. En dat vind ik wel heel leuk. En dan gaat het er wel om wat is het beste model dat we kunnen draaien. Want als meerdere mensen meerdere modellen gebruiken, dan moet je de hele tijd ontladen en beladen.

Cas Burggraaf:
[1:22:09] Of je zit ze naast elkaar.

Randal Peelen:
[1:22:11] Ja, maar dan heb je niet twee hele goede modellen. Dan heb je twee meh-modellen. Ik wil gewoon één heel goed model.

Cas Burggraaf:
[1:22:17] Ik denk eigenlijk dat we daar wel meer naartoe gaan. Naar semantic routing bijvoorbeeld. Dat je meerdere modellen gaat hebben. Dus die intent gaat bepalen. En dat die bepaalde vragen gaat afhalen naar andere modellen. Daar zijn wij ook druk mee bezig om dat voor elkaar te krijgen. Dat is ook al zonde om eigenlijk een simpele vraag. Of iemand zegt, hoi, hoe is het? Nou, dat gaan we naar het grote model neerzetten. Of ga je dat naar een kleine model die gewoon terug kan sturen? Ja, goed, en met jou?

Randal Peelen:
[1:22:44] Maar fuck, zit je me toch weer aan het denken. Nou, dit konijnenhol is heel diep. Ik denk dat we dat over kunnen laten aan verstandige mensen in andere podcasts. Of YouTube kanalen. Of inderdaad bij ons op de Nerds op tafel. Lekker dat wij naar de bonus aflevering toe gaan bewegen. Dankjewel Cas.

Cas Burggraaf:
[1:23:00] Leuk.

Randal Peelen:
[1:23:01] Tot zover deze aflevering van Met Nerds om tafel. En Met Nerds om tafel is een podcast door Jurrian Ubachs en mij. Randall Peelen en onze panelleders. En Annelies Verhels, Ruud Sanders en Sander Beideveld. We worden binnenkort, misschien zelfs volgende week. Maar dat weet ik nog niet zeker. Niet van de week daarna. Weer geëdited door Maart van Hoerkom.

Jurian Ubachs:
[1:23:16] Wow, is hij nu al terug van vakantie?

Randal Peelen:
[1:23:18] Van zijn tien weken vakantie.

Jurian Ubachs:
[1:23:20] Dertig weken een vurende vakantie.

Randal Peelen:
[1:23:22] Ver mogelijk hier vandaan. Kan ik je wel vertellen.

Jurian Ubachs:
[1:23:25] Dan komt hij niet meer terug.

Randal Peelen:
[1:23:26] Ja, je weet het nooit. Of misschien hebben we tegen die tijd al een wereldoorlog. En is de AI de boel aan het overnemen.

Jurian Ubachs:
[1:23:33] Of misschien kan Claude tegenwoordig editen.

Randal Peelen:
[1:23:35] Ja, dat zou ook leuk zijn. Dat wordt tijd ook, vind ik. Het duurt lang.

Jurian Ubachs:
[1:23:40] Welke tijd? Green PT.

Randal Peelen:
[1:23:42] Onze gastneur van vandaag, Cas Burgraaf. Cas, wat leuk dat je hier wilde zijn.

Cas Burggraaf:
[1:23:47] Dankjewel.

Randal Peelen:
[1:23:48] Waar kunnen mensen meer over jou en Green PT te weten komen?

Cas Burggraaf:
[1:23:51] Ik denk op onze website, op LinkedIn, kan je het meeste vinden.

Randal Peelen:
[1:23:55] Ik had een probleem... Toen ik het voor het eerst in de appstore intypte. Dat ik Green GPT typte. Totdat ik snapte. Wacht even GPT. De G van Green. Green PT. Dus nu weet ik het. Maar ik ben benieuwd. Of dat je ook het domein Green GPT alvast geregistreerd hebt voor de mensen.

Cas Burggraaf:
[1:24:17] Geloof ik is die van iemand anders. Maar is die niet in gebruik. Maar wij dachten ook van die gaan we proberen niet te trademarken. Omdat we wel bang waren dat de open air op ons af zou komen.

Randal Peelen:
[1:24:30] Dat moet je niet hebben. Meer informatie over ons staat op onze website. Dat is mnot.nl. Je kunt ook onze Slack joinen. Dan gingen meer dan 2600 charmante, capabele en gezellige nerds je voor. Je kunt ook vragen stellen aan de volgende gastnerds in het kanaal Vraag van de Luisteraar. Je kunt ook vriend van de show worden. Dan krijg je toegang tot het clubhuis, meet-up, stickers en bierfiltjes. Dat krijg je door je brievenbus. Je luistert zonder reclame eerder dan de rest. En elke week met de pracht van een bonusafleiding. Dat voor drie euro openbaar mensen, dat is niks. Dus dan geef. We hebben nog niet eens een Green PT abonnementje voor. Die kost vijf euro. Voor nu hartelijk dank voor het luisteren. Tot de volgende keer.