438 – Google AI Mode: een exclusief kijkje onder de motorkap

Randal Peelen:
[0:12] Welkom bij Met Nerds om tafel. We praten vandaag met Arnoud Bokker. En met mij, Randal Peelen. Maar dat is even wellen, lieve luisteraars. Het is een extra opname en je hoort niet Jörg, maar Arnoud.

Arnoud Wokke:
[0:23] Ja.

Randal Peelen:
[0:23] Hoe kan dat, Arnoud?

Arnoud Wokke:
[0:25] Ja, ik zit hier en Jörg niet.

Randal Peelen:
[0:27] Nou, zo simpel kan het zijn. Nou, eerste vraag beantwoord. Nee, we hebben een speciale aflevering, want wij werden namelijk gevraagd, niet zomaar door een bedrijf, maar door Google. En Google die vroeg aan ons, willen jullie een gastnerd interview? Die heet Robbie Stijn. Nou ga ik ervan uit dat het dan Amerikaans is en dus Steen is. Robbie Stijn. Maar als ik het zo als Nederland geschreven zie worden, Robbie Stijn.

Arnoud Wokke:
[0:52] Yo, Robbie Stijn.

Randal Peelen:
[0:53] Yo, yo. En hij is de vice president van producten binnen Google Search. Dus je hebt in de VS altijd hele mooie titels. VP, daarmee vice president. Van producten. binnen de categorie Google Search. Dus waarschijnlijk is het hoe langer de titel, hoe specifieker je vak. Maar het is toch een VP.

Arnoud Wokke:
[1:13] Het is een VP.

Randal Peelen:
[1:13] Dat we zo meteen aan de lijn hebben. En hij gaat inbellen met ons, want ze hebben iets aan te kondigen. Vandaag, op het moment dat deze aflevering uitkomt, wordt namelijk Google AI Mode naar de Benelux gebracht. Nou Arnoud, jij bent als doorgewindende journalist waarschijnlijk al beter op de hoogte wat Google hier precies mee gaat doen.

Arnoud Wokke:
[1:31] Ja, dat denk ik wel. Het is een tabblad wat naast de gewone zoekbalk verschijnt. Of naast de gewone search. En daarin kan je dus AI voor je laten zoeken. En die gaat dan allemaal websites voor je afzoeken, zoektermen ingeven. En dat allemaal samenvatten tot één coherent antwoord. Wat hopelijk dan ook nog een beetje correct is en waar je wat aan hebt.

Randal Peelen:
[1:52] Precies. Dus een aantal dingen waar we op in moeten zoomen is in ieder geval. Hoe werkt dat dan technisch? Want ze hebben al wel verteld dat het met een custom Gemini 2.5 model werkt. Oftewel waarschijnlijk wat toegesplitst op snelheid. En het gebruik van de hele index van de Google Search database natuurlijk. Die is huge.

Arnoud Wokke:
[2:08] Die is groot.

Randal Peelen:
[2:09] Die ga je niet zomaar 1, 2, 3 even door. En dat ze de vraag op de achtergrond breakdownen in heel veel sub-vraagjes. En dan daarvan de antwoorden weer aggregeren. Dus het zit technisch best wel slim in elkaar. Nou daar vertrouw ik Google op zich nog wel mee. Maar we hebben net ook een... Q&A eigenlijk, een soort praatje bijgewoond voor journalisten. En daarin werden toch wel wat cynische vragen gesteld, vond ik ook.

Arnoud Wokke:
[2:34] Niet alleen kritisch, maar ook echt cynisch. Ja, en er komt zo heel veel journalisten van Europese media. Die hebben hun bezoekersaantallen afgelopen maanden zien dalen door de AI overviews. Dat is net iets anders, maar dat zijn die dingen die bovenaan je zoekresultaat verschijnen. Als Google denkt dat AI je vraag goed kan beantwoorden, dan krijgen ze een AI overview. En dat heeft toch kennelijk best wat gevolgen voor heel veel Europese media. Dus die hadden duidelijk in sommige gevallen wel een appeltje te schillen met mensen van Google. Dat was wel heel duidelijk.

Randal Peelen:
[3:03] Die vragen logen er niet om. Maar ik snap het wel, want het is ook terecht. Kijk, wat ik heel opvallend vind, is Google heeft natuurlijk jarenlang bovenop de apenrots gezeten met hun zoekmachine. Maar ja, dat was ook wel de beste zoekmachine. Dat was niet echt concurrentie. Iedereen wist, als je echt iets wil vinden, dan kun je heel goed bij Google terecht. Die zoekresultaten, daar kreeg je op een gegeven moment als SEO. Websites gingen zich beter voordoen of in ieder geval rekening houden met Google, zodat ze daar hoger kwamen. Daar kreeg je eigenlijk al een beetje wat ze noemen clickbait. Een beetje van die slop websites die geschreven zijn op zo'n manier dat Google ze indexeert. Later kreeg je ook nog eens dat fenomeen Google News. Dus dat ze dat nieuws dat jij soms schrijft voor je werk alvast naar die resultaten toe zouden trekken. Zodat ik hoef niet per se als bezoeker meer te klikken. Want ik zie de headline, ik zie de eerst alleen, ik weet wel even genoeg. Dat kost al bezoekers.

Arnoud Wokke:
[3:52] En toen kwamen er ook antwoorden bovenaan het zoekresultaat. Gewoon als je feitelijke vragen stelt. Wie is de minister-president van Nederland?

Randal Peelen:
[3:58] Een Wikipedia-achtige resultaat kreeg je dan. Maar nu vind ik het wel bijzonder. Want ze hadden die AI-overview. Nou, die snapte ik ook nog net wel. Daar dacht ik als gebruiker. Oké, ik begin steeds meer dingen in ChatGPT in te typen. Dus als ik het nu in Google intyp. En daar komt ook al een soort ChatGPT-achtig samengevat antwoord. Dan begrijp ik als gebruiker dat ik dit wil.

Arnoud Wokke:
[4:18] Ja.

Randal Peelen:
[4:19] Dus het is lastig voor mij om te begrijpen. Want AI-mode zit daar dan weer tussenin. Je kunt naar het full-blown Google Gemini gaan. En dan kun je heel prompt schrijven met een nog diepgaande onderzoek. Dan je hier al kan doen. Maar dan moet je een beetje weten wat je doet. En mensen gaan daar niet echt heen als bestemming. Maar je hebt vervolgens die Google-zoekresultaten. We kregen net tijdens die presentatie te horen. Dat eigenlijk mensen sinds dat AI-mode werkt. Want het werkt al in de VS. Het komt vandaag dan naar Nederland. En de Benelux. En meer landen in de EU. En dat je mensen dan twee tot drie keer langere vragen in type. Althans, dat ziet Google dus. Ik vind dat wel interessant.

Arnoud Wokke:
[4:58] Ja, ik vind dat wel logisch ook wel.

Randal Peelen:
[5:00] Ik merk het aan mezelf ook. Wat ik al zei, als ik gewoon in Chapter GPT zit of in Gemini het grote model, dan begin ik heel specifiek te prompten. Ik heb mezelf dat een beetje aangeleerd. Ik wil ongeveer dit resultaat. Ik wil dat je ongeveer zo te werk gaat. Maar dat AI-mode is dus eigenlijk de tussenvorm tussen zoeken op het web en zelf je heel lang op rond schrijven. Zo interpreteer ik het eigenlijk.

Arnoud Wokke:
[5:22] En het is sowieso wel een strategie van al die bedrijven, ook van Google, om AI op zoveel mogelijk plekken aan te bieden en dan maar te kijken waar het werkt, waar mensen het echt gaan gebruiken.

Randal Peelen:
[5:30] Voordat de concurrent het doet ook.

Arnoud Wokke:
[5:31] Voordat de concurrent het doet.

Randal Peelen:
[5:33] Er zijn twee dingen waar ik zometeen in het gesprek op wil gaan letten. Het ene is AI-modellen hallucineren soms. Daar zullen ze iets op moeten vinden. Daar zijn ze ook druk mee bezig. Het andere is, ze zetten natuurlijk het verdienmodel van nieuwssites onder druk.

Arnoud Wokke:
[5:50] Niet alleen nieuwssites, maar eigenlijk alle sites.

Randal Peelen:
[5:52] Alle sites, maar ook dat van zichzelf. Want bij zoekresultaten ben je gewend, daar staan advertenties boven op onder links en rechts. Maar bij AI-mode is het ook nog maar de vraag of de advertenties komen en hoe dat er dan uit zal gaan zien. Dat zijn dingen waar ik zo meteen wel naar ga vragen.

Arnoud Wokke:
[6:08] Dat lijkt me een heel goede vraag. En we hebben nog veel meer vragen.

Randal Peelen:
[6:11] We hebben nog veel meer vragen en we hebben niet veel tijd. Daarom hebben we dit praatje alvast van tevoren. Dan kun jij als luisteraar zo meteen gaan genieten van ons gesprek met Robbie Stijn.

Randal Peelen:
[6:20] Misschien is dat een goede opening.

Arnoud Wokke:
[6:22] Hoe spreek ik die naam uit?

Randal Peelen:
[6:28] So, Robbie, thanks for joining us. All the way from the United States, I believe.

Robby Stein:
[6:34] Yes, thanks for having me.

Randal Peelen:
[6:35] We already told our listeners that you have a really Dutch-sounding last name. So we called you Robby Stein just now. But if I'm not mistaken, you should be Robby Stein.

Robby Stein:
[6:47] You got it. Nailed it.

Randal Peelen:
[6:49] Well, thanks for joining us. First of all, we've just seen an introduction to AI mode from Google. Can you quickly summarize for us what AI Mode is and what our listeners can do with it?

Robby Stein:
[7:05] Yeah, so AI Mode is a new way to ask questions of Google and really ask anything top of mind and get an AI-powered response with the ability to ask follow-up questions and have a natural conversation. And AI Mode is designed to understand Google's knowledge and real-time information that comes into Google through everything from finance, sports, places, shopping, en ook de context en de ondersteunie van de web in order te constructen deze responses te zijn als helft als possible. En dat is nu, dit week, om de rest van de wereld te zijn, including almost everywhere in Europe. There's about 38 new languages en 50 new countries en territories.

Randal Peelen:
[7:47] Ja, so het is eigenlijk different from doing an actual Google search because we were familiar with the AI overview feature already.

Robby Stein:
[7:57] Ja, het is anders dan een traditional Google search. Maar wat gebeurt is dat als je een AI Mode vraagt, het eigenlijk denkt van Google queries om te run. En als een tool, het is misschien een dozen, misschien twee dozen, misschien meer vragen en Google searches onder de hoogte. En dan een van de ze pullen information in dat kan worden gebruikt om te constructen dit response. En zo is het echt een frontier model en technologie voor staat-of-de-art search questions. Maar het is in de integratie en is available in de core experiences as wel. Wat mensen zullen zien is dat AI Overviews echt is een quick overview op de top van de search page. Als je klik onderdeel het, er is een opportunity te gaan in de AI-mode. En dan kun je vragen op vragen en terugkomen. Je kunt ook naar AI-mode klik op de tab die in de search page shows. Of de short-cut buttons in de apps across de Google system.

Randal Peelen:
[8:55] Is there a specific way that you think about these kinds of new features? Because from my point of view, I've been using ChatGPT for a couple of years now. And Gemini can do the same. It's where I type in a pretty long prompt. I'm telling it what I want to search for, how it should go about it. And then actually how I want the information to be presented to me. But this seems to me like a dress-down version of that. in terms of making it more accessible and easier to use for more people? Or do you think of this like an enhanced form of your normal everyday Google search query? Because you could see it as a bit of both of those things. Yeah.

Robby Stein:
[9:38] I mean, our goal is for you to be able to just ask whatever's on your mind right

Robby Stein:
[9:41] into the Google search box. And so if you wanted to write, you know, four or five sentences, I'm going on a trip and I have these friends and one of them has an allergy and one has a kid, Wat is een accessible ding dat we could all go to? You could put all that into Google. And so in the same way that people expect to talk to AI, you can talk to Google that way. And that's a key goal. But also it's what we've seen is through AI overviews, people are asking these kinds of questions with increasing complexity. And now with AI mode, you can go deeper and have this back and forth. Because many of the hardest questions, they kind of require this back and forth where you're planning, you're trying to make a hard decision, you're trying to get advice, you're trying to deal with something, Je hebt een issue, en dan je bent, dat niet werkt. Ik zie dit dit, ik zie dit dit, ik zie het op nu op mijn device. En dan je wilt de AI het blijft gaan met je. Dat is nu mogelijk met AI mode.

Arnoud Wokke:
[10:30] Ja, hoe do you see people in the U.S. die alerde kan use AI mode? Hoe do you see them using AI mode? Wat zijn de verschillende Europese en American users nu? Want ze hebben AI mode?

Robby Stein:
[10:44] Ja, ik denk dat de belangrijkste is dat mensen zijn increasingly langer en meer complicated questions. En in AI mode we zien, het could be drie, vier times de query, de word count, de length, query length. Omdat people are asking these more natural language, very specific questions, with increasing intensity. And so I think that's the main one. And then also people, because AI Mode allows for follow-ups, we're seeing a larger percentage of people that are actually having a back and forth with Google now, which is a different way to use search. But it's still, relative to other AI out there in the world, hopefully the most informative, most knowledgeable AI dat is uit daar, want het is plug in to all of Google's knowledge en context of the web. So it is really designed for informational tasks versus maybe the more creative things that are like, hey design me a new flyer for my business. We are not focused on that use case, we are really focused on these informational needs that people use in Google.

Robby Stein:
[11:46] Shopping, planning, travel, restaurants, understanding hard concepts or learning, educational questions, these are all things that en people come to Google every day and we see in AI overviews people trying to actually get even more complexity and deeper questions out of Google and now this hopefully allows an opportunity to do that.

Randal Peelen:
[12:05] But is it already possible to dive straight into AI mode? Because I think if you start putting in a query on the actual front page of Google then I still have to make one more click and activate AI mode, isn't it?

Robby Stein:
[12:21] Yes. So we are seeing you can go right to AI mode je kunt op google.com slash AI je ook er is een shortcut buttons in de mobile apps on Android, Chrome, recently er is een easy way er is een nieuw release we did waar in Chrome je kan start typing je query in de Omnibox in de main search box, en dan er is een little button dat je je naar AI mode en wat we zien is power users people who understand hoe die systems work more, dat ze er genoeg de mogelijkheid om te gaan naar AI-mode voor veel van deze harde questions dat ze hebben.

Arnoud Wokke:
[12:57] Is this the future of search?

Robby Stein:
[12:59] It's really a companion. I think if you think about search needs, I think what people don't appreciate as much, and I certainly didn't until spending much more time, working on search, is there's just an enormous degree of diversity and complexity in how people use the product every day. So it's everyone who needs to pay taxes and find a specific form, so they're trying to start a business and they want to look up a specific rule. And it's to someone who's trying to go to just like a restaurant page opgegege te geten het menu. En in many of these cases, AI is niet particularly helpful. In fact, het is slower. In het einde van het stockprijs, put het stockprijs in, en in milliseconds geten met de informatie. En dan kun je het met de AI, en dan de AI is thinking, working, looking het up. En dan, later, geten de exact informatie. Dat is de reden AI Overviews niet zo op voor een paar pages, omdat het system has learned is not actually helpful in many contexts. But what we find is that for the really hard question, hey, compare these two stock prices over time and what the trends have been and what are the main launches that each company has had over the last six months. Now that's a question that's great for AI. And you can put that right into search, right into AI mode and get really helpful information now.

Randal Peelen:
[14:16] Yeah, so like I mentioned before, I'm actually quite getting the hang of de way I have to construct a prompt for an AI to do exactly what I want but I'm expecting AI mode from Google to be a bit more entry level, capable of understanding what I'm looking for can you tell us how you trained, because there's a custom Gemini 2.5 model involved in AI mode I believe, what kind of stuff did you have to teach that model to be better at understanding my query en breaking het op in two different kind of searches?

Robby Stein:
[14:54] Ja, so de eerste ding is, je kunt eigenlijk asken anything. Dus ik wil je vragen, een van de hele langen questions, waar je zeggen, hey, make een table comparing deze bed met softness, price, en wat, je kunt dat. Maar voor veel mensen over de wereld, they may eigenlijk hebben geen idee hoe te doen dat. Ze zijn gewoon te compare, je bent, wat beden zou ik beden zou ik beden? En dan we willen de model to be able to give dat table, right? We denk dat dat een particularly helpful thing voor iemand. En zo er zijn een paar dingen we hebben gedaan, I think uniquely with this model, It's based on the foundation of Gemini, Models But it is custom to search as you said And I think one thing is that It really understands how to use Google search As a tool, so when you ask a question It's actually initiating under the hood.

Robby Stein:
[15:35] We call it fan-out queries, fan-out technique. So if you're looking for restaurants outside for your friends, like that example where you're booking some trip, it might break that up into dozens of other questions that it's starting to Google search, basically. And then it's going to bring back everything from local information that could show up in Google directly to websites, reviews, all kinds of things that come back to the model. And now the model has to construct a response that's extra helpful. En het gaat om wat het te zeggen en proberen links en opportunities te show het werk in dat proces as wel. En dat is iets anders dat is, ik denk, unique to wat we doen. Particularly voor, obviously, people come to Google to connect to the web, to see information directly, and to go verify, see diversity of perspectives, all of dat. Dat is super important to users in our design principle. Dus je kunt altijd klik op websites, gaan we deeper, zien informatie voor jezelf uit het experienceen. Dat model heeft een bepaalde om te linken op external websites en te inserten andere content waar het denkt dat dat wil beheelpeful voor je.

Arnoud Wokke:
[16:44] En hoe doe je halucinations? Want AI models tend to hallucinate. En hoe doe ik, als een user, know, of the information presented to me is correct or not.

Robby Stein:
[16:55] Yeah i mean in general ai is a new technology and with new technologies takes time to mature um and like all ai ai makes mistakes and this is no no difference you know no different i think what we see is that the you know the propensity to make what we call like a violating mistake that actually is like a problem in our minds um is is is very small um overall it's like one in millions kind of level of small um but it does come up um and i do We do think that, you know, we good news is because it's a model and an AI system for Google search, it's built on top of all of these quality systems and signals that have been existing for 20 plus years. So, for example, if there's a website out there that has weird information that people don't trust or they've through the through the process of Googling, we have the signal that maybe that's even a spam website that's trying to get traffic in ways that's weird and misleading. We have information about that web page. And so that information presumably wouldn't be used in the context of this AI response. It also has access to Google's real-time info. So it looks up stock quotes, for instance, from Google Finance. So if you ask us to compare stocks, it's doing a tool call to find this high-quality live info feed of stocks.

Robby Stein:
[18:09] Same for products, locations. So all of those things hopefully make the model as high-quality as possible there. Although, of course, you make mistakes. And then on the construction of the response, the model's been through the kind of reinforcement learning and other techniques.

Robby Stein:
[18:26] It really tries to back up its work for particularly sensitive categories. So, for example, health is one.

Robby Stein:
[18:35] And you will see it potentially even take longer, answer differently or provide replies differently in those kinds of sensitive categories, too. Dus er allemaal dingen dat we doen om te maken dat je de hoogste kvalitee response possible, geval de vraag. Dit is een continuere effort om te maken beter en beter every dag.

Arnoud Wokke:
[18:55] Yes, and there's a lot of reaction to AI overviews from, I don't know if it's in the rest of the world, but in Europe. And those websites report lower traffic because of AI overviews in the recent months. And they're afraid AI mode will make it worse. What do you say to them?

Robby Stein:
[19:15] Yeah, I'd say in general, the first thing to understand about Google is that there are billions and billions of clicks sent out to the web every single day for all the questions that I've been talking about. En we're not seeing that change. And there's really like this kind of long-term stability in that kind of system.

Robby Stein:
[19:32] Clearly people's preferences have been evolving over time, the kinds of sites they seek out, all of that is a part of it. But what we've seen is that AI is largely expansionary. So people are asking new questions, there's growth, there's new kinds of things you can get out of Google. And because of things like the query fan-out technique, hopefully there's more opportunities long-term for websites to rank and show up in the way that AI presents the response. I mentioned that the AI's been taught to link out to websites, to provide, like let's say you're trying to compare all of these things. And that's a hard question to ask in Google today. That would be a net new thing now for Google. Then there's all of these opportunities to then go deeper, read a review, see what this person said, see what this other website said. They actually wrote about two of the four products that you're talking about. Maybe it's not all on one webpage, but part of it is, right? Like you can now get that kind of access to the information. So I think that's kind of the long-term belief is that AI should be a very powerful discovery engine because you can ask literally anything. You potentially have all this growth. Like we're seeing 70% increase year over year in searches that have visual. So they're using camera, for example, to ask questions about, take a picture of your shoes. I want more shoes like this. Take a picture of a plant. How do I care for this plant? It's dying. These are all new questions. So every new question is an opportunity for growth. And I think long-term, that's the opportunity.

Robby Stein:
[20:50] En ik denk dat de ander ding dat we're observing is People's behavior is just changing En zo people expect, because of all of the AI that's out there To get some context up front En dan to go deeper En by doing dat, we're finding they're actually Staying on webpages longer They're better customers of those webpages and websites Because they have more information Versus, sure, maybe, You could get a click and bounce around But it's not really a high quality Click in any way En zo we're really trying to focus on sending really high quality people to various websites as they need them.

Randal Peelen:
[21:29] Ja, dus wat ik veel rond me zie is dat mensen heel erg verwaardig is dat mensen heel erg verwaardig is dat computers een source van truth zijn. Dus ze gebruiken een database om dat informatie te veranderen, en het is heel factuurlijk, heel erg accurate. Maar nu in de tijd van large-language models, ze zijn meer in de business van predikken wat de antwoord zou kunnen zijn, en niet echt checken het voor factual correctness. Het lijkt me dat met AI Mode, je probeert een beetje of beide. Dus je probeert de brengen tussen een large-language model dat heel goed is op te beden hoe de antwoord moet leren, maar dan ook de factuur informatie op de back-end ook, maar ook nog steeds gebruik om websites te doen. Dus informatie dat is uit de weg. I think there could be a very challenging case if there's information out there that's not rooted in reality, that's not factual, and having to balance counterpositions, that are also to be found on the web. Do you think there's still a way to go, or are these large language models already very capable of showing me these diverging maybe these are opinions or factual analysis Yeah.

Robby Stein:
[22:54] I think this is a really interesting kind of opportunity I think with AI, which is one, because Google has all of these Google search existed for a long time.

Robby Stein:
[23:05] Many questions, we actually we have factuality measures we study this closely and we try to provide the highest quality models for a given question Ik denk dat je wat je ziet is dat er wat meer obvious zijn. Zo is de prijs van een product correct. Je kunt op dat prijs, je kunt op dat website, je kunt zien of het is right of niet. Er zijn andere kinden van questions. Het is niet as obvious, eigenlijk, wat is factual in many cases. Google's never been in the position of trying to be actually a single source of truth. Actually, the view is that there's an opportunity to connect your information and that users need to ultimately have access to the best high-quality information and a diversity of viewpoints. Then they actually need to make the decision on what's correct and what's factual. The way you do that is through what Google Search offers you. When you search for certain things, the top websites are the ones that end up being the most trusted, relied-upon, highest-quality pieces of information for a given question. And that's encoded in the model's understanding of information. And so that, I think, allows Google Search and this AI experience to connect to the information that people have in the past relied on for a given question. Versus trying to out-of-nowhere reason about it from first principles, which may or may not be the right approach given the question. But it's a really nuanced space. It's something we take really seriously.

Robby Stein:
[24:28] And the opportunity, I think, is for the model to do a good job in saying, hey, here's where this information came from. I think when you see something from, let's say when a business closes in a day, it'll actually link to the Google page if that local business has a Google page and they keep their hours updated. You could go click on that, Go to the Google, like what will happen is the Google Place experience will come out, and you'll actually see that information yourself. And you're like, okay, great. If I drive over there, the place is going to be open, right? That's like a factuality question.

Randal Peelen:
[24:58] That's critical.

Robby Stein:
[25:00] And in other cases, it's not clear what a fact is. And it's basically, here's what people have said about this question, and here's links to go read about it. And you have to kind of think about what you want to believe in a specific area.

Arnoud Wokke:
[25:14] Ja, en er is een ander topic ik wil dus ook willen, want een veel mensen zijn worried over de environmental impact van AI. En nu je verantwoordelijk veel Google searchers naar AI, met AI Overviews en nu met AI Moud, even meer. Maar Google is ook een heel environmental-conscious company. Het is altijd over het carbon footprint en reduceren dat. Dus hoe combine je deze twee? Want het maakt veel energie om te vragen te vragen met AI te vragen.

Robby Stein:
[25:49] Ik denk dat de key is efficiëncy en ik denk wat is interessant is even if you look at it just van de user perspective, ik denk dat ik het alstublieft, het is eigenlijk niet helft om te gebruiken AI te answeren een heel groot class van questions dat mensen ask billions of times a day. Je kunt alstublieft all deze questions rond, even de closing time I mentioned, wat time een store closes, let's say, before you're about to go, you could have AI reason, go look all of that up and go figure that out. But actually it would take like a while versus like in milliseconds that's available to users. And so I think what you want to do is unlock increasing capacity as the user needs it. And that's actually in the best interest of the user because you're going to give the fastest, most efficient information for a given question.

Robby Stein:
[26:36] And I think that's why you don't see AI on every single page at Google, right? Like you see it where it adds marginal value to a question en waar er een opportunity voor de user te klik in te gaan deeper omdat ze zei of effectively voted en zei er niet in de informatie hier voor me ik moet meer, en dan kan ik eigenlijk goeieper in de AI mode en start asking deze follow-up questions en gaan back en forth omdat zei niet vinden wat zei want en zo hoogt er is een efficiënt er en ik denk dat de most efficiënt setup dat is best voor iedereen het is best voor de user het is best voor de machine gebruik en dat soort dingen en als een company Google cares deeply about dit question, en ik denk dat hij heeft veel reports op dit, op dit beperken, dat ik de experts on dat particular question. Maar ik denk dat van een user- en product-perspectief, er is een heleboel alignment daar in efficiën en in alleen gebruiken, kind of like using AI voor marginal, voor incremental value.

Randal Peelen:
[27:32] Am I correct dat AI Mode is somewhere in between the paid Gemini models and the usage of those models and Google Search, which has always been free? But now AI Mode also seems to be free for everybody, not only paid subscribers of the Gemini services. So what's the monetization of AI Mode going to be?

Robby Stein:
[28:00] Ja, AI Mode is free. En zoals Google Search, het is een core part van Google Search. En information we think needs to be available to everyone at any moment they need it all over the world. Every country, every language. That's the approach. And it's a big part of this rollout actually this week is becoming available and accessible to anyone in dozens more languages and dozens more countries and territories. So that's not changing. I think that what you'll see is a few things. One is we have announced that we're starting to run experiments with ads in AI. I think there's an opportunity for ads to be uniquely helpful given the context increase we see in AI surfaces. So when people ask a question, they typically add more information. So instead of just saying restaurants Nashville, they might say something like a restaurant in Nashville with someone with a shellfish allergy that's okay for dogs.

Robby Stein:
[28:50] And like, I've literally, I have like someone on our team who like has a dog and a very key aspect of where they eat is like where you can like en zijn er ook met je dog. En zo, je kunt doen al dat nu en denk ik nu de opportunity om te connecten mensen te informeren, te sponderen informeren. Dus deze experimenten is heel early, maar ik denk dat er een experimenten gebeurt er. En ik denk dat is een beperken dat zal zijn over een langer tijd. Maar hopefully, ik denk dat, mijn idee is dat dit is net valuable. Als je shoppje, je wilt weten over de beste deals. Je wilt weten over de beste restaurants, places to go. Je wilt weten over offers voor product, services en dingen die je nodig hebt voor je familie. En zo, als je kunt connecten met die heel erg closely naar je nodig hebt, het is een win-win. En dat is misschien een important piece van dit.

Arnoud Wokke:
[29:39] Will AI genereren ads?

Robby Stein:
[29:42] Ik denk we're in een experimental phase. By the way, alregen today AI generates ads. Je consider dat een aaltoe people are building. They provide components of hun assets en creatives into Google's ad systems. En er zijn verschillende permutations van de ad. Dat get created en tried on users. En door dat learning, dat alerde happens at scale. En ik denk dat je meer van dat over tijd. Maar ik denk in dezelfde manier dat, voor een user, je wilt geeft control. Je wilt er dan beantwoordelijk de transparantie in wat de system is doen. Je hebt er ook similar questions met advertisers en users, maar ik zou zeggen dat met dit launch en met anderen, en de ones I focus op, je hebt er echt gehoord op de consumer product hier. En echt om de mogelijkheden om te doen veel meer in Google Search te doen. En echt, als we kunnen doen dat, er is veel opportunity down de road om te geven

Robby Stein:
[30:39] users de full value van Google.

Arnoud Wokke:
[30:41] Maar ik denk dat in een paar jaar, als ik een antwerp van een antwerp van AI-mode en ik ben voor een dog-friendly restaurant en het zegt, ja, voor ik vertellen, ik heb je over dit nieuwe dogfood, die is awesome. Will dat happen?

Robby Stein:
[30:55] Ik denk dat de, van eerste principles, de best products zijn de de mensen die de eerst geten wat je nodig hebt. En als je niet doet dat, je niet zal het bewerking, je niet zal het bewerking, en de product van de vijfde. Ik denk dat je in Google vandaag is dat je dat informatie, maar dan je ook moet zien een special happy hour offer at een dog-friendly bar, je weet niet, dat is awesome, ik ga dan doen dat. Ik zou niet van dat plaats. En misschien dat plaats niet op in je search want je niet vraagt om bars of happy hours, Je was asking about brunches or restaurants or something. But it had some kind of related thing. And I think that's going to be actually really helpful for people.

Randal Peelen:
[31:41] So what I'm taking away from this conversation is that probably advertising is going to be some part of AI mode. You're already testing that out in the States. But we're probably not seeing that right now in Europe. Yeah. One thing that still puzzles me a bit, is if I were to upgrade to a paid Gemini subscription, I'm used to using the deep research features, for example, is it plausible that I'm going to use AI mode and doing prompts that would be best suited for a deep research prompt in the paid Gemini versions? Dat het gaat om me te upgrade to those paid subscriptions?

Robby Stein:
[32:32] Ja, so if you're an AI subscriber, actually, there's a similarity with Search where there's advanced features available to subscribers. One of those is actually Deep Search, which is built on top of Google Search that uses all of the search signals, information, web understanding that is mentioned to build you more. It spends more time thinking, reasoning, doing multi-step reasoning, and then constructing a longer response. which is really.

Randal Peelen:
[32:58] Expensive to do on your side.

Robby Stein:
[33:00] So that is a subscriber feature and is an example of similarity there so I do think what you will see is subscribers getting access to maybe the most advanced tools and probably maybe the first access to some of these that do have various constraints and then as those constraints get released or there's other innovation that happens more and more people can use them over time.

Randal Peelen:
[33:24] Okay so I want to be mindful of your time Die laatste vraag is dat de search feature met AI Mode could be conversational partner, dat je je verder en deeper into je subject hebt. Je hebt been using AI-mode. Has het ever really surprised you in the answers or the conversations that you've had? Do you have an example for us, perhaps?

Robby Stein:
[33:55] Ja, it surprises me all the time. I mean, especially the more that the model is using reasoning and understanding all of the different information at Google, the more that I'm impressed with what it does. So for example, I was actually looking at some beds-related stuff, actually, like pillows and bedding things. And I just asked a pretty basic question around some pillows I was looking at. And like, you know, pillows can be pretty expensive, so you kind of want to research that. And it automatically, I just asked about a specific brand, but it automatically constructed a table across all the products that that brand offered with different.

Robby Stein:
[34:38] Het had verschillende praten, hoe de pillow was constructed, de sizing was all easily put into this experience for me. I didn't even need to ask a really complicated question in order for it to do that. I just kind of learned it. Another example is we actually last week are starting to roll out in the US a visual version of AI mode that allows you to AI mode to use visual responses. Dus het is niet limited in using text. En een van de hele coolen dingen is, is het de AI kan leren wat de format dat best meets de persoon's expectation. Let's say je voor shoes. Het is een beetje weird voor de model te describe shoes to je in ten. Het is een beetje, je kunt een grid van producten en browse het. En de model nu, in de manier, is starting to understand.

Robby Stein:
[35:31] Oh, even though, ik asked een specifiek question Ik was een shopping-legged question, en ik het constructe dit hele shopping experience voor mij met een grid van products dat ik gewoon schuld door, met het bij een blokde list van texten dat je je getest. En zo, wat je zien is dat de model is more heterogeneous in hoe het replies op je. En als je je shopping, het zal be ook, oh, oké, ik get het. De user is zo'n te buy. En, let's say je wil voor lighting in je huis, of a couch, you need to enter a different modality. It's like you don't want to describe all these things. So you're going to give these visual things. And I think that's been really delightful to know how the model is reasoning almost like a person would in thinking about, you know, what I should see to best respond to the question.

Randal Peelen:
[36:21] Okay, Robby, thanks for your time and thanks for telling us, everything we need to know to start using AI mode from today on forward because all our listeners can actually try that feature out right now. So thanks a lot.

Robby Stein:
[36:39] Of course. Thank you for having me.

Arnoud Wokke:
[36:41] Thank you.

Randal Peelen:
[36:44] Robby Stijn. Stien, wat vond jij ervan?

Arnoud Wokke:
[36:49] Ik heb dit soort mensen vaker gesproken. En het is altijd, je stelt een vraag, er komt een antwoord. En die heeft dan niet alles te maken met de vraag die je stelt. Dus dan denk je achteraf, heb ik antwoord gehad? Ja, maar ook nee.

Randal Peelen:
[37:03] Ja, ik vond hem zeg maar ergens in het midden van een soort marketingfiguur. Dat het gemedia trainde antwoord geeft. En ook wel iemand die betrokken is bij het product. Dus dat ook wel daadwerkelijk uit kan leggen. Dus ik moet zeggen, hij zat daar, vind ik, wel wat aan de productkennende kant. Zeker.

Arnoud Wokke:
[37:20] Hij wist waar hij het over had.

Randal Peelen:
[37:22] Precies. Ik vond het ook heel leuk dat hij wel betrokken was. En hij had ook zoiets van, nou oké, ik kan wat met die vragen. Ik ben wel heel benieuwd hoor. Want we raakten precies de gevoelige punten. Zo, hoe gaan ze monetizen? Hoe gaan ze je geld aan verdienen? Google zit natuurlijk al decennia op een machine die geld print alsof het niet op kan. en ze waren onmiskenbaar jarenlang de beste zoekmachine op aarde. Nou kun je zeggen, nou er zijn wel machines die in de buurt komen. Ik zou zeggen nee, Google is toch wel stevig de beste. In het AI tijdperk beginnen ze niet met een dusdanige voorsprong. Zelfs als Gemini een frontier model is dat zich kan meten met de chat GPT's en de alternatief in de markt, hebben ze nog steeds geen dikke voorsprong.

Arnoud Wokke:
[38:05] Klopt.

Randal Peelen:
[38:06] En de manier waarop ze die zoekmachines die ze hebben. En die database van websites. Nu proberen te combineren. Om dat een beetje in hun voordeel te leverage. En laten we eerlijk zijn. Het gaat hier vooral om toegang. Mensen komen al op Google. Ze worden al geconfronteerd met die knop AI motor. Tablet staat boven in beeld. Dit is het enige oneerlijke voordeel. Dat is nog helemaal. Ik zie niet hoe dit product de facto het beste hoeft te zijn.

Arnoud Wokke:
[38:28] Dat hoeft helemaal niet.

Randal Peelen:
[38:29] Nee. En ik hou me hard vast hoe dit uit gaat pakken. Want zij weten nog niet precies hoe ze geld gaan verdienen. Wij als gebruiker weten nog niet precies hoe betrouwbaar het gaat zijn. En er zijn heel veel dingen die nog moeten blijken. En Google heeft op dit moment een beetje, vind ik... Ze werken gewoon op meerdere paarden.

Arnoud Wokke:
[38:49] Ja, klopt.

Randal Peelen:
[38:49] Dat is wat ze aan het doen zijn.

Arnoud Wokke:
[38:50] Zolang ze nog moeten vechten, winnen wij. Maar zodra er weer één partij, zoals in Zoeken gebeurde, de beste blijkt te zijn. Iedereen gaat daarheen. Dus die heeft een marktaandeel van 90 plus procent. Ja, dan kunnen ze het product weer minder maken. En overal advertenties instoppen. En je hele scherm vullen met allemaal dingen die zij willen. In plaats van jou het beste antwoord te geven. Dus in deze fase had hij helemaal gelijk. Nu moeten ze wel het beste antwoord proberen te geven wat ze kunnen geven. Want ze vechten nu nog heel duidelijk met bijvoorbeeld JetTPT en Kloot en al die andere AI-modellen. Dat zit er nog achter. Die concurrentiestrijd is gaande. En dat is wel heel belangrijk voor ze, want de zoekmachine duurt niet eeuwig. Dit soort dingen gaan het grotendeels overnemen waarschijnlijk in de komende tien jaar. En ze moeten die strijd wel winnen om hun positie te behouden. En ja, tot die tijd kunnen ze dus niet al te veel geld gaan verdienen daarmee. Dan moeten ze gewoon wat rustiger aandoen met de advertenties en zo. Maar zodra die strijd gestreden is, ja, dan krijgen we gewoon weer al die ads in ons gezicht geduwd. Je hoeft alleen maar naar YouTube te kijken om te weten wat ik bedoel.

Randal Peelen:
[39:57] Ja, precies. Nee, als je een keer monopolist bent. Tegelijkertijd, wat jij ook al zei, bij websites die het moet hebben, ook van advertentieinkomsten, maar ook zeker van verkeer uit Google. Houden ons hart vast. Komt er straks nog genoeg verkeer? Want ik denk in de ultieme vorm waarin AI Mode perfect werkt. En ik het eigenlijk alleen maar gebruik en al mijn informatie daar vandaan haal. Kom ik niet meer op tweakers. Waarom zou ik? Dus voor mij als gebruiker alleen meritant om op tweakers te komen. Tegelijkertijd op het moment dat tweakers geen geld meer verdient.

Arnoud Wokke:
[40:28] Je gebruikt tweakers, maar dat is daadwerkelijk niet zo'n heel goed voorbeeld. Want heel veel van ons verkeer is direct omdat het een community is. Dus dat scheelt nogal. Wij voelen die impact echt veel minder dan heel veel andere mediasites.

Randal Peelen:
[40:39] Maar laten we een andere site als voorbeeld nemen. Die wel echt van die advertentieinkomsten moet leveren. En het leeuwendeel van het bezoek komt uit Google. Op het moment dat die stroom opdroogt.

Arnoud Wokke:
[40:49] Ja.

Randal Peelen:
[40:49] Kunnen ze natuurlijk ook een medewerkers niet meer betalen. Het stroomt aan de kant van Google. Juist de stroom van verse betrouwbare informatie.

Arnoud Wokke:
[40:57] Exact.

Randal Peelen:
[40:58] En ik zie wel hoe dit met een grote omweg misschien. Maar uiteindelijk op de lange termijn wel zorgt. Dat die informatie alsnog minder betrouwbaar wordt.

Arnoud Wokke:
[41:05] Ja, dat denk ik ook. En dat kan je dan grotendeels, en dat zie je bij dat soort sites ook gebeuren, is niet alleen media, maar ook hele andere takken van sport. Dat ze proberen zoveel mogelijk met AI te doen, maar dat is gewoon allemaal van lagere kwaliteit. En dat beïnvloedt gewoon op termijn de informatie die ook zo'n AI-mode of überhaupt de Google-zoekmachine kan geven. En die klachten zijn er al legio over het hele internet, dat eigenlijk de hele Google-zoekmachine inferieur is geworden. En dit zal het allemaal uiteindelijk dan niet beter maken. Deze hele dynamiek is een soort van neerwaartse spiraal voor de kwaliteit van content op het internet.

Randal Peelen:
[41:41] Ja, al zie ik wel hoe het op de korte termijn beter in staat zou kunnen zijn om de kwaliteit van die informatie ook echt te keuren. Ik zie wel hoe ik die hier...

Arnoud Wokke:
[41:52] Ja, alleen je hebt geen reden meer om het te maken met heel veel mensen en heel veel investeringen, want je verdient het niet terug. Dus ja, als je het verdienmodel van dit internet breekt, ja, dan heb je gewoon een probleem als zoekmachine uiteindelijk.

Randal Peelen:
[42:05] Ik vond het wel leuk om een keer weer in het Engels te potrassen. Ik merkte wel aan mezelf, goh, ik moet weer even omschakelen. En ik had op een gegeven moment zo'n iets te lang en wollige vraag. Zoals ik wel vaker doe. Maar in Nederlands red ik me daar dan vaak nog wel iets vakkundiger uit dan nu. En nu dacht ik echt, oh cut.

Arnoud Wokke:
[42:19] Ik dacht ook, waar gaat die heen?

Randal Peelen:
[42:21] Ja, ik werd ongeluk te wollig. En ja, maar dan ben je halverwege zo'n zin. In het Nederlands bluff ik een zin. En dan halverwege brei ik hem wel recht.

Arnoud Wokke:
[42:29] Ja, om heel eerlijk te zijn. Jij dacht denk ik dat ik een vraag zou stellen. En ik keek heel nadrukkelijk jou aan. Waardoor jij begon. Dus het was een beetje geïmproviseerd daar. Maar ja.

Randal Peelen:
[42:39] Ja, ik probeerde een tegenstelling te schetsen en dan in de midden uit te komen. Maar ik bracht het vliegtuig uiteindelijk wel thuis.

Arnoud Wokke:
[42:46] Zeker, hij kwam aan de grond, maar dat duurde even.

Randal Peelen:
[42:49] Nou, lieve luisteraar, dit is een iets andere aflevering dan jullie gewend zijn. Dus ik ga alsnog zeggen, tot zover deze aflevering van met Nerds om tafel. Maar er komt ook nog een doodnormale aflevering aan deze week. Dus voor nu is dit even een leuke extra. Ik heb er wat van geleerd. In ieder geval lol in gehad. Wij zijn blijkbaar de enige Nederlandse podcast die een dergelijke persoon bij Google mocht interviewen. En nou, ik vond dat leuk om te doen.

Arnoud Wokke:
[43:13] Dat is zeker leuk.

Randal Peelen:
[43:14] Bedankt voor je hulp, Arnaud.

Arnoud Wokke:
[43:15] Graag gedaan.

Randal Peelen:
[43:16] En tot volgende aflevering.