跳到主内容

GEO 效果怎么验证踩坑实录:同一个问题问三遍,我才看懂那张截图骗了我

GEO 效果怎么验证?答案很朴素:同一句话在不同时间问三遍,把每个引擎的答案记成一条记录,用提及率而不是截图说话。单张截图证明不了任何事——同一个问题在同一小时内问三次,AI 给出的来源组合就可能完全不同。

这个结论是被客户逼出来的。上个月一个做工业耗材的客户问我:你们说的 GEO,能不能给我看张截图,我拿去跟老板汇报。我当场问了一句"XX 品牌的滤芯怎么样",页面上确实把我们写的文章列成了参考来源,截图发过去。他第二天回我:老板自己又问了一遍,出来的是三个同行,没有你们。

那一刻我才承认,我们之前所有的"效果证明"都建立在一张不可复现的图上。站内 用 GEO 重构内容 和 GEO 加指数把推荐率拉起来 讲的是"怎么做",这篇只讲一件事:做完之后怎么证明它真有用。

需求背景:为什么"截图"这条路从根上就不成立

追踪服务商 Profound 在 2026 年 9 月 30 日发布的报告跟了 88.3 万个页面、7 个 AI 引擎整一年,结论是:页面被引用的份额冲到最高点后,中位数只要 11 天就掉一半,78% 的页面在两周内腰斩;"耐久页"的半年寿命也才 27 到 29 天。你周一截图证明有效,下下周那张图大概率已失效。

横向看更不稳。Schulte 等人在 2026 年 4 月的论文里测同一问题隔天重复的引用来源重合度,Jaccard 系数只有 0.34 到 0.42,约三分之二的来源每天都在换;Grossman 等人给出的跨平台重合度更低,低于 0.2。

最扎心的是 Wellows 用 59.6 万个 prompt 做的跨引擎实验:URL 层面只有 10.2% 能在两个以上引擎同时被引用,品牌名层面却有 67.4%。同一个实验里,URL 的一致率比品牌名低了六倍多。这直接决定了指标怎么选:URL 是诊断用的,品牌提及率才是能上报的那个数。而截图两者都不是,它只是某一次抽样恰好被你撞到。

方案A:截图为证——成本最低,也最不可用

做法简单到不需要工具:设几个问题、手动问、看到自己就截图,攒够十张做成一页 PPT,半小时搞定,零成本。

代价是把随机性当成了结果。按 11 天半衰期和 65% 日变化的量级,一张截图的保质期比一次周报还短。更麻烦的是它单向:你只会截到有效的那次,客户却可能随机撞到无效的那次。

还有个隐性成本:截图不可再分析。半年后想回答"哪次改版起了作用",翻遍图库也答不出来。我们第一版就这么干,四个月下来一份能用的历史数据都没有。

方案B:单引擎固定题库轮询——能出数,但误差比你想的大

思路是把"问一句"变成"问一套"。我按 PageLens 的抽样表搭了第一版:20 个 prompt,分品类词、对比词、问题陈述、异议词四类各 5 个,每个在新会话里跑 3 次,一个引擎 60 条答案,每周同一时间跑一轮;字段固定为日期、prompt 编号、类型、引擎、第几次、是否提到品牌、品牌落第几位、是否引用自家域名、还提到哪些竞品,CSV 一条一行。

这一步最值钱的产出不是比率,是误差。60 条里被提到 18 次,提及率 30%,95% 置信区间按 1.96×√(p(1−p)/n) 算是 ±11.6 个百分点;比率正好 50% 时最大到 ±12.7 点。比较两轮要用的是两个比率之差的误差,约是单轮的 1.4 倍——同样 60 条、30% 的场景,得变动超过 16 个百分点才算真变了。

换句话说:上周 30%、这周 38%,看着涨了 8 个点,其实什么都没证明。我们第一次算出这个数时,前三个月被当成"优化成功"的两次波动全落在噪声里。而且这套算法把答案当独立样本,同一 prompt 重复三次天然相关,算出来的只是误差下限——这条边界得写进汇报。

方案C:多引擎分层抽样,加两个额外维度

第三版动了三处,都不是加量,而是改结构。

第一处,按引擎分开算,绝不合并。站内 指数数据跨平台怎么比 那篇讲过:不同平台只能比形状,不能比大小。AI 搜索更极端,跨平台重合度低于 0.2 意味着每个引擎基本是独立渠道,合并成"总提及率"等于把四条互不相干的曲线平均成一条没意义的线。

第二处,加"描述准确性"。被提到但描述错了比没被提到更糟:我们的客户被描述成"主打低价走量",他做的却是中高端工业件,这个提及是负资产。所以每条记录除了"有没有提到",还要有一列"描述是否符合核心定位",三档对、偏、错。人工判,60 条半小时能过完。

第三处,冻结原始回答。每次跑完把整段原文按 引擎-日期-prompt编号.json 落盘,不解析不摘要。引擎的输出格式和引用位置一直在变,2026 年 10 月 15 日 Google 就调整过 AI Mode 内联链接的位置和密度。指标定义以后一定会改,原始响应还在就能重算,丢了就永久报废。

成本不低。四个引擎、20 个 prompt、各 3 次,一轮 240 条答案,纯手工约一个人一天。业界给出的自建量级是前期约一个工程周,之后每月几十到几百美元 API 成本,前提是 50 个问题、5 个引擎、每周一轮。

横向对比表

维度方案A 截图方案B 单引擎轮询方案C 多引擎分层
起步成本半小时,零成本半天搭表,每周约 1 小时1 个工程周,每周约 1 人天
一轮样本量1–10 张图60 条/引擎240 条起(4 引擎 × 20 问 × 3 次)
能否算误差不能能,30% 时约 ±11.6 点能,按引擎分别算
能否分辨真实变化不能变动需超约 16 点需超约 16 点,但可分引擎定位
抗引擎改版无弱强(保留原始响应可重算)

怎么选:按"多久要回答一次"倒推

我的判断标准只有一个:你需要回答这个问题几次。

只被老板临时问一句、一年一次,方案 A 加一句限定语就够——"这是 10 月 28 日 15:20 在某个引擎上的单次结果,不具备统计意义"。把限定语说在前面,比拿一张图当证据体面得多。

每月要报一次数,方案 B 是性价比最高的起点。20 个 prompt 就够,重点是把误差写在报告第一行。我们的月报第一句现在是"本月提及率 38%,±11 点,与上月差异不显著",客户第三次之后就主动要求加这句。

同时盯多个引擎、改版动作多、要判断"是哪次改动起的作用",只能上方案 C。钱不是主要成本,时间才是——240 条答案的人工判读很容易拖成两周,一旦拖过 11 天半衰期,测的已经不是你想测的那个状态。

还有一条容易漏的对照:AI 侧数据要和传统搜索侧对得上。站内 指数与搜索量的关系 讲过指数不是搜索量,但趋势方向可用;我们同时看品牌词在指数工具里的曲线,提及率涨而品牌词搜索量不涨,通常意味着被引用了却没转化成主动搜索,这时候该查落地页而不是改内容。这块用站内指数分析工具跑,比人工抄数稳。采集别用爬虫硬来,站内 批量采集指数踩过的坑 里写过限流和口径问题。

最后提醒:Google 的 Search Console 到 2026 年年中仍未提供 AI Overviews 的引用与曝光数据(官方说在路线图里),暂时没法用后台数据替代抽样;第三方工具给的分数,要问清 prompt 集、引擎列表、样本量和日期,四个都说不清的当作没有。

常见问题

问:我刚发完一批内容,多久之后测才算数?
至少等两周。引擎要重新抓取、索引、再在回答里选用,这个链条按天算不按小时算。急着测只会测到上一版内容的效果。

问:一定要四个引擎都测吗?
看客户在哪。集中在一个引擎,就先把它做到 60 条以上,误差收窄比铺开重要。四个引擎每个 15 条,等于四个都没测。

问:为什么不能把各引擎的数字加起来算总提及率?
跨平台重合度太低,加总后各引擎权重是随机的,今天谁多回答几条就偏向谁。分开报,让看的人自己判断哪个渠道值得投。

问:提及率没动,但流量涨了,是测错了吗?
不一定。AI 带来的访问有相当一部分是看过推荐后隔一阵自己搜进来的。这种情况要一起看品牌词搜索量和直接访问,单看提及率会低估效果。

问:外包给第三方工具行不行?
可以,但合同要写明两件事:原始响应能不能导出、终止合作后历史数据能不能带走。没有这两条,你买到的只是一张会过期的仪表盘。

相关阅读

分享到:

本文链接:https://www.biyeyuanma.cn/post/392.html

服务热线

加我微信

加我微信