如何衡量 AI 可见度,而不自欺欺人
AI 的回答每次都会变,一张截图什么也证明不了。如何对问题采样、该追踪哪些数字,以及需要多少条回答才能确认变化是真实的。
连续两次问 ChatGPT“做 X 最好的工具是什么?”,你可能会得到两份不同的名单。模型生成文本时带有一定随机性,联网搜索时读到的结果也在变化。截下你排第一的那一次,对你的下一个买家会看到什么,几乎说明不了任何问题。
衡量 AI 可见度,意味着把每条回答当作一个样本,追踪的是比率。
从正确的问题开始
使用买家真正会问的问题,用他们自己的说法。销售通话、客服工单和 Google Search Console 里的查询词,都比头脑风暴更可靠。清单的大部分应该是不带品牌名的品类问题(“适合自由职业者的最佳开票软件”),因为新买家的得失就在这里。再留几个品牌问题(“YourBrand 免费吗?”),用来检查 AI 助手怎么描述你。
大多数公司追踪 25 到 100 个问题就够了。要按平台分别追踪,因为 ChatGPT、Gemini、Perplexity 和 Claude 的搜索和引用方式各不相同。
每个问题要问不止一次
每个问题每周只问一次,等于每周抛一次硬币。每次测试每个问题收集三到五条回答是实际可行的下限,再把多个问题、多周的回答汇总起来,精度会更高。
下表说明了原因。它给出了在不同样本量下,提及率约为 50% 时的 95% 置信区间(Wilson 区间):
| 回答数 | 观测比率 | 可能的真实区间 |
|---|---|---|
| 3 | 3 次中 2 次 | 21% 到 94% |
| 10 | 10 次中 5 次 | 24% 到 76% |
| 30 | 30 次中 15 次 | 33% 到 67% |
| 60 | 60 次中 30 次 | 38% 到 62% |
| 120 | 120 次中 60 次 | 41% 到 59% |
只有十条回答时,从 40% 变到 60% 可能只是噪声。有一百二十条时,这个变化就很可能是真实的。报告比率时把样本量写在旁边,对任何只给百分比、不给样本量的仪表盘都要保持怀疑。
值得追踪的数字
提及率是提到你的回答占比。它是核心指标,也是 GEO 工作最能影响的数字。
平均排名是你被提到时在推荐顺序中的位置。五个里排第五和排第一都算一次提及,但买家看的是名单最前面。
引用率是把你的某个页面作为来源链接的回答占比。它告诉你,是你自己的内容在起作用,还是你因为别人的页面才被提到。
事实准确率是关于你品牌的说法中与实际相符的比例。AI 回答里的错误价格和遗漏的功能,会让你失去那些根本不会来你网站核实的买家。
把平台和样本分开看
把所有平台合成一个数字,会把真实情况掩盖掉。Perplexity 上的上升和 ChatGPT 上的下降可能正好抵消。每个平台单独看,总数变化时再看问题级别的视图,这样你才知道是哪些问题变了。
原始回答也要保留。数字下降时,读一读回答就知道原因:名单里多了一个新竞品,一篇被引用的文章把你删掉了,或者某个搜索词现在返回的是不同的页面。
把变化和你上线的内容对应起来
记下你发布页面、获得收录或修复爬虫拦截的日期,然后在接下来两三周里观察它应当影响的问题。依赖实时网页搜索的回答,往往在页面被索引后几天内就有反应。依赖模型记忆的回答,只有在新模型发布时才会改变。
FAQ
多久重新测试一次?
对大多数团队来说,每周一次就够了。每天测试成本更高,除非你追踪的问题非常多,否则多出来的大多是噪声。
可以手动衡量 AI 可见度吗?
几个问题可以,但你需要不带历史记录的新会话、每个问题多次提问,以及一套统一记录排名和来源的方法。超过十个问题,这就变成了一份兼职工作,这正是 Promptvane 这类工具要填补的空缺。
多高的提及率算好?
取决于你所在的品类有多拥挤。与其设定一个绝对目标,不如和同一批回答里提到的竞品比较,并关注趋势。