AI 可见性监测：推荐率、声量份额与平均排名怎么算

AI 可见性监测中，“提及率”“推荐率”“首位率”“声量份额”经常被放在一张报告里，但它们回答的是不同问题。若不先固定样本和计算规则，同名指标也可能无法比较。

本文给出一套可人工复核的示例口径，用于分析设计和数据检查，不代表任何产品采用的统一标准。

先确定统计单位

建议把“一条固定问句，在指定平台和入口下的一次回答”作为一个观测单位。每条记录至少包含问句版本、平台、入口、时间、语言、状态和完整回答。

同一个问题多次运行会得到多条记录。重复运行有助于观察波动，但不能假定这些回答在统计上相互独立。

先确定有效回答规则，再计算指标：

• 网络或接口报错：单独计入运行异常。
• 未触发 AI 回答：单列，不直接当作品牌未出现。
• 拒答或答非所问：提前规定是否排除，并披露数量。
• 正常回答但没有出现目标品牌：通常仍属于有效回答。
• 重试：关联原始请求，避免重复计数。

五个常见指标

“提及”不等于“推荐”。例如，“该品牌提供同类产品，但不适合当前需求”出现了品牌名，不能仅凭关键词匹配就计为推荐。

同样，没有序号的段落也未必存在排名。若无法判断，记录为“排名不可判定”；若选择按出现顺序计算，应把它明确命名为“出现顺序”，避免混同推荐优先级。

只有在样本、分母、推荐判定和排序规则一致时，才有：

首位推荐样本 ⊆ 前三推荐样本 ⊆ 推荐样本
首位推荐率 ≤ 前三推荐率 ≤ 推荐率

声量份额为什么要单独定义？

“声量份额”至少可能采用两种算法。

算法一：按品牌与回答的出现关系计算

一条回答中，同一品牌出现多次也只记一次。例如，回答 A 出现品牌甲和品牌乙，回答 B 只出现品牌甲，则甲有 2 次“品牌—回答”出现记录，乙有 1 次，甲的份额为 2 ÷ 3。

这种算法减少了回答篇幅和重复品牌名的影响。

算法二：按文本中的实际提及次数计算

若甲在两条回答中合计出现 5 次、乙出现 1 次，甲的份额为 5 ÷ 6。该算法更容易受到文本长度和重复描述影响。

两种算法都需要固定：

• 统计哪些品牌，是指定竞品集合还是所有识别到的品牌。
• 别名与子品牌是否合并。
• 引用标题、网址、提问本身是否参与计数。
• 没有识别到品牌时，分母为零如何处理。

分母为零时应标记为“不适用”，不能随意写成 0%。竞品集合变化后，历史份额也可能变化，应保留集合版本。

用一组假设数据手算

假设有 100 条有效回答：

这些数字只是演算示例，不是业务案例或效果承诺。

若另一组 100 条回答中，只有 2 条给出了目标品牌的可判定推荐排名，分别为 1 和 3，则条件平均排名为：

条件平均排名 = (1 + 3) ÷ 2 = 2
排名样本覆盖率 = 2 ÷ 100 = 2%

只展示“平均排名第 2”会掩盖其余 98 条回答的情况。因此平均排名应同时展示可判定排名样本数、覆盖率，以及未推荐和排名不可判定的数量。

不宜直接给所有未推荐回答补一个任意名次，再与条件平均排名比较。若要使用惩罚排名，须另立指标并说明惩罚值。

平台和问题权重怎样影响结果？

假设平台 A 的推荐情况为 80/100，平台 B 为 1/10。

两种结果不同，是因为前者按样本数加权，后者按平台等权。汇总前应说明所回答的问题：是在看所有采样回答中的表现，还是把两个平台视为同等重要。

问题集同理。若某类问题本来就容易出现品牌，却在本周新增大量样本，整体推荐率可能上涨，即使原有问题没有改善。

因此跨期比较应尽量固定问句集、平台入口、语言、日期窗口、采样次数、品牌集合和汇总权重。发生变更时应保留版本，并对可比子集另做分析。

描述准确性与引用来源怎样记录？

描述准确性

建立事实核对表，将产品参数、适用范围、认证和交付条件等拆成可核查项，再标记“准确”“错误”“证据不足”。

“证据不足”不应直接当作错误。准确率按整条回答算，还是按事实陈述算，也要事先确定。若由模型初判，建议对关键错误和随机样本人工复核。

引用来源

记录回答明确列出的来源网页，并区分：

• 品牌被提及，但没有引用。
• 引用了品牌页面，但没有明确推荐。
• 推荐了品牌，同时引用第三方页面。

引用只能说明答案明确标注了哪些来源，不能还原模型全部信息来源，也不能直接推断该页面导致了推荐。

怎样验证一份监测结果？

抽取一批完整回答，按同一标注表人工复核，再与系统结果对照。发现差异时，先判断来自品牌识别、推荐判定、排序规则，还是分母处理。

记录编号：
问句版本：
平台与入口：
有效回答：是 / 否
目标品牌被提及：是 / 否 / 待核查
目标品牌被推荐：是 / 否 / 待核查
推荐排名：整数 / 不可判定 / 不适用
引用来源：
标注依据：
复核人员与时间：

不要为了得到一致数字而临时修改规则。规则需要调整时，应更新版本，并对受影响样本统一重算。

总结

一份可复核的 AI 可见性报告，应同时提供指标定义、分子分母、样本范围、异常处理、汇总权重和原始回答。先把这些条件对齐，再讨论百分比升降，才能区分真实变化、采样波动与口径变化。