把不同问题混在一起,比例就失去用途
如果平台甲测试的是品牌名问题,平台乙测试的是不带品牌的采购问题,两者的品牌提及率没有直接比较意义。再把它们平均成“全网提及率”,会把问句设计差异藏进一个看似清晰的数字。
同一平台的不同模式也应保留区别。带检索与不带检索、附带资料与无资料、新会话与连续追问,可能对应不同的输入条件。项目不必掌握平台内部机制,但必须诚实记录自己实际能观察和控制的条件。
NIST 的生成式 AI 风险框架提醒不要从非系统的少量观察泛化系统表现。NIST AI 600-1,MS-2.5-001 因而本文采用分组记录和透明分母,目的是限制结论范围,不是宣称少量样本已经具备统计代表性。
用六次请求看清三种状态
在实际多模型对比评估中,必须坚持独立分项统计口径:甲、乙仅为匿名标签,不代表任何真实平台;每个平台使用同一组 Q1—Q3 问句,模式和测试窗口在此例中保持约定一致。
| 请求 | 结果状态 | 品牌提及与核验结果 |
|---|---|---|
| 甲 Q1 | 有效回答 | 提及品牌;目标事实有依据 |
| 甲 Q2 | 有效回答 | 未提及品牌;目标事实出现错误 |
| 甲 Q3 | 请求失败 | 未获得回答,不能判断提及与事实 |
| 乙 Q1 | 有效回答 | 提及品牌;目标事实有依据 |
| 乙 Q2 | 有效回答 | 提及品牌;引用暂时无法打开,事实待查 |
| 乙 Q3 | 有效回答 | 未提及品牌;说明信息不足,未作参数断言 |
甲的有效回答数是 2,品牌提及数是 1;乙分别为 3 和 2。按有效回答计算,甲为 1/2,乙为 2/3。合并有效回答计算则为 3/5,即 60%。如果先求两个平台的比例再取平均,会得到约 58.3%。两种算法权重不同,不能在报告中换着使用。
本例还有一次请求失败。它应出现在请求完成情况中,不能悄悄删除,也不能被当成“没有提及品牌”。企业可以另看“提及次数占全部请求的比例”,此时是 3/6,但必须明确这是另一指标,不能沿用“有效回答中的提及率”名称。
回答有效,不代表内容正确
“有效回答”只表示拿到了可按规则分析的内容,不意味着事实正确。甲 Q2 完全可以同时属于有效回答和事实错误样本。若把错误回答从分母排除,准确性指标就会失真。
乙 Q2 的来源打不开,先标为待查。若企业已有独立原始资料,可以继续核验事实内容,但引用支持状态仍需分别记录;不能因为结论碰巧正确就认定链接有效。ALCE 研究将正确性与引用质量分开评价,为这种区分提供了研究依据。ALCE 原始论文
乙 Q3 提示信息不足,没有给出待验证参数。它可能没有完成用户期待的具体答案,却不能直接记为参数错误。报告应区分未覆盖、明确错误与证据未知,否则后续整改方向会混乱:缺资料需要补资料,错误引用需要查来源,失败请求则需要重新采样。
报告至少保留两层视图
管理摘要适合呈现各平台有效样本、品牌提及、错误类型和主要限制。详细表则保留每次请求的编号、原始问句、平台模式、时间、回答全文、引用地址、事实判断及审核依据。摘要中的数字要能回到详细行重新计算。
不要把“某平台提及比例更高”写成“某平台更适合企业”。前者只描述本组样本,后者还需要目标客户、采购场景、内容适配和长期观察等证据。小样本中一次回答就可能明显改变比例,报告应同时展示分子分母,少用没有上下文的醒目百分比。
多个测试窗口也应分开。今天与上月的问题、模式或有效样本数变化时,在趋势旁说明。确实无法同口径比较的部分可以作为独立发现,保留数据但不画成连续上升曲线。
项目中怎样执行这套口径
- 在测试前确认问句清单、平台范围、可观察模式、样本单位和异常分类。所有执行人员使用同一记录表。
- 采集后先检查记录是否完整,再进行事实与引用审核。请求失败单列补采计划,原失败记录继续保留。
- 按平台分层计算,公开各层样本量;需要总览时明确是按回答加权还是按平台等权。
- 由另一位复核者抽取关键结论,沿编号返回原始回答与依据,检查分类和计算是否一致。
这里的“另一位复核者”是建议的项目职责安排,不意味着本文演示已经经过真实客户或第三方审计。实际报告应说明由谁采集、由谁判断、哪些技术项由客户确认,不能用模糊的“专业审核”隐藏责任。
让异常成为下一步任务
浙江玖叁鹿的工业 GEO 按多模型独立核验思路保留完整回答,参数和工况判断由事实基线支撑。报告应把异常落实为可执行工作:甲 Q2 回查具体错误资料;乙 Q2 重试来源访问并核查原文;甲 Q3 补采请求。三项不能都归为“继续优化内容”。
月底比较时,先检查这些任务是否完成,再看同口径样本有没有变化。某个平台暂时无法完成采样,应在覆盖范围中明确说明。透明地保留失败和未知,能让企业判断本期报告到底观察到了什么,也能避免把数据缺口误当成表现改善。
增加一个平台时,怎样保持旧报告可读
新增平台会改变总体权重。假设原来两个平台每期都有相同数量的样本,本期加入第三个平台,却只测了少量品牌问句,新总览不能直接与原总览比较。可以继续展示原有平台的同口径小计,新增平台单列试测结果,待问题与条件确认后再纳入下一版总口径。
同理,一家平台本期失败较多,会让有效回答加权后的总数更偏向其他平台。报告可以同时列出计划请求、完成请求和有效回答,解释为什么总比例变化;不能把缺失平台的权重自动分给表现更好的平台而不告知读者。
数据导出也要保留这些分组字段。只交付一列“问题”和一列“结果”,后续无法重新计算同平台、同模式的子集。企业应能从明细筛出与上期真正可比的部分,再决定哪些变化值得进一步观察。
