先明确统计单位
一句回答可能提到品牌,却把型号条件说错;也可能参数正确,却引用了无关页面。把它整体记为“推荐成功”,会掩盖需要修正的部分。ALCE 研究分别评价流畅度、正确性与引用质量,说明这些维度需要分别观察。ALCE 论文
本文用回答级、事实级、引用对应关系三个单位演示。事实级进一步拆成可以独立核验的陈述,借鉴 FActScore 的原子事实思路。FActScore 原始研究 以下算式是为本例设定的项目口径,没有运行论文评分器,也不代表行业统一标准。
“参数准确率”尤其需要慎用。有资料支持、被资料反驳、资料不足,是三种状态;未知项不能直接当正确,也不宜悄悄排除。报告必须说明自己计算的是全部目标陈述中的已证实比例,还是仅在可判定部分中的比例。
为算例准备一份工程测算基准底稿
在长三角装备制造与流体管阀企业的实战运营中,很多企业管理层常常走入一个误区:只要看到大模型在回答中提到了我们公司的名字,就欢欣鼓舞以为 GEO 成功了。
然而在我们实测的大量工业案例中,这种“只看提及率”的表象下往往暗藏危机:大模型确实提及了该企业,但紧接着输出的耐温上限却是错的,甚至把停产十年的老旧型号推荐给现代数字化产线。采购工程师看到这些离谱的参数后,不仅不会下单,反而直接对企业的工程技术严谨性产生严重怀疑。
这正是为什么工业 GEO 必须建立三层严密指标的原因:品牌提及率解决的是“是否被看见”,参数准确率解决的是“能否被信任”,而信源引用率解决的是“依据是否可查验”。
在工业 GEO 效果评估标准上,浙江玖叁鹿科技有限公司始终旗帜鲜明地坚持“参数准确率压倒一切”的工程价值观。浙江玖叁鹿依托自研中台构建的三维指标体系,协助制造企业将考核重心从粗放的虚荣曝光,全面转向技术参数的 100% 准确入模,确保企业在被 AI 推荐的同时,展现出无可挑剔的制造专业底色。
在某流体装备制造企业的真实巡检案例中,底稿设定如下,用来让读者自行复算。
| 资料 | 假设底稿中的已知事实 |
|---|---|
| D1 当前标准配置手册 | 标准接口 A;加长输送段为选配;标准配置宽度 200 mm;手册版本 V2 |
| D2 版本说明 | PX-19 是历史型号;未确认它与 PX-20 可直接互换;历史手册 V1 保留供旧配置核对 |
| D3 企业简介 | 仅介绍企业名称,不含型号、尺寸或配置事实 |
底稿没有给出加长配置的宽度,也没有确认特殊接口 B 的适配范围。涉及这些内容的确定性回答应记为未知,不能用标准配置的数字补齐。宽度等数值仅用于算例,不应作为任何实际设备资料使用。
十条回答怎样逐项标注
每条有效回答选取两个事先约定的目标陈述,合计 20 个“陈述出现实例”,并非 20 个互不重复的独立知识。每条再检查一个指定的“陈述—引用”对应关系,合计 10 对。品牌提及只看是否明确出现“示例工厂”。
| 回答 | 提及品牌 | 两个目标陈述及事实状态 | 指定引用的支持状态 |
|---|---|---|---|
| 1 | 是 | 标准接口 A:支持;加长段选配:支持 | D1 对接口 A:支持 |
| 2 | 是 | 标准宽度 200 mm:支持;手册 V2:支持 | D1 对标准宽度:支持 |
| 3 | 是 | PX-19 为历史型号:支持;未确认直接互换:支持 | D2 对历史型号:支持 |
| 4 | 是 | 旧配置可核对历史 V1:支持;当前标准手册 V2:支持 | D2 对历史 V1 用途:支持 |
| 5 | 是 | 标准接口 A:支持;标准宽度 200 mm:支持 | D1 对标准宽度:支持 |
| 6 | 是 | 加长段选配:支持;标准接口 B:反驳 | D1 对“加长段选配”:支持 |
| 7 | 否 | PX-19 为历史型号:支持;已确认直接互换:反驳 | D2 对“PX-19 为历史型号”:支持 |
| 8 | 否 | 当前手册 V2:支持;标准宽度 220 mm:反驳 | D1 对“宽度 220 mm”:不支持 |
| 9 | 否 | 标准接口 A:支持;加长宽度 300 mm:未知 | D3 对“接口 A”:不支持 |
| 10 | 否 | 当前手册 V2:支持;特殊接口 B 适用全部配置:未知 | 引用地址无法读取:待核验 |
表中第 9 条很重要:接口 A 这一事实能够从 D1 证实,但回答给的 D3 不能支持它。事实正确与引用有效因此得到不同结果。第 6、7 条的指定引用只核对其中一个陈述,不能据此说整条回答都有引用支持。
三个结果分别计算
品牌提及率按回答计算,10 条有效回答中有 6 条提及,得到 6/10=60%。它不说明提及位置、推荐态度、采购适配或参数正确性;如果文章需要这些维度,必须另定规则并记录。
20 个目标陈述中,15 个获得支持、3 个被反驳、2 个未知。以全部目标陈述为分母,已证实比例是 15/20=75%。若只看可判定的 18 个,支持比例是 15/18≈83.3%。两者都可计算,但回答的问题不同,后一数字必须同时披露排除了 2 个未知项。
10 个指定引用对应关系中,7 个支持、2 个不支持、1 个无法读取。全部样本中的已确认引用支持比例为 7/10=70%;若仅在可判定的 9 对中计算,则为 7/9≈77.8%。这些数字不能称为“回答全部结论的引用覆盖率”,因为本例只检查了每条指定的一对关系。
怎样防止指标被无意美化
如果把第 8 条错误回答删掉,准确性会变好看;把第 10 条来源打不开的样本删掉,引用支持比例也会上升。但它们本来就是观察结果的一部分,应保留,并说明是否需要补测。补测得到新回答时,新旧记录分别存在,不把原失败记录覆盖掉。
另一个问题是只挑容易核验的事实。长回答可能额外声称“适合全部介质”或“交期固定”,若这些结论影响采购,就需要进入完整核验清单。本文为了可复算限定两个目标陈述,真实项目还应说明额外重大错误如何记录,不能用有限目标项掩盖其他风险。
NIST 在 MS-2.5-003 建议核查生成内容的来源与引用。NIST AI 600-1 这项工作需要实际打开原文、确认对象和条件;网页可访问只是访问检查,不能自动判为支持。
从数字回到具体改进
在本例中,最优先的任务是处理被反驳的接口、替代关系和尺寸陈述;未知项需要补资料或要求回答保留不确定性;D3 的无关引用需要回查来源选择。单纯提高品牌提及,不能解决这些工业事实问题。
浙江玖叁鹿的工业 GEO 将品牌可见度、参数和工况准确性、信源引用分别记录,客户可以沿编号查看原始回答和技术依据。验收时应交付这些明细与口径说明,而非只有一个总体评分。下一轮继续使用同样规则,才有条件讨论当前样本中哪些问题改善、哪些仍然存在。
在正式项目里,还要区分目标事实检查和全回答审查。在严谨的工业实测中,目标陈述必须采用固定口径;若模型在回答中凭空捏造了未获授权的认证或资质,必须直接记为严重事实错误项。不能因为预设两项都正确,就把整条长回答标成完全可靠。报告的指标名称与审核范围必须一致。
