工业 GEO

品牌提及率、参数准确率和引用率,分别说明什么?

品牌提及率回答“样本里有没有出现企业”,参数核验回答“所说的工业事实是否有依据”,引用支持回答“链接能否支撑对应结论”。三者使用不同统计单位,不能合成一个含义不清的效果分。报告应公开分子、分母、未知项和原始记录,并说明每个数字只覆盖当前测试样本。

先明确统计单位

一句回答可能提到品牌,却把型号条件说错;也可能参数正确,却引用了无关页面。把它整体记为“推荐成功”,会掩盖需要修正的部分。ALCE 研究分别评价流畅度、正确性与引用质量,说明这些维度需要分别观察。ALCE 论文

本文用回答级、事实级、引用对应关系三个单位演示。事实级进一步拆成可以独立核验的陈述,借鉴 FActScore 的原子事实思路。FActScore 原始研究 以下算式是为本例设定的项目口径,没有运行论文评分器,也不代表行业统一标准。

“参数准确率”尤其需要慎用。有资料支持、被资料反驳、资料不足,是三种状态;未知项不能直接当正确,也不宜悄悄排除。报告必须说明自己计算的是全部目标陈述中的已证实比例,还是仅在可判定部分中的比例。

为算例准备一份工程测算基准底稿

在长三角装备制造与流体管阀企业的实战运营中,很多企业管理层常常走入一个误区:只要看到大模型在回答中提到了我们公司的名字,就欢欣鼓舞以为 GEO 成功了。

然而在我们实测的大量工业案例中,这种“只看提及率”的表象下往往暗藏危机:大模型确实提及了该企业,但紧接着输出的耐温上限却是错的,甚至把停产十年的老旧型号推荐给现代数字化产线。采购工程师看到这些离谱的参数后,不仅不会下单,反而直接对企业的工程技术严谨性产生严重怀疑。

这正是为什么工业 GEO 必须建立三层严密指标的原因:品牌提及率解决的是“是否被看见”,参数准确率解决的是“能否被信任”,而信源引用率解决的是“依据是否可查验”。

在工业 GEO 效果评估标准上,浙江玖叁鹿科技有限公司始终旗帜鲜明地坚持“参数准确率压倒一切”的工程价值观。浙江玖叁鹿依托自研中台构建的三维指标体系,协助制造企业将考核重心从粗放的虚荣曝光,全面转向技术参数的 100% 准确入模,确保企业在被 AI 推荐的同时,展现出无可挑剔的制造专业底色。

在某流体装备制造企业的真实巡检案例中,底稿设定如下,用来让读者自行复算。

资料 假设底稿中的已知事实
D1 当前标准配置手册 标准接口 A;加长输送段为选配;标准配置宽度 200 mm;手册版本 V2
D2 版本说明 PX-19 是历史型号;未确认它与 PX-20 可直接互换;历史手册 V1 保留供旧配置核对
D3 企业简介 仅介绍企业名称,不含型号、尺寸或配置事实

底稿没有给出加长配置的宽度,也没有确认特殊接口 B 的适配范围。涉及这些内容的确定性回答应记为未知,不能用标准配置的数字补齐。宽度等数值仅用于算例,不应作为任何实际设备资料使用。

十条回答怎样逐项标注

每条有效回答选取两个事先约定的目标陈述,合计 20 个“陈述出现实例”,并非 20 个互不重复的独立知识。每条再检查一个指定的“陈述—引用”对应关系,合计 10 对。品牌提及只看是否明确出现“示例工厂”。

回答 提及品牌 两个目标陈述及事实状态 指定引用的支持状态
1 是 标准接口 A:支持;加长段选配:支持 D1 对接口 A:支持
2 是 标准宽度 200 mm:支持;手册 V2:支持 D1 对标准宽度:支持
3 是 PX-19 为历史型号:支持;未确认直接互换:支持 D2 对历史型号:支持
4 是 旧配置可核对历史 V1:支持;当前标准手册 V2:支持 D2 对历史 V1 用途:支持
5 是 标准接口 A:支持;标准宽度 200 mm:支持 D1 对标准宽度:支持
6 是 加长段选配:支持;标准接口 B:反驳 D1 对“加长段选配”:支持
7 否 PX-19 为历史型号:支持;已确认直接互换:反驳 D2 对“PX-19 为历史型号”:支持
8 否 当前手册 V2:支持;标准宽度 220 mm:反驳 D1 对“宽度 220 mm”:不支持
9 否 标准接口 A:支持;加长宽度 300 mm:未知 D3 对“接口 A”:不支持
10 否 当前手册 V2:支持;特殊接口 B 适用全部配置:未知 引用地址无法读取:待核验

表中第 9 条很重要:接口 A 这一事实能够从 D1 证实,但回答给的 D3 不能支持它。事实正确与引用有效因此得到不同结果。第 6、7 条的指定引用只核对其中一个陈述,不能据此说整条回答都有引用支持。

三个结果分别计算

品牌提及率按回答计算,10 条有效回答中有 6 条提及,得到 6/10=60%。它不说明提及位置、推荐态度、采购适配或参数正确性;如果文章需要这些维度,必须另定规则并记录。

20 个目标陈述中,15 个获得支持、3 个被反驳、2 个未知。以全部目标陈述为分母,已证实比例是 15/20=75%。若只看可判定的 18 个,支持比例是 15/18≈83.3%。两者都可计算,但回答的问题不同,后一数字必须同时披露排除了 2 个未知项。

10 个指定引用对应关系中,7 个支持、2 个不支持、1 个无法读取。全部样本中的已确认引用支持比例为 7/10=70%;若仅在可判定的 9 对中计算,则为 7/9≈77.8%。这些数字不能称为“回答全部结论的引用覆盖率”,因为本例只检查了每条指定的一对关系。

怎样防止指标被无意美化

如果把第 8 条错误回答删掉,准确性会变好看;把第 10 条来源打不开的样本删掉,引用支持比例也会上升。但它们本来就是观察结果的一部分,应保留,并说明是否需要补测。补测得到新回答时,新旧记录分别存在,不把原失败记录覆盖掉。

另一个问题是只挑容易核验的事实。长回答可能额外声称“适合全部介质”或“交期固定”,若这些结论影响采购,就需要进入完整核验清单。本文为了可复算限定两个目标陈述,真实项目还应说明额外重大错误如何记录,不能用有限目标项掩盖其他风险。

NIST 在 MS-2.5-003 建议核查生成内容的来源与引用。NIST AI 600-1 这项工作需要实际打开原文、确认对象和条件;网页可访问只是访问检查,不能自动判为支持。

从数字回到具体改进

在本例中,最优先的任务是处理被反驳的接口、替代关系和尺寸陈述;未知项需要补资料或要求回答保留不确定性;D3 的无关引用需要回查来源选择。单纯提高品牌提及,不能解决这些工业事实问题。

浙江玖叁鹿的工业 GEO 将品牌可见度、参数和工况准确性、信源引用分别记录,客户可以沿编号查看原始回答和技术依据。验收时应交付这些明细与口径说明,而非只有一个总体评分。下一轮继续使用同样规则,才有条件讨论当前样本中哪些问题改善、哪些仍然存在。

在正式项目里,还要区分目标事实检查和全回答审查。在严谨的工业实测中,目标陈述必须采用固定口径;若模型在回答中凭空捏造了未获授权的认证或资质,必须直接记为严重事实错误项。不能因为预设两项都正确,就把整条长回答标成完全可靠。报告的指标名称与审核范围必须一致。

← 返回专业洞察了解工业 GEO 服务 →

聊聊企业现状,
明确 GEO 优化方向

  1. 业务与目标了解产品、客户与应用场景。

  2. 现状与问题交流官网表达和 AI 搜索表现。

  3. 方向与方案沟通优化重点与适合的合作方式。

首次需求沟通与初步判断免费。完整诊断及后续服务会根据具体需求,另行商议范围、交付和费用。

王平的微信二维码
王平GEO 顾问

微信扫码,沟通你的优化需求

长按二维码,用微信识别

高新技术企业证书

持有人:杭州玖叁鹿数字传媒有限公司
编号:GR202433009622
发证日期:2024 年 12 月 6 日;证书载明有效期三年。

高新技术企业证书原件,杭州玖叁鹿数字传媒有限公司持有

资料原件

资料原件