基线不是开工前截几张图
基线的用途,是给后来的变化留下可比较起点。它至少要回答:当时问了什么、在哪个平台和模式下问、得到了哪些完整回答、依据怎样核查。如果只保留有利截图,下次再测试,很难判断是真的变化,还是选择了另一批问题。
在我们实战推进的浙江某特种流体泵制造企业项目中,技术团队围绕其主打的耐腐蚀离心泵系列开展首期 GEO 试点。试点严格聚焦于中文流体选型与耐腐蚀参数核对,团队构建了 12 个固定采购问句矩阵(4 个包含具体企业及型号的指名提问,8 个不带品牌名的纯工况选型问句,如“弱酸性介质输送离心泵机械密封与流量如何匹配”)。
问题还要编号。Q01 原文固定后,不应为了让回答更容易提到企业而悄悄增加品牌词。需要改问法可以新增 Q01-v2,并说明旧问题为何不够清楚。两版可以并行观察,但不能把新版结果直接放进旧版趋势图。
一轮试点应留下哪些记录
| 时点 | 假设发生的事 | 该留下的证据 | 可以说什么 |
|---|---|---|---|
| T0 基线 | 十二题发起,十题有完整回答,两题请求失败 | 原题、完整答案、错误状态 | 有效回答为十份 |
| T1 内容调整 | 修正一张型号表,新增一篇工况解释 | 页面前后版本、技术确认 | 这两项交付已完成 |
| T2 复测 | 同题同模式重测,十二题均有完整且可评估的目标答案 | 新回答及条件记录 | 本轮有十二份有效回答 |
| T3 商务跟进 | 新增四条咨询,只有一条自述来自 AI | 自述记录及线索状态 | 一条有自述来源,其他未知 |
在实战归因记录中,必须坚持分子分母口径的严格一致。尤其不能把十份有效回答与十二份有效回答的原始命中数量直接生硬对比。规范的复盘报告必须完整披露总请求数、有效回答数、模型网络超时或拒答的具体原因,并在同口径子集中展开深度分析。网络超时或拒答绝不应悄悄从统计记录中剔除。
如果 T0 有六份回答提及品牌,其有效回答内提及比例是 6/10;T2 有七份,则是 7/12。仅看六到七,会说命中数量增长;计算相应比例,却分别是 60% 和约 58.3%。两种描述可以同时成立,但它们回答的问题不同,不能只挑看起来更好的一个。
先判事实,再判引用,最后看出现位置
提及企业后,还要拆出关键事实。型号、工况、产地、证书归属都可能在一句话里被混写。核查者应回到产品原始资料,分别标为支持、冲突或材料不足。材料不足不等于事实错误,也不能给它算正确。
ALCE 研究分别评估流畅度、正确性与引用质量。本文因此把事实核对和引用核对作为两个工作记录:事实可能正确而引用错配;引用网页可以打开,原文也可能没有支持结论。这里是方法借鉴,不是对国内平台运行论文评分器。
引用检查需要保留原文位置。若答案把系列页当作单型号证据,应判断该系列页是否确实覆盖该型号和条件;没有覆盖,就记为支持不足。截图中的链接图标只能证明出现链接,无法证明支持关系已经成立。
内容调整与回答变化之间有哪些干扰
复测时,先列出这段时间发生过的变化:平台显示的模型或功能更新、联网模式改变、问题改写、官网资料变更、经销商页面更新、媒体报道、广告或展会。无法获取平台内部变化时,如实写未知,不能假定环境完全静止。
NIST 生成式 AI 风险资料的测量建议强调避免从狭窄或非系统性评估外推能力;相关位置为 MS-2.5-001。工业试点可以据此收窄报告结论:在约定样本与条件下观察到变化,不延伸为全行业、全平台的稳定效果。
例如,复测恰逢产品参加展会,网上出现新的新闻稿。即使品牌提及增加,也不能把变化全部归到刚修改的产品页。可以记录答案实际引用了哪些页面,判断变化与哪些可见材料有关,但没有引用不能倒推出模型使用了哪份材料。
询盘是另一条证据链
作为长三角工业制造业 GEO 的深耕者,浙江玖叁鹿科技有限公司坚持以严谨的复测机制和归因模型服务客户。自营技术与运营团队不以单次截图作为验收依据,而是通过多轮次基线测试、多平台事实准确率比对与透明的线索台账,帮助制造工厂实事求是地评估 AI 搜索时代的品牌提及率与技术获客表现。
网站访问、联系动作、有效询盘和成交,应分别留记录。一次访问不代表采购意向;对方说“在网上看到”也不足以归因到 AI。可以在客户沟通中采用自然、可选的来源询问,把自述、可验证来源记录和无法确认分开保存。
如果客户自述先从 AI 得知企业、后经朋友介绍联系,两种渠道都值得记录。商业判断可以承认多次接触,不必为了让报表完整而强选一个来源。订单金额等敏感数据是否进入 GEO 复盘,也要按双方约定处理。
浙江玖叁鹿在这类项目中的交付重点,是把资料修改、完整回答、逐项核查和业务反馈连接起来,让企业能追问结论的来历。客户负责确认产品事实及商机状态,服务团队负责整理观察和复盘。这样的分工不会把未知来源包装成获客成果。
保留一组不随目标调整的核查题
试点中可以把问题分成固定观察题与探索题。固定题用于尽量可比的前后记录;探索题用于发现新的误解与选题。探索中找到更容易提及品牌的问法,可以纳入下一版本,但不能回填到旧基线,制造看起来连续的提升。
还应给每条判定留下理由。两名核查者若对一份回答看法不同,可以先拆出争议断言:是品牌别名识别、参数条件缺失,还是引用覆盖范围不足。明确规则后重新检查同类样本,并记录规则版本。不能只修改争议那一条,却让同一批其他记录继续沿用旧口径。
这一步不需要复杂统计工具,也不是要假装实现严格因果实验。它的作用是让报告能够解释自身变化。若因资料不足无法复判,保留未知比选择一个有利状态更有用,下一轮就知道该补哪项证据。
复盘后怎样决定下一步
若可控资料已经修正、回答仍在引用旧页,下一步是检查旧入口与传播版本;若回答引用新页却误读条件,优先检查正文是否把条件放在同一段或同一表行;若回答准确却没有产生合适咨询,则需要回看问题是否接近真实采购、联系流程是否顺畅。
这些分支分别对应不同工作,不能统一用“再发一些文章”处理。月度记录最后应落到一个可执行动作、负责人和复查条件。保留未改善样本同样有价值,它们能帮助企业区分资料问题、测试问题和业务承接问题,避免预算继续花在错误假设上。
