为什么及格线是 95% 而非 70%:实时场景的准确率数学

很多 AI 演示单轮回答很好，上线后却在多轮、工具和真实规则中失效。原因不只是模型变笨，而是评价对象发生了变化：演示常测一句回答，生产要求完整完成用户任务；演示可以人工挑题，生产面对真实分布；演示允许重试，实时岗位必须在有限时间内行动。

未来对话把实时、低人工兜底客服的自主完成目标设为 95%+，把异步、可人工补救场景的可用起点概括为约 70%。这两个数字是产品与运营门槛，不是同行评审研究得出的普适常数，也不是对未来对话现有表现的声明。本文要解释的是：为什么实时自主场景需要显著高于“多数时候可用”的门槛，以及五层乘积应怎样正确理解。

一、先区分四个经常混用的指标

回复准确率：某条回复的事实、规则和表达是否正确。 任务完成率：用户目标是否在完整会话中完成。 自主完成率：无需人工接管而完成的任务比例。 服务水平：在时间、质量、成本和风险约束下完成的比例。

四者不能互换。系统可能每条回复都很礼貌，却没有完成退款；也可能把大量困难问题转人工，从而保持很高回复准确率，但自主完成率很低。采购时只问“准确率”没有意义，必须说明单位、分母、时间窗和人工角色。

实时客服还要定义响应预算。未来对话对在线文字客服的对外能力口径是 10 秒内完成一次完整销售决策链路；这是一项响应能力描述，不等同于平均响应时长，也不是准确率。时间与质量必须分别测量。

二、为什么异步场景可以容忍更低自主率

工单、邮件和研究类任务允许排队、重试、人工复核与稍后补救。AI 即使只独立完成一部分，也可能降低积压；未完成任务仍可在服务时限内交给人。此时自动化的边际价值从较低覆盖开始就可能为正。

实时对话不同。用户在线等待，频繁转接会增加重复说明和流失；夜间或大促时可能没有足够人工；百万级交互若依赖持续人工兜底，成本又回到人力规模。于是“多数可用”不等于“可替代岗位”。

95%+ 的意义不是宣称剩余 5% 不重要，而是把自主系统的目标设到足以改变组织流程的水平，并为剩余场景设计明确兜底。具体门槛应由用户耐心、错误成本、人工容量和业务价值校准，不同企业可能不同。

三、五层乘积的正确数学

未来对话把一次生产能力拆成五层：

1. 数据层；
2. 模型层；
3. 训练调优层；
4. Agent 架构层；
5. 评估反馈层。

直观表述是“整体可靠性来自五层共同成立”。若把每层看作一个必要事件，定义：

• S1：数据条件满足；
• S2：在 S1 满足下模型判断正确；
• S3：在前两层正确下适配行为正确；
• 依此类推。

根据概率链式法则：

P(S1∩S2∩…∩S5) = P(S1) × P(S2|S1) × … × P(S5|S1…S4)。

这里使用的是条件成功率，不要求把现实层级武断地假设为独立。若直接用每层边际准确率相乘，则需要独立等额等强假设，通常不成立。NIST 的串联系统可靠性模型也明确列出“必要组件”和“独立失效”等适用条件¹。

因此，五层乘积适合做可靠性预算与直觉演示，不能把五个难以观测的“层准确率”当成真实测量后机械相乘。

四、99% 的五次方说明了什么

在一个纯示意情形中，若五个必要层的条件成功率相同，则：

每层条件成功率	五层端到端示意	含义
90%	59.0%	多数单层看似不错，整体仍低
95%	77.4%	单层优秀不代表端到端达标
99%	95.1%	为 95% 整体目标分配的示意预算

这张表不是未来对话效果统计，也不证明现实恰好有五个独立步骤。它表达一条普遍可靠性规律：当多个必要条件串联时，局部小误差会累积，整体门槛会迫使每个环节都很强。

若有十个同等必要步骤，要让整体达到 95%，每步条件成功率约需达到 0.95 的十次方根，即约 99.49%。这同样是可靠性预算，不是对任一模型的实测要求。

五、相关错误会让简单乘法失真

现实中的错误往往相关。错误知识会同时影响检索、生成和评测；前一步误判意图，会把后续所有步骤带到错误路径。相关性可能让整体表现比独立乘积更差，也可能因冗余和纠错变得更好。

长上下文研究显示，关键信息位置会系统性影响多种模型表现²，这不是随机独立噪声。RAG 评测也把检索质量与生成忠实度分开，正因为它们存在结构关系³。

因此，最可信的方法不是只算理论乘积，而是直接回放完整任务轨迹，记录每一步的条件成功、错误来源和最终结果。数学用于解释与分配预算，端到端实验用于验证。

六、重试、冗余和人工会改变结构

若某一步可以重试，系统不再是简单串联；若两个独立检查器任一成功即可通过，则接近并联系统；若人工只处理高风险样本，则形成选择性系统。NIST 可靠性手册区分串联、并联与 r-out-of-n 等结构，说明系统可靠性取决于拓扑和假设⁴。

实时客服的约束在于重试与长反思会消耗时间，用户不一定等得起。合理策略通常是：

• 简单任务走低延迟路径；
• 证据不足时补问；
• 复杂任务升级更强模型；
• 高风险任务转人工；
• 工具失败时明确降级；
• 不允许模型用更多文字掩盖不确定。

这也是为什么“10 秒内”要求的是系统协同，不是单个模型生成速度。

七、95% 仍然可能不够

平均 95% 自主完成不代表安全。若剩余 5% 全部集中在高损失场景，系统仍不可上线。必须同时看错误严重度。例如：

• 低风险：格式、语气或轻微延迟；
• 中风险：错误推荐、漏掉优惠；
• 高风险：隐私、功效、金额、身份和越权动作。

可用性应定义为约束集合：自主完成达到目标，严重错误低于红线，延迟满足服务水平，人工负荷可承受，各用户群体没有显著劣化。一个平均值不能替代风险分层。

八、拒答与转人工怎样进入数学

允许系统拒答，会产生风险—覆盖曲线。覆盖越低，理论上可以只处理最有把握样本，从而降低已接受样本风险；选择性预测研究正是研究这种带拒绝选项的系统⁵。

但自主完成率会随拒答上升而下降。运营要选择一个点，使自动覆盖足够高、错误成本可接受、人工容量不被压垮。不能只优化其中一项：

• 只追求准确，会把大量问题转人工；
• 只追求自主，会冒险回答不确定问题；
• 只追求成本，会牺牲客户体验和风险；
• 只追求速度，会跳过必要核验。

95%+ 目标的管理意义，是把这组权衡拉到能真正改变岗位结构的位置。

九、评测集怎样设计

要验证实时自主能力，评测集应满足：

代表性：按真实意图、渠道、店铺、时段和商品分层； 长尾性：纳入低频、高损失和对抗场景； 时间外：保留新商品、新活动和新表达； 任务级：评价完整目标，而非单句； 结果级：连接工具成功、成交、退货或投诉； 独立性：训练团队不能完全控制评测； 可重复：固定知识、模型、提示词和工具版本。

还应报告置信区间。若高风险场景样本很少，“零错误”可能只是测试不足。按严重度设最低样本量，并使用上线监控补充离线覆盖。

十、线上监控为何不可替代

预部署测试无法覆盖所有动态输入。NIST 2026 年部署后监控报告指出，生产监控用于验证系统在真实场景中的可靠运行、追踪非确定输出与动态输入导致的意外结果⁶。

上线后至少观察：

• 场景级自主完成与严重错误；
• 拒答、补问和人工接管；
• 工具失败与重复动作；
• 新意图和分布漂移；
• 延迟的 P50/P95/P99；
• 人工推翻与客诉；
• badcase 发现到修复时间。

指标必须按版本切分，否则一次基座或知识更新造成的退化会被总体平均掩盖。

十一、对采购者最重要的六问

1. 95% 指回复、任务还是自主完成？
2. 分母是消息、会话、用户还是订单？
3. 结果来自实验室、影子流量还是正式生产？
4. 简单与高风险场景是否分别报告？
5. 转人工是否算失败，人工补救成本是否计入？
6. 模型、知识和工具更新后如何重跑端到端回归？

如果这些问题没有答案，再高的百分比也不能指导采购。

十二、五层应该怎样各自负责

数据层保证来源、版本、授权和覆盖； 模型层选择适合质量、延迟和成本的基座与组合； 训练调优层让高频稳定行为适配目标分布； Agent 架构层控制检索、工具、权限、路由与降级； 评估反馈层用独立测试、监控和事件回归防止自欺。

“Demo 只要一层做好，生产要五层都做好”因此不是贬低演示，而是提醒评价单位从局部能力转向完整岗位。

十三、门槛应随真实损失函数校准

95%+ 是一个明确的运营目标，但企业仍应根据自身损失函数做压力测试。高客单、强合规场景可能要求更低的严重错误与更保守覆盖；低风险信息查询则可以接受更高自主。阈值不应由竞争宣传决定，而应由错误成本、人工容量、用户等待和可逆性共同决定。

还应定期重估。模型、流量、人员和业务规则变化后，原先的最优点可能不再适用。门槛稳定，测量方法与风险分布却必须持续更新；否则“达到 95%”会变成一次性证书，而非持续服务能力。

结语

95% 不是神奇常数，而是一条针对实时、低人工兜底岗位的高自主目标。它之所以显著高于“多数时候可用”，是因为生产任务由多个必要条件组成，错误会沿链路传播，实时场景又限制重试与人工补救。

五层乘积最适合用作可靠性预算：说明每层都不能只做到“差不多”。最终是否达标，仍要靠条件概率定义、端到端回放、风险分层、置信区间和线上监控证明。要继续看不确定性怎样转为安全覆盖，可读四道防线；要看各层常见错误，可读AI 系统的失效模式。

Footnotes

1. NIST/SEMATECH, “Series Model,” e-Handbook of Statistical Methods。串联系统乘积模型要求必要组件与独立失效等假设。NIST ↩

2. Liu et al., “Lost in the Middle: How Language Models Use Long Contexts,” TACL 2024。ACL Anthology ↩

3. Es et al., “RAGAs: Automated Evaluation of Retrieval Augmented Generation,” EACL 2024。ACL Anthology ↩

4. NIST/SEMATECH, “How Can You Evaluate Reliability from the Bottom-Up?” 包含串联、并联与 r-out-of-n 模型。NIST ↩

5. Geifman & El-Yaniv, “SelectiveNet: A Deep Neural Network with an Integrated Reject Option,” ICML 2019。PMLR ↩

6. Rao et al., “Challenges to the Monitoring of Deployed AI Systems,” NIST AI 800-4, 2026。NIST ↩