AI 系统的失效模式:采购决策前应当厘清的问题

传统软件出错时可能崩溃、超时或返回错误码，故障往往显性。生成式 AI 更棘手：它可能在接口完全正常时，流畅地给出错误内容；也可能回答本身没错，却在错误订单上执行了动作。若采购评估只比较“哪个模型更聪明”，就会忽略真正决定生产风险的失效链路。

失效模式分析的价值，在于把抽象的“AI 有风险”拆成可以观察、测试和分配责任的具体事件。本文借鉴 NIST 的 AI 风险管理框架，将客服系统的风险分成内容、证据、流程、行动、人机协作、分布变化、安全与可观测性八类¹。这不是穷尽清单，而是一套采购前可以实际使用的结构。

一、内容失效：流畅不等于真实

生成模型根据上下文预测后续文本，流畅性与真实性并非同一目标。NIST 将“confabulation”列为生成式 AI 的核心风险之一：系统可能自信地产生错误或虚构内容，尤其当用户把输出当作事实时，风险会放大²。

客服里的内容失效包括虚构商品参数、误述活动规则、给出未经授权的功效承诺、把个别案例概括为普遍政策等。它们的共同点是输出在语法和语气上很像正确答案，普通用户很难仅凭表面识别。

斯坦福 RegLab 与 HAI 对专业法律 AI 工具的研究发现，使用检索和引用并未消除错误，工具仍可能给出被引材料无法支持的命题³。该研究不能直接外推电商错误率，却足以推翻“有检索、有引用就不会幻觉”的强假设。

控制内容失效，不能只靠“请不要编造”的提示词。需要证据归因、敏感话题规则、拒答策略和按严重度分层的测试集。

二、证据失效：资料真实，映射可能错误

RAG 系统会先检索再生成，因而增加了证据链。新的失败包括：没有召回正确文档、切分丢失限定条件、版本冲突、排序把噪声放在前面，以及模型没有忠实使用证据。RAGAS 把上下文相关性、答案忠实度等分别评估，正说明“检索质量”与“生成质量”不能混成一个分数⁴。

长上下文也不是无限保险。TACL 的“Lost in the Middle”实验表明，关键信息位于上下文不同位置时，模型表现可能显著变化⁵。把整本规则手册塞进提示词，会提高召回覆盖，却可能降低模型对关键条款的利用率。

采购时应要求供应商展示“错误归因矩阵”：某个 badcase 究竟是知识源错误、召回错误、排序错误、生成错误还是引用错误。没有这一层，修复通常退化为反复改提示词。

三、流程失效：局部正确不等于任务完成

客服任务由多个步骤组成：识别意图、补齐信息、查询状态、选择政策、生成回复、必要时执行动作。模型可能每一步看似合理，最终却没有解决用户目标。例如，它准确解释了退货政策，却没有发现订单已过时限；推荐内容都真实，却漏掉用户的预算限制。

端到端任务完成率因此比单句准确率更重要。评测应以“用户目标是否完成、约束是否满足、是否产生副作用”为单位，而不是只让评分者判断回复是否自然。

多步骤系统还会出现错误传播：前一步误判意图，后续检索和工具调用都会在错误前提上继续。把每个环节的平均准确率简单相乘只在特定独立假设下成立；更严谨的做法是记录条件成功率，即在前序正确的条件下本步成功的概率，并直接测量完整轨迹。可靠性模型的核心提醒仍然成立：串联系统只要一个必要环节失败，端到端就可能失败⁶。

四、行动失效：会说错与会做错不是一个风险等级

当 Agent 只能起草文字时，错误主要影响信息；一旦它能改地址、发券、退款、建工单或触达客户，错误会转化为真实动作。常见失效包括：

• 对错订单执行正确操作；
• 在未核验身份时暴露或修改信息；
• 重复调用导致重复赔付；
• 工具返回失败却向用户声称成功；
• 越过金额、次数或角色权限；
• 被恶意文本诱导调用不应使用的工具。

OWASP 面向大模型应用的风险清单把提示注入、敏感信息泄露、过度代理和不安全输出处理列为重要风险⁷。这说明“模型回答准确”只是行动安全的一部分。

控制行动风险应采用最小权限、参数校验、幂等、金额限额、二次确认、工具结果回读和高风险动作人工审批。模型负责提出意图，确定性系统负责验证能否执行；二者责任不能混在一个提示词里。

五、分布失效：上线环境不是训练集的复制

离线测试通常来自历史数据，而上线后会遇到新品、新活动、季节变化、平台规则变化和新的用户表达。即便模型没有更新，输入分布也在变化。持续预训练研究指出，现实语料会随时间偏离初始分布，适配新数据还可能引发旧知识遗忘⁸。

平均指标对此不敏感。一个模型在高频旧场景上维持高分，可能在刚上线的新 SKU 上连续失败。监控必须分层到行业、店铺、渠道、意图、商品和时间段，并检测分布漂移、拒答率突然变化、工具失败和新型 badcase。

NIST 2026 年关于部署后监控的报告也强调，预部署评测处于受控环境，生产监控用于发现非确定输出、动态输入和意外影响⁹。上线不是“通过考试后永久有效”，更像进入一场长期现场实验。

六、人机协作失效：人工在环也可能放大错误

“有人复核”常被当作万能兜底，但人可能受到自动化偏误影响：当系统建议语气笃定、界面又突出显示时，复核者更容易接受错误答案。反过来，如果告警过多、质量太低，人员会产生告警疲劳，最终机械点击通过。

人机系统应优化的是联合表现，而不是分别报告“模型 90 分、人工 95 分”。Google Research 关于联合决策的理论与实验工作表明，当人工被算法排序锚定时，协作甚至可能比单独决策更差¹⁰。虽然任务不同，机制同样值得客服系统警惕。

改进方法包括：对高风险场景隐藏模型置信度或先让人工独立判断；展示证据而非只展示结论；抽样盲审；统计人工修改率、误接纳率和处理时长；把人工反馈质量也纳入培训与复核。

七、安全失效：攻击者会主动寻找边界

普通 badcase 来自自然分布，安全失效则来自有意操纵。用户可能在文本、图片或被检索文档中嵌入指令，诱导系统忽略店铺规则、泄露系统提示或调用工具。外部知识库若允许未经审核的内容进入，还会产生间接提示注入。

防护不能只在模型前放一条“不要听用户恶意指令”。需要信任边界：系统指令、业务规则、检索内容和用户内容应被明确区分；工具参数只能从允许字段生成；敏感数据在进入模型前最小化；日志要能追踪一次动作由哪些内容触发。安全测试还应覆盖多轮诱导、编码变体、图片文本和工具返回中的恶意内容。

八、可观测性失效：最危险的是错了却不知道

AI 系统可能没有错误码。若日志只保存最终回复，就无法重建事故。最低限度应记录：输入与会话上下文版本、检索文档及版本、模型与提示词版本、工具请求与返回、置信或风险信号、人工介入和最终业务结果。涉及个人信息时，日志还必须遵循最小化、访问控制和保留期限。

可观测性不是为了“多存数据”，而是为了回答四个问题：发生了什么，为什么发生，影响了谁，修复是否有效。每个严重 badcase 都应进入事件流程：分级、止损、根因、修复、回归测试和关闭条件。只有这样，“持续学习”才不会变成不可审计的自动回流。

九、采购前的失效模式表

采购方可以要求候选供应商共同填写一张表。每个场景至少包含：

字段	要回答的问题
失效事件	什么结果算失败
触发条件	在何种输入、状态或版本下出现
严重度	对用户、合规、金额和品牌的影响
可检测性	系统如何在投诉前发现
控制措施	预防、拦截、转人工还是事后恢复
责任人	谁有权停止、回滚和重启
验证证据	哪个测试证明措施有效
剩余风险	哪些风险被接受，依据是什么

严重度、发生概率和可检测性应分开。一个发生率很低但会导致大额误赔的事件，不能被海量正确问答平均掉。

十、应要求哪些数字

至少要求以下指标按场景和严重度分层：

• 端到端任务完成率，而非单句“准确率”；
• 严重错误率与每万次会话事件数；
• 证据支持率、检索召回与过期知识命中率；
• 拒答、补问、转人工及人工推翻率；
• 工具调用成功率、重复动作率和未授权动作数；
• 新问题发现到止损、修复、验证的时间；
• 模型版本变更后的回归通过率；
• 漂移场景与长尾场景的单独表现。

还要追问分母、时间窗、抽样方法、置信区间和数据排除规则。没有这些，百分比只是一种修辞。

十一、把失效模式纳入合同与验收

风险清单如果只留在技术文档里，采购阶段仍可能被功能演示取代。合同与验收应明确关键指标口径、严重事件通报时限、日志可得性、数据用途、模型升级通知、回滚责任和终止后的资产处置。对依赖第三方基座或工具的部分，还要说明供应链变更时谁承担重新评测。

服务等级不宜只约定可用率。接口 99.9% 在线，却持续生成错误答案，并不构成可靠服务。更完整的约定应同时覆盖系统可用、任务质量、风险事件与恢复能力，并给客户保留抽查和复验权。

结语

AI 的核心风险不是“偶尔答错”，而是失效可以同时具备流畅、隐蔽、可扩散和可执行四个特征。采购一套系统，本质上是在采购它如何定义、检测、限制和修复这些失效。

成熟方案不承诺零错误，而会展示一套完整证据：哪些地方会错，错了如何被看见，何时必须停下，谁负责恢复，以及同类错误是否通过回归测试得到控制。要继续理解这些控制如何落到产品，可读四道防线与三级上岗路径。

Footnotes

1. Tabassi, “Artificial Intelligence Risk Management Framework (AI RMF 1.0),” NIST AI 100-1, 2023。NIST ↩

2. NIST, “Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile,” NIST AI 600-1, 2024。官方 PDF ↩

3. Magesh et al., “Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools,” Journal of Empirical Legal Studies, 2025。期刊全文 ↩

4. Es et al., “RAGAs: Automated Evaluation of Retrieval Augmented Generation,” EACL 2024。ACL Anthology ↩

5. Liu et al., “Lost in the Middle: How Language Models Use Long Contexts,” TACL 2024。ACL Anthology ↩

6. NIST/SEMATECH, “Series Model,” e-Handbook of Statistical Methods。该模型明确要求必要组件与独立性等假设；AI 链路应以条件成功率或实测轨迹校验这些假设。NIST ↩

7. OWASP, “Top 10 for Large Language Model Applications 2025.” 官方项目 ↩

8. Jin et al., “Lifelong Pretraining: Continually Adapting Language Models to Emerging Corpora,” NAACL 2022。ACL Anthology ↩

9. Rao et al., “Challenges to the Monitoring of Deployed AI Systems,” NIST AI 800-4, 2026。NIST ↩

10. Donahue, Gollapudi & Kollias, “When are Two Lists Better than One? Benefits and Harms in Joint Decision-Making,” AAAI 2024。研究指出协作收益依赖交互设计，锚定会损害联合表现。Google Research ↩