四道防线:AI 面对不确定性时的处理机制

评价 AI 客服，不能只问“答对多少”，还要问“无法确定时做什么”。生成模型最危险的失败不是沉默，而是用流畅语气填补证据缺口。可靠系统不应把“总能回答”当作目标，而应在覆盖率、错误损失和人工成本之间做显式取舍。

未来对话把不确定性治理概括为四道防线：知之为知之、敏感话题拦截、实时质检预警、badcase 响应与回流。它们分别作用于回答前、生成中、运行时和事件后。四道防线不是保证零错误，而是降低错误发生、暴露和重复的概率。

一、第一道：知之为知之

第一道防线要求系统在证据不足、冲突或超出能力范围时停止回答，改为补问、拒答或转交。机器学习中，这对应选择性预测或带拒绝选项的预测：系统只对一部分样本作答，并同时报告已覆盖样本的风险¹。

这道防线不能只依赖模型口头说“我不确定”。大模型的语言置信与真实正确率未必校准。更稳健的风险信号应组合：

• 是否召回必要证据；
• 证据之间是否冲突；
• 答案主张是否逐项得到支持；
• 输入是否远离已知训练分布；
• 工具状态是否完整；
• 多个独立检查器是否一致；
• 当前意图的历史严重错误率。

系统要建立风险—覆盖曲线：随着自动处理范围扩大，错误率如何变化。低风险问答可接受更高覆盖，高风险赔付或功效问题应使用更保守阈值。只报告“转人工少”会掩盖系统是否把不确定样本冒险留在自动链路里。

二、拒答也可能不公平或不可用

选择性预测并非天然安全。研究发现，随着总体覆盖率下降，少数子群体的表现不一定同步改善，拒答策略可能扩大分组差异²。客服里，如果系统更常把方言、老年用户表达或少见设备型号转给人工，表面总体错误下降，特定用户的等待时间却上升。

因此，拒答率应按渠道、语言风格、地区、商品和用户群体分层。还要观察“错误拒答”：证据充分却频繁交人工，会让自主系统失去经济意义。第一道防线的目标不是少答，而是把有限自主覆盖放在最可靠的范围。

三、第二道：敏感话题拦截

有些内容不能等模型自行判断。政治、隐私、健康功效、歧视、竞争对手、赔付金额和内部信息等主题，需要明确策略和动作。第二道防线应由确定性规则、分类器、权限和人工审批共同组成。

拦截可发生在三个位置：

1. 输入侧识别越权、注入和敏感请求；
2. 生成侧检测即将输出的风险主张；
3. 动作侧验证工具权限、参数和金额。

OWASP 大模型应用风险清单把提示注入、敏感信息披露、过度代理和不安全输出处理列为关键风险³。这意味着敏感拦截不只是关键词屏蔽。攻击者可以改写、编码、把恶意指令放入图片或检索文档，系统必须区分用户内容、外部证据和高优先级规则。

对于高风险动作，应采用最小权限、白名单参数、幂等、限额和二次确认。模型可以提出“建议退款”，但确定性系统决定当前订单、用户角色和金额是否满足条件。

四、敏感拦截的常见误区

关键词表会产生两类问题：用户正常讨论被误伤，恶意表达又能通过同义改写绕过。只用一个分类器同样会面临分布外输入。更稳健的策略是多层控制，并记录每次拦截的规则、模型版本和原因。

还应区分“替换话术”和“静默转交”。某些场景可以用经过法务确认的固定表述，某些则不应生成任何实质答案。用户体验上，系统应尽可能解释需要补充什么或为什么要人工处理，但不能泄露内部安全规则。

拦截效果要用精确率、召回率和严重漏放分别评估。海量安全样本会让总体准确率看起来很高，真正重要的是少量红线是否被放过。

五、第三道：实时质检预警

前两道防线在回答或动作前控制风险，第三道防线观察真实运行。实时质检应检测：

• 回复是否得到证据支持；
• 是否违反品牌与合规规则；
• 用户情绪是否持续升级；
• 工具是否失败或状态不一致；
• 模型置信与历史风险是否异常；
• 同类问题错误是否突然上升；
• 新商品、新活动下是否出现分布漂移。

NIST AI RMF 要求记录评测方法、在类似部署条件下测量，并监控生产表现⁴。NIST 2026 年部署监控报告进一步指出，动态输入、非确定输出与意外影响使生产监控成为必要实践⁵。

“全量质检覆盖”是一项覆盖能力承诺，不是“100% 正确”。任何自动质检器都有漏报和误报，因此必须抽样人工盲审、测量检测器本身的召回率，并定期用新事件更新测试集。

六、预警之后必须有动作

监控没有处置就只是仪表盘。每类告警应预先定义：

• 谁收到；
• 多久响应；
• 是否自动暂停某意图或工具；
• 是否切回副驾；
• 是否通知用户与业务负责人；
• 需要保存哪些证据；
• 何种验证通过后才能恢复。

告警太多会造成疲劳。应按影响、置信和可逆性分级，合并重复事件，并持续评估告警命中率。高风险、低频事件可以更敏感；低风险格式问题不应淹没真正事故。

实时预警的价值还在于缩短暴露窗口。即使无法阻止第一例错误，也能避免同类错误在大流量中复制。

七、第四道：badcase 响应与回流

前三道仍不可能覆盖所有未知问题。第四道将已发生事件转化为可验证修复，流程至少包括：

1. 记录并按严重度分级；
2. 止损：暂停场景、工具或版本；
3. 重建当时输入、证据与动作；
4. 做根因分析，定位数据、检索、模型、规则、工具或人机界面；
5. 选择正确修复载体；
6. 把事件加入独立回归集；
7. 验证修复没有损伤其他场景；
8. 灰度恢复并继续监控。

“回流训练”只是第六步附近的一种选择。若根因是过期政策，应更新知识与版本；若是工具幂等失败，应修代码；若是权限过宽，应收紧权限。把所有 badcase 都丢给微调，会把系统问题藏进参数。

八、为什么不能说“同类错误不会再犯”

即使事件进入训练集，模型也可能因随机性、改写或后续版本再次犯错。训练还可能过拟合单个案例，导致相邻场景退化。更严谨的目标是：为每个严重事件建立回归族，包括原始样本、语义改写、边界条件和相反规则；新版本必须全部通过，并在生产监控中观察重复事件率。

模型卡方法强调记录模型预期用途、限制与不同条件下表现⁶。每次重大修复也应更新限制说明，而不是只在内部工单上标“已解决”。

九、四道防线如何联动

四道防线并非串行的四个按钮，而是一套闭环：

• 第一层控制是否回答；
• 第二层控制哪些内容和动作禁止自由生成；
• 第三层控制上线后是否持续符合预期；
• 第四层控制发现问题后怎样形成可验证改进。

如果第一层阈值过松，第三层告警会爆炸；如果第二层没有工具权限控制，第三层只能事后发现损失；如果第四层没有独立回归，修复无法证明。系统设计需要整体平衡覆盖、风险、人工负荷和响应时间。

十、四道防线的评测矩阵

防线	核心指标	必做反例
知之为知之	风险—覆盖、错误拒答、严重漏答	证据不足、冲突、分布外输入
敏感拦截	红线召回、误伤、越权动作	改写、编码、间接提示注入
实时质检	严重错误检测召回、告警命中、响应时间	新商品、工具失败、情绪升级
badcase 回流	修复周期、回归通过、重复错误率	语义改写、相反规则、旧场景回归

所有指标都应按风险等级和用户群体分层。仅给一个总体“质检准确率”无法支撑可靠性判断。

十一、与三级上岗路径的关系

影子阶段主要验证第三、第四道：系统能否看见错误并建立回归。副驾阶段强化第一道，由人工对低置信建议作出判断，同时收集高质量修改。完全自主阶段才允许前两道在授权范围内直接控制用户输出与动作，并由第三道持续监控。

因此，四道防线不能在全量自主前临时补上。它们应从影子期就运行，先证明可检测与可恢复，再扩大权限。

十二、采购方的核验问题

1. 低置信度由什么信号构成，是否做过校准？
2. 拒答率与已接受样本风险是否同时报告？
3. 敏感规则由谁批准，版本是否可追溯？
4. 工具动作是否有最小权限、限额和幂等？
5. “全量质检”检测器自身的漏报率是多少？
6. 严重告警多久能暂停相关场景？
7. 最近一次 badcase 的根因和回归证据是什么？
8. 模型升级后，历史事件测试是否全部重跑？
9. 哪些错误通过改知识或代码修，哪些才进入训练？
10. 人工转交是否对某些用户群体明显更高？

能回答这些问题，比展示一句“我们不幻觉”更可信。

十三、防线本身也要接受红队测试

防线不能只用正常用户样本验收。测试团队应主动构造证据缺失、相互冲突、权限越界、隐晦敏感表达、间接提示注入、工具超时和多轮情绪升级，观察系统在哪一道被接住。红队样本应与日常回归分开管理，防止反复调参后只记住固定题目。

还要测试“防线同时失效”的组合：检索返回过期规则，质检器又使用同一知识源；模型置信很高，界面导致人工误接纳。组合测试更接近真实事故，也能验证不同防线是否真的独立。

结语

可靠 AI 不以“永不犯错”为承诺，而以“错误更难发生、更快暴露、影响受限、修复可验证”为目标。知之为知之降低冒险回答，敏感拦截守住硬边界，实时质检缩短暴露窗口，badcase 流程把事件变成回归资产。

少数交回人工的场景不是被忽略，但也不能仅因“被设计过”就自动安全；每道防线都要有指标、反例和责任人。要继续理解这些机制如何随权限逐级启用，可读三级上岗路径；要看更完整的风险分类，可读AI 系统的失效模式。

Footnotes

1. Geifman & El-Yaniv, “SelectiveNet: A Deep Neural Network with an Integrated Reject Option,” ICML 2019。PMLR ↩

2. Shah et al., “Selective Regression under Fairness Criteria,” ICML 2022。研究表明拒绝策略可能在子群体间产生不同风险变化。PMLR ↩

3. OWASP, “Top 10 for Large Language Model Applications 2025.” 官方项目 ↩

4. NIST AI RMF Core, Measure 2.1–2.4。NIST AIRC ↩

5. Rao et al., “Challenges to the Monitoring of Deployed AI Systems,” NIST AI 800-4, 2026。NIST ↩

6. Mitchell et al., “Model Cards for Model Reporting,” FAT* 2019。ACM ↩