检索增强(RAG)的能力边界:为什么它不足以独立支撑实时客服

“我们用了 RAG”已经成为 AI 客服方案里最常见的一句话。它说明系统不是只依靠大模型参数中的旧知识，而会在回答前查询商品、规则或政策资料；但它并不等于“回答已经可靠”。从方法上说，RAG 是一种开放资料的方式，不是一张质量保证书。

本文要论证的不是“RAG 无效”，而是一个更严格的命题：RAG 对需要实时知识的客服系统通常有必要，却不足以单独保证端到端结果。要判断一套系统能否上线，必须把“检索到了什么”“模型是否忠实使用证据”“该不该回答”以及“上线后如何发现错误”分开测量。

一、RAG 真正改变了什么

Lewis 等人在 2020 年提出的经典 RAG 框架，把语言模型的参数化记忆与可检索的非参数化记忆结合起来：系统先根据问题取得若干文档，再以这些文档为条件生成答案¹。这带来三项实质收益。

第一，知识可以更新。库存、活动、物流政策经常变化，如果所有事实都依赖重新训练模型，维护成本与时效都不可接受；外部知识库允许在不改模型参数的情况下更新事实。第二，答案可以附着证据。系统至少有机会说明“依据哪条规则”，便于复核。第三，知识边界更容易按企业、店铺或权限隔离。

然而，RAG 并没有把生成模型改造成数据库。它只是把“凭记忆作答”改成“先找资料，再由生成模型作答”。原来一个不确定环节变成了检索、排序、上下文组织、生成与引用五个环节。能力上限提高了，潜在失效点也增加了。

因此，更准确的表述应是：RAG 提供了可更新、可追溯的证据条件；答案是否正确，仍取决于整条链路。

二、第一类边界：检索可能从源头就错

检索的目标不是找“文字看起来相似”的片段，而是找到足以回答当前问题的证据。二者并不等价。消费者问“这件羽绒服在零下十度通勤够不够”，相关事实可能散落在充绒量、蓬松度、面料防风性、活动强度和品牌建议的多处资料里。关键词相似度很高的片段，未必包含完成判断所需的全部条件。

常见错误至少包括：

• 召回失败：正确规则没有进入候选文档；
• 排序失败：正确文档被噪声挤到上下文后部；
• 切分失败：文档分块截断了限定条件或例外条款；
• 版本失败：旧活动规则与新规则同时存在；
• 权限失败：本不应暴露的信息被检索出来；
• 多跳失败：需要组合商品、订单和政策三类证据，但系统只找到其中一类。

这些错误无法靠“换一个更会说话的大模型”自动补救。RAGAS 将 RAG 评测明确拆成上下文相关性、答案忠实度和答案质量等维度，正是因为只看最终回答，会掩盖检索与生成两种完全不同的原因²。采购方如果只得到一个“总体准确率”，就无法知道错误应由知识库、召回器、重排器还是生成模型承担。

三、第二类边界：检索正确，生成仍可能不忠实

即使正确证据已经进入上下文，模型仍可能忽略、误读或过度推断。大语言模型的目标是生成概率上连贯的文本，并不是执行形式化证明。它可能把证据中没有写出的因果关系补出来，把“部分商品适用”扩张成“全店适用”，或在多个冲突版本之间擅自选择。

长上下文还会带来位置偏差。Liu 等人在多文档问答与键值检索实验中发现，当关键信息位于长上下文中部时，多种模型的表现会显著下降；即便模型名义上支持更长的上下文，也不代表它能同样稳健地使用每个位置的信息³。这对客服很重要：把几十页商品手册全部塞进提示词，并不等于模型“都看懂了”。

另一类风险来自证据与模型先验冲突。模型训练时见过的大量常识会形成参数化倾向，而店铺规则可能恰好反常识，例如特定活动不能叠券、某面料不能机洗。当检索内容含糊或噪声较大时，模型可能退回自己的先验，产出听起来合理、实际上违反店规的回答。

所以，“知识库里有这条”不能作为通过标准。必须另外验证：答案中的每个关键主张是否能由检索证据直接支持；限制条件是否被保留；模型是否明确区分事实、推断与建议。

四、第三类边界：引用存在，不等于引用正确

RAG 很容易制造一种“有来源所以可信”的视觉印象。斯坦福 RegLab 与 HAI 对多款专业法律研究工具的预注册评测发现，即使这些产品采用检索并面向专业用户，它们仍会产生不同类型的幻觉，包括错误陈述法律规则、误述引用材料以及无法正确支持结论的引证⁴。法律不是电商，但这个结果揭示了一个可迁移的机制：引用可以提高可核查性，却也可能给错误增加权威外观。

客服里的典型表现是：模型引用了一条真实的退货政策，却把适用对象错套到当前订单；或者引用了正确商品页，却给出了页面没有支持的功效承诺。此时“来源真实”和“结论被来源支持”是两件事。

因此，引用评测至少应回答三问：

1. 可归因性：回答中的主张能否逐项映射到证据；
2. 完整性：限定条件、例外和有效期是否一并引用；
3. 一致性：证据之间冲突时，系统是否停止并请求澄清，而非自行拼接。

这比检查答案末尾有没有链接严格得多。

五、第四类边界：知识问题之外还有决策问题

许多客服任务不是“从文档里找到一句话”就结束。尺码推荐需要收集身高、体重、穿着偏好并判断信息是否充分；售后处理需要读取订单状态、调用工具、遵守权限；主动营销还涉及触达时机、频率与合规边界。RAG 可以提供事实，但无法单独定义业务流程、工具权限与风险策略。

例如，知识库可能准确写着“未发货订单可申请改址”，但系统还必须确认当前订单是否已经进入仓内作业、用户身份是否核验、修改是否需要二次确认。这里的失败不再是“知识错”，而是状态读取、权限校验或动作执行错。把所有问题都归结为 RAG，会让真正的系统风险失去负责人。

NIST 的生成式 AI 风险管理框架强调，组织应围绕具体使用情境进行测量与管理，并持续记录、评估和监控系统，而不是把一个通用技术组件当作信任代理⁵。对实时客服而言，这意味着知识层、决策层和执行层必须分别设定边界。

六、RAG 应该怎样与训练、规则和拒答协同

可靠方案通常不是“RAG 或训练”二选一，而是分工。

• RAG 管事实的新鲜度：库存、活动、物流、售后政策等持续变化的信息，应来自可版本化的权威数据源。
• 训练管稳定行为与领域表达：意图结构、商品比较方式、话术边界和典型决策模式，可以通过领域适配或监督训练提高稳定性。领域自适应研究表明，在通用预训练后继续使用领域与任务数据训练，能在多种任务上继续带来收益⁶。
• 确定性规则管硬约束：金额、权限、敏感功效、赔付与合规条款，不应完全交给概率生成。
• 拒答与转交管不确定性：当证据不足、冲突或越权时，正确动作不是“尽量回答”，而是补问、拒答或交给人工。
• 评测与监控管闭环：离线测试只能覆盖已知问题；真实分布变化、非确定输出与新型输入需要上线后持续监控。NIST 关于已部署 AI 的报告也把生产监控视为验证真实表现、发现意外输出的重要环节⁷。

这套分工的关键，不是技术名词堆得多，而是每种机制都有明确责任、失败指标和退出条件。

七、一套可审计的评测设计

如果要把 RAG 从演示功能变成生产能力，至少应准备四组测试。

检索测试集：每个问题标注必要证据、可接受替代证据和禁止使用的过期证据，报告 Recall@k、排序质量与版本命中率。 忠实度测试集：把答案拆成原子主张，由人工或独立模型核对每项是否被证据支持；自动评审必须抽样人工复核，不能让同类模型自己给自己判卷。 端到端任务集：在真实会话上下文中评估是否完成用户目标，而不只评一句回答是否通顺。 拒答测试集：专门放入缺信息、证据冲突、越权和对抗性问题，观察系统能否停止。

还应按场景分别报告结果。高频简单问题、跨文档复杂问题、政策边界问题和敏感问题的风险不同，把它们平均成一个数字会造成“多数简单题掩盖少数致命题”。每次知识库、切分策略、嵌入模型、重排器或生成模型变更，都应触发回归测试。

八、给采购决策者的八个问题

1. 正确文档没有被召回时，系统如何发现？
2. 文档有版本冲突时，以什么规则选择？
3. 答案中的每个关键主张能否定位到原文？
4. 对证据没有覆盖的推断，系统会标注还是隐藏？
5. 长对话和长文档下是否单独测过位置偏差？
6. 哪些动作由确定性规则控制，哪些允许模型决定？
7. 低置信度是按什么指标校准，转人工阈值如何确定？
8. 上线后谁看错误样本，多久回归一次，修复是否可验证？

如果供应商只能回答“我们接了知识库”，这些问题大多不会有可审计答案。

九、研究结论的适用边界

本文引用的法律、开放问答与长上下文研究，任务和客服并不相同，不能把其中的幻觉率或性能降幅直接当作电商系统的数值。它们支持的是失效机制：检索、证据利用和引用都需要独立评测。具体系统能做到什么，仍应在目标店铺、真实知识和完整工具链上重新测量。

同样，训练也不会自动消除 RAG 的边界。训练后的模型仍可能面对新事实、冲突版本和分布外问题。更可靠的结论是分工与验证，而不是用一种技术替代另一种技术神话。

结语

RAG 的价值不应被贬低，也不应被神化。它解决的是“让模型在回答时接触外部证据”，没有自动解决“证据是否找对、是否被忠实使用、是否足以支撑结论、动作是否安全、错误是否被发现”。

真正可上线的实时客服，应把 RAG 放在一套更完整的系统里：用提示词、检索与训练的合理分工稳定能力，用四道防线处理不确定性，再用端到端评测验证用户任务是否完成。采购时最值得追问的，不是“有没有 RAG”，而是“RAG 失败时，系统怎么知道、怎么停、怎么修”。

Footnotes

1. Lewis et al., “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks,” NeurIPS 2020。提出把参数化生成模型与可检索的非参数化记忆结合。论文 ↩

2. Es et al., “RAGAs: Automated Evaluation of Retrieval Augmented Generation,” EACL 2024。将 RAG 评测拆分为检索上下文与生成结果的多个维度。ACL Anthology ↩

3. Liu et al., “Lost in the Middle: How Language Models Use Long Contexts,” TACL 2024。实验显示关键信息位置会显著影响长上下文任务表现。ACL Anthology ↩

4. Magesh et al., “Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools,” Journal of Empirical Legal Studies, 2025。该研究的数值只适用于被测法律工具，本文引用其失效机制，不外推为客服的幻觉率。期刊全文 ↩

5. NIST, “Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile,” NIST AI 600-1, 2024。官方 PDF ↩

6. Gururangan et al., “Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks,” ACL 2020。领域自适应与任务自适应预训练在多领域、多任务上带来一致收益。ACL Anthology ↩

7. Rao et al., “Challenges to the Monitoring of Deployed AI Systems,” NIST AI 800-4, 2026。NIST ↩