提示词工程与模型训练:两类"AI 客服"的本质差异

“这套 AI 客服是写提示词，还是训练了模型？”这个问题很重要，但若把答案简化成“训练一定高级、提示词一定初级”，仍会误导采购。提示词、检索增强和模型训练分别改变指令、外部知识和模型参数，它们解决的问题不同，也承担不同成本与风险。

更严谨的判断方法不是给技术排等级，而是先问：当前失败来自哪里？如果只是输出格式不对，训练可能是浪费；如果事实经常过时，单纯微调也不是答案；如果模型在同一类复杂决策上长期不稳定，继续堆提示词可能只会增加脆弱性。本文建立一套基于失效原因的选择框架。

一、三种方法分别改变什么

提示词工程在推理时提供任务说明、角色、约束、示例和输出格式。模型参数不变，迭代快，适合明确规则、风格和流程。 检索增强在推理时加入外部证据，适合库存、政策、商品参数等实时变化的事实。它改变模型看到的上下文，不直接改变模型习得的能力。 模型训练或微调用数据更新全部或部分参数，适合重复出现、可以用样本定义的行为模式，例如意图分类、结构化输出、领域术语、比较逻辑或店铺话术。

三者不是线性阶梯。一个生产系统可能同时使用：提示词定义当前任务，RAG 提供最新规则，微调模型稳定执行模式，确定性代码控制权限和金额。真正需要比较的是各层的责任是否清楚。

二、提示词擅长什么

提示词的首要优势是低切换成本。业务团队可以快速修改语气、增加约束、要求模型先补问再推荐，或把输出变成固定 JSON。少量示例还能帮助模型理解目标格式。

提示词也适合低频、尚未积累训练数据的新任务。企业可以先用提示词验证用户是否需要某项能力，再决定是否投入训练。对于频繁变动的营销话术，直接更新提示词通常比重新训练更合理。

但提示词有三类边界。

第一，模型参数不变。提示词能提醒一个通用模型遵守规则，却不能保证它在所有表达和长对话中稳定遵守。第二，规则越多，上下文越长，冲突与位置偏差越明显；长上下文研究发现模型对信息位置并非同等敏感¹。第三，提示词效果高度依赖测试分布，同一提示在内部样例上有效，不代表能覆盖真实用户的改写、错别字、多意图和对抗输入。

因此，提示词适合成为“控制面”，但不应被当作唯一的能力来源。

三、检索擅长什么

RAG 适合解决“模型今天不知道、明天会变化”的事实问题。它允许知识库独立版本化，也便于把回答映射到来源。原始 RAG 研究将生成模型与外部可检索记忆结合，正是为了让知识密集型任务利用可更新证据²。

它的边界也很明确：检索可能错，文档可能过期，正确证据可能被模型忽略。RAGAS 等评测框架因此把检索上下文和生成忠实度拆开衡量³。如果失败原因是模型不会遵循复杂对话策略，仅仅增加文档通常无效；如果失败原因是最新库存未知，把库存“微调进参数”又会很快过期。

一个实用原则是：会变化的事实放在外部系统，稳定的行为模式才考虑训练。

四、训练到底学了什么

训练不是把文档“灌进模型”这么简单。监督微调通常提供输入与理想输出，让模型调整参数以提高类似输入下产生目标行为的概率；领域自适应预训练则用领域语料继续学习语言分布；偏好优化利用比较数据调整响应偏好；蒸馏让较小模型学习教师模型的行为。

Gururangan 等人的研究表明，通用预训练之后再使用领域与任务语料，仍能在多领域任务上产生一致收益⁴。这支持“目标分布数据有价值”，但不意味着任何微调都优于提示词。数据量、标签质量、任务可学习性和评测设计决定结果。

参数高效微调降低了适配门槛。LoRA 通过训练少量低秩参数，在多个模型与任务上以远少于全量微调的可训练参数取得可比质量⁵。这使不同客户或任务保存独立适配器成为可能，但也带来版本、路由、回归和安全管理的新复杂度。

训练的真正价值，是把高频、稳定、可示范的决策模式从长提示词转化为模型更自然的行为倾向；它不是实时事实库，也不是合规规则引擎。

五、训练不是“永久学会”

接近学术的讨论必须承认训练的反面。

• 数据可能把人工偏见、过时话术和错误标签固化进参数；
• 训练样本与评测样本泄漏，会制造虚假的高分；
• 为新领域适配可能损害旧能力，即灾难性遗忘；
• 模型升级后，原有适配不一定直接迁移；
• 业务很少发生的严重风险，可能在训练数据里几乎没有；
• 参数中的知识难以像数据库记录一样逐条删除或修正。

持续学习研究强调了适配新分布与保留旧知识之间的张力⁶。因此，训练必须配套数据版本、对照实验、回归集、回滚和生产监控。没有评测的训练，只是不可见地改变系统。

六、一个基于失效原因的选择表

失败现象	优先手段	原因
语气、格式、步骤不符合要求	提示词与确定性校验	修改快，规则可读
库存、活动、物流政策过时	RAG / API / 数据库	事实需实时更新
同类意图长期误判	标注数据 + 训练	可从重复样本学习边界
商品比较逻辑不稳定	训练 + 结构化特征 + 规则	同时需要模式与硬约束
敏感功效、赔付金额越界	确定性规则 + 审批	不应只依赖概率模型
低频且需求未验证	先提示词实验	避免过早训练
训练后旧场景退步	回归、数据配比、回滚	属于持续适配问题
证据正确但回答误用	忠实度训练/校验 + RAG 评测	不是单纯召回问题

这张表最重要的结论是：没有任何单一技术能包办全部失效。

七、实时客服为什么更需要训练

实时客服对一致性、延迟和单位成本都有约束。一个极长提示词会增加输入 token、延迟和冲突概率；每次都调用最大的通用模型，成本也可能难以规模化。若某类任务稳定且高频，把行为压缩进专门模型或适配器，可能获得更好的稳定性与经济性。

但“需要训练”应被表述为可检验假设。只有当训练版本在独立测试和线上实验中，相对提示词基线显著改善关键指标，并且收益覆盖训练、维护和回归成本，才说明训练合理。不能因为供应商拥有训练平台，就把所有问题都解释为“还要再训练”。

评测还应分清三个目标：

1. 任务质量：用户目标是否完成，关键信息是否正确；
2. 行为稳定性：改写、长对话和边界输入下是否保持；
3. 运行效率：延迟、吞吐、模型调用成本和人工介入。

训练可能改善其中两项而损害第三项，最终需要多目标权衡。

八、怎样设计一场公平对比

采购方可以要求同一批真实样本上比较四个版本：

• 通用模型零样本；
• 通用模型加提示词；
• 提示词加 RAG；
• 提示词、RAG 与适配训练的组合。

每个版本使用相同知识快照、工具权限和输出校验。测试集按意图、复杂度、风险等级和时间切分，不能只报告总体平均。除了正确率，还应报告严重错误、证据支持、拒答、延迟和成本。对主观回复应采用双人盲评并记录标注一致性。

如果训练组合显著领先，才能把差异归因到训练；如果提示词加 RAG 已达到目标，继续训练可能没有商业必要。这个实验比问“你们是不是自己训模型”更接近真正的采购判断。

九、模型归属与数据治理

训练还会引出所有权问题。企业应确认：训练数据是否有合法用途；原始会话如何脱敏；适配参数能否导出；供应商是否会把本客户数据用于其他客户；模型版本、数据版本和评测结果如何对应；终止合作后衍生数据如何处理。

训练越深入，数据与模型生命周期越难分离。技术收益不能替代治理。NIST AI RMF 要求组织在整个生命周期中明确责任、记录评测并持续管理风险⁷，对“专属模型”尤其适用。

十、三个常见误区

误区一：提示词只是临时方案。 很多硬约束本来就应保持显式，便于审阅和快速修改。 误区二：微调能记住所有知识。 参数化知识不适合承载高频变化的事实，RAG 或数据库更合适。 误区三：训练后的模型天然更准。 微调可能过拟合、遗忘或学到错误标签，必须靠独立评测证明。

更成熟的系统不会争论“哪一种技术最高级”，而会为每类信息选择可维护的载体。

十一、建立技术选择记录

每次重大改动应留下简短决策记录：问题样本是什么，为什么选择提示词、RAG、训练或规则，使用了哪组对照，结果如何，何时重新评估。这样可以避免团队在几个月后重复争论，也能发现某个方法是否被过度使用。

决策记录还应包含撤销条件。例如知识更新频率超过训练周期，就应把事实迁回外部库；某条提示词增长到难以维护，就应重新拆分规则或训练；微调版本没有稳定超过基线，就应停止扩大。技术路线应允许被证据推翻。

结语

提示词改变“这次要模型怎么做”，检索改变“这次能看到什么事实”，训练改变“模型在一类输入上倾向于怎样表现”。三者作用层面不同，组合关系大于替代关系。

对于高频、专业、无即时人工兜底的客服任务，训练往往是提高稳定性和效率的重要手段；但它必须与 RAG、规则、拒答和持续评测共同工作。最专业的采购问题不是“提示词还是训练”，而是“当前失效属于哪一层，为什么这个手段最合适，证据是什么”。

想继续看训练如何被分层复用，可读三层模型架构；想看检索自身的边界，可读RAG 的能力边界。

Footnotes

1. Liu et al., “Lost in the Middle: How Language Models Use Long Contexts,” TACL 2024。ACL Anthology ↩

2. Lewis et al., “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks,” NeurIPS 2020。arXiv ↩

3. Es et al., “RAGAs: Automated Evaluation of Retrieval Augmented Generation,” EACL 2024。ACL Anthology ↩

4. Gururangan et al., “Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks,” ACL 2020。ACL Anthology ↩

5. Hu et al., “LoRA: Low-Rank Adaptation of Large Language Models,” ICLR 2022。arXiv ↩

6. Ke et al., “Adapting a Language Model While Preserving its General Knowledge,” EMNLP 2022。研究领域适配中的知识保留问题。ACL Anthology ↩

7. Tabassi, “Artificial Intelligence Risk Management Framework (AI RMF 1.0),” NIST AI 100-1, 2023。NIST ↩