小模型、蒸馏与路由:为什么"最强模型"不是最优解

“直接用能力最强的模型”看起来是最稳妥的技术选择，却未必是最好的生产选择。客服系统面对的目标至少有五个：回答质量、响应时间、并发吞吐、单位成本和数据治理。单一模型在通用排行榜上更强，不代表它在某个店铺的任务分布、延迟预算和风险约束下最优。

这不是为“小模型一定更好”辩护。小模型容量有限，复杂推理和分布外问题往往需要更强模型。真正值得研究的是：能否把简单、高频、边界清楚的任务交给专门模型，把少数复杂任务升级，从而在不牺牲关键质量的前提下改善整体效率。

一、先定义“最优”的目标函数

若只优化准确率，调用最强模型可能合理；一旦加入成本与延迟，问题就变成多目标优化。可以把每次请求的效用简化为：

效用 = 任务价值 − 错误损失 − 延迟损失 − 推理成本 − 风险成本。

不同请求的权重不同。查物流的错误损失较低、对速度敏感；敏感功效咨询的错误损失极高，宁可慢一点或转人工；大促期间的并发约束又会改变成本。不存在一个对所有请求都最优的固定模型。

因此，系统要先按场景定义服务等级：质量门槛、P95 延迟、最大成本、允许的工具权限和转交条件。没有这些约束，“模型更强”只是没有分母的比较。

二、小模型的价值来自专门化

小模型参数少，通常具有更低显存、计算和部署成本，也更容易在私有环境中运行。它的优势不是“以小胜大”的神话，而是任务范围收窄后的专门化。

客服中大量任务具有稳定结构：意图分类、字段抽取、风险检测、商品属性比较、固定格式生成。若训练数据贴近目标分布，小模型不必掌握百科全书式知识，只需在边界清楚的任务上可靠工作。Gururangan 等人的领域自适应研究证明，通用预训练之后继续利用目标领域与任务数据，仍能一致改善表现¹；这为“小而专”提供了方法依据。

但小模型的使用必须以独立测试为前提。参数少不自动等于快，推理框架、批处理、上下文长度和硬件利用率都会影响真实延迟；领域测试得分高，也可能掩盖分布外脆弱性。

三、知识蒸馏：把教师行为压缩给学生

知识蒸馏用较大的教师模型产生软标签、序列或偏好，让较小的学生模型学习。Kim 与 Rush 的序列级蒸馏研究展示了在生成任务中用教师输出训练学生的思路²。在客服里，教师可以帮助生成候选训练样本、解释决策或标注长尾场景，学生则负责高频在线推理。

蒸馏有三项潜在收益：

• 把教师的部分能力转移到更低成本模型；
• 让学生学习更平滑的一致输出，而非只模仿单个硬标签；
• 用教师扩大训练覆盖，再由人工聚焦审查高风险样本。

但“教师会的，学生都能学会”不成立。容量差距、训练分布和目标函数会造成能力损失；教师错误也会被复制。合成数据若没有人工抽检，会把一种模型偏差批量扩散。蒸馏评测必须同时使用真实样本与时间外样本，并按风险场景观察退化，而不是只报告平均分。

四、投机解码：加速但不改变目标分布

投机解码与蒸馏解决不同问题。它让一个较小的草稿模型先提出多个 token，再由目标模型并行验证。Leviathan 等人在 ICML 2023 的工作给出了保持目标模型输出分布不变的采样方法，在合适条件下实现精确加速³。这意味着它不是“让小模型替代大模型”，而是用小模型帮助大模型更快完成同一分布的解码。

加速效果取决于草稿被接受的比例。若用户请求与草稿模型训练分布差异很大，拒绝率上升，收益会下降。Online Speculative Decoding 通过利用线上查询分布持续适配草稿模型，实验报告了更高接受率和延迟改善⁴；DistillSpec 则用蒸馏对齐草稿与目标模型，并在多项基准上报告相对标准投机解码的进一步加速⁵。

这些结果说明一个重要机制：实时分布与小模型的对齐程度决定系统效率。 但论文中的倍数来自特定模型、硬件、解码和数据，不能直接当作任何客服系统的承诺。采购时应看自身流量上的 P50/P95 首 token 与完整响应延迟。

五、模型路由：把请求分给合适的能力层

路由系统先估计请求难度、风险或不同模型的胜算，再选择小模型、大模型或人工。FrugalGPT 将多个模型组织为级联，学习在预算约束下选择调用组合，展示了成本与性能可以联合优化⁶；RouteLLM 进一步用偏好数据训练路由器，在强弱模型之间学习决策边界⁷。

客服路由可以使用以下信号：

• 意图与风险等级；
• 是否需要实时工具或多文档推理；
• 小模型置信与证据覆盖；
• 用户价值、订单状态和业务时段；
• 当前队列、成本预算与延迟；
• 历史上同类问题的失败率。

但路由器本身会出错。最危险的不是把简单问题交给大模型，多花一点成本；而是把高风险复杂问题误判为简单，交给能力不足的模型。评测因此要报告“升级召回率”和“错误下放率”，不能只报告平均节省金额。

六、级联与早退：不是所有请求都走完整链路

一种实用结构是从低成本层开始：规则或缓存能回答就直接返回；小模型能在高置信下完成就停止；证据不足或风险升高时升级到大模型；再无法满足则转人工。这种级联把昂贵能力留给真正需要的请求。

然而，早退必须经过校准。模型自报“我很有信心”并不可靠。需要用历史测试绘制风险—覆盖曲线：随着自动处理覆盖率提高，错误率如何变化；在不同店铺、意图和人群上是否一致。SelectiveNet 等选择性预测研究把“允许拒绝部分样本，以降低已接受样本风险”形式化，说明覆盖率与风险应成对报告⁸。

所以，“自主率越高越好”不是完整目标。更合理的是在错误成本约束下最大化安全覆盖。

七、三类架构的分工

方法	主要目标	不改变什么	关键风险
蒸馏	把教师能力转给较小学生	不保证完整保留教师能力	复制教师错误、长尾退化
投机解码	加速目标模型解码	理论正确实现下不改变目标输出分布	草稿接受率低、实现开销
模型路由	按请求选择能力与成本	不保证路由判断正确	复杂请求被错误下放
级联/早退	让简单请求提前结束	不等于所有层都要生成答案	置信未校准、覆盖偏差

将这些方法混为“小模型方案”，会导致错误预期。它们可以组合，却必须分别评测。

八、为什么实时客服尤其适合这种结构

实时客服的请求量大、重复度高、风险分层明显，适合把共性任务压缩进专门模型。同时，活动、库存和订单状态又要求 RAG 与工具调用；少量复杂、多意图或敏感问题需要更强模型或人工。固定调用一个模型，既浪费简单任务的预算，也无法明确保护高风险任务。

三层模型架构可以与路由自然结合：通用层提供广泛能力，行业层处理品类共性，店铺层掌握本店差异；路由器根据问题与证据选择路径。但这只是架构假设，仍应通过 A/B 测试证明相对单模型基线在质量、延迟和成本上更好。

九、需要警惕的四个误区

误区一：小模型天然更准。 它只可能在训练充分、任务收窄时更有竞争力。 误区二：投机解码等于有损近似。 正确实现可保持目标分布；若采用有损变体，则应另行报告质量变化。 误区三：路由节省成本而不影响质量。 路由错误本身就是新的质量风险。 误区四：论文加速倍数可以直接复用。 硬件、批量、上下文与流量分布不同，真实收益必须重测。

接近学术的写法，应把“在某实验设置中观察到”与“在本系统中保证”严格分开。

十、如何做一场可复现的评测

建议至少比较三组系统：固定强模型、固定专门小模型、带路由的组合系统。所有组使用相同知识、工具、测试时间窗和输出校验。指标包括：

• 按场景分层的端到端完成率与严重错误率；
• 风险—覆盖曲线、错误下放率和升级率；
• 首 token、完整响应的 P50/P95/P99 延迟；
• 每千次成功任务的推理成本，而非每次调用成本；
• 峰值并发下的吞吐与失败；
• 数据出域、日志和模型部署带来的治理差异。

还要用真实线上分布回放，因为路由收益极度依赖请求构成。若 90% 都是简单任务，小模型价值可能很高；若大多数需要复杂工具与多文档推理，升级比例会吞掉收益。

十一、从“模型最大”转向“约束内最优”

实时 AI 的竞争不在于谁把最大的模型名字放在首页，而在于谁能持续回答以下问题：什么任务需要什么能力；何时升级；何时拒答；成本节省是否以错误转移为代价；模型、路由和数据变化后，结论是否仍成立。

这指向的是一套训练与评测系统，而不是一次 API 选择。基座模型变强会抬高所有方案的上限，但延迟预算、业务差异和风险分层不会消失。真正可复用的资产是目标分布数据、路由策略、回归测试和运营反馈。

十二、容量规划也是模型策略的一部分

日常平均延迟无法代表大促。应在目标并发、上下文长度和工具响应下做压力测试，观察队列、超时、降级与成本。路由策略还要在拥塞时决定：是升级强模型、使用缓存、缩短上下文，还是转人工。若容量不足迫使大量请求走错误路径，离线最优模型也失去意义。

因此，模型组合应与服务等级、峰值资源和故障演练共同验收。推理策略不是实验室最后一步，而是任务质量的一部分。

结语

“最强模型”是单点答案，“最优系统”是约束下的组合。小模型、蒸馏、投机解码、路由和人工转交各自解决不同问题；只有在同一真实流量上同时验证质量、延迟、成本和风险，它们才构成生产优势。

对于客服，合理目标不是让所有问题都由小模型处理，也不是让所有问题都升级到大模型，而是让每个问题进入足够可靠、又不过度昂贵的路径。进一步理解这种分层，可读三层模型架构与为什么实时场景需要更高端到端门槛。

Footnotes

1. Gururangan et al., “Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks,” ACL 2020。ACL Anthology ↩

2. Kim & Rush, “Sequence-Level Knowledge Distillation,” EMNLP 2016。ACL Anthology ↩

3. Leviathan, Kalman & Matias, “Fast Inference from Transformers via Speculative Decoding,” ICML 2023。PMLR ↩

4. Liu et al., “Online Speculative Decoding,” 2023。利用观察到的用户查询持续适配草稿模型。arXiv ↩

5. Zhou et al., “DistillSpec: Improving Speculative Decoding via Knowledge Distillation,” 2023。arXiv ↩

6. Chen, Zaharia & Zou, “FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance,” 2023。论文结果来自其基准与模型组合，不应直接外推生产比例。arXiv ↩

7. Ong et al., “RouteLLM: Learning to Route LLMs with Preference Data,” ICLR 2025。OpenReview ↩

8. Geifman & El-Yaniv, “SelectiveNet: A Deep Neural Network with an Integrated Reject Option,” ICML 2019。PMLR ↩