技术 · TECHNOLOGY
为什么我们敢对标人工
Why We Benchmark Against Humans
大多数 AI 客服演示很惊艳、上线就拉胯。原因不是执行不力,是数学。
0.9⁵ = 59%
每层 90% · 整体不可上线
0.99⁵ = 95%
每层 99% · 实时场景达标线
01 / 及格线 · THE BAR
及格线是 95%,不是 70%
| 异步场景 | 实时场景 | |
|---|---|---|
| 例子 | 工单、邮件 | 在线客服、大促洪峰、夜间值守 |
| 兜底 | 有人接得住 | 没人能接 |
| 及格线 | 70% 自主即可用 | 95%+ 自主才可用 |
在没有退路的场景里,转人工不解决问题——它只是把成本挪回了人力池。
02 / 五层乘积 · THE MATH
「Demo 只要一层做好。生产要五层都做好。」
01 数据层
→
02 模型层
→
03 训练调优层
→
04 Agent 架构层
→
05 评估反馈层
图 3 · 整体准确率 = 五层的乘积
| 单层准确率 | 整体(五层乘积) | 评估 |
|---|---|---|
| 90% | 59% | 不可上线 |
| 95% | 77% | 仍未达标 |
| 99% | 95% | 实时场景达标线 |
一层短板,全盘崩塌。每层从 90% 到 99%,都是独立的、昂贵的模型纵深。
03 / 引擎骨架 · AGENT OS
五层都做好,靠的是全自研的引擎
不是在别人的大模型上套一层提示词。我们在大模型之上,自研了一整套生产级 AI 基础设施——五大系统各司其职,把「五层都做好」从一句口号变成可交付的工程。底层以 Ontology 建立数据之间的关联:不仅有表,更让 AI 理解表与表之间、数据与业务之间的关系。
01核心推理与调度引擎 · REASONING多智能体协作的调度大脑:补全上下文、判断用户真实意图,调度不同专业 Agent 完成复杂任务流。
02实时数据治理平台 · DATA实时获取、清洗、结构化私有数据,构建品牌级商品库、活动库、素材库及 Ontology 关联层。
03智能体自动化引擎 · AUTOMATION高精度执行的双手:实时回复生成与系统接口调用,把决策落成动作。
04持续学习与演进平台 · LEARNING线上闭环反馈机制:让模型基于真实交互持续演进——越用越强的引擎所在。
05可控演进中心 · GOVERNANCE白盒化管理:每一次演进都灰度可控、可追溯、可回退。
可控 · 可衡量 · 可优化
自研 skill/tool 调用模型,评测管理系统保障每个 skill 99%+ 调用准确率1。
1 skill/tool 调用准确率,自研评测管理系统覆盖;能力承诺口径
04 / 10 秒拆解 · INSIDE 10 SECONDS
复杂问答到底复杂在哪
「我 162、52kg,腿有点弯,想要条通勤黑裤」——一句话,10 秒内,AI 实际执行的是:
01 意图理解商品咨询 · 场景 · 偏好
→
02 上下文补全缺关键信息 → 追问
→
03 候选收敛按规则收敛候选
→
04 候选匹配多因子排序
→
05 个性化拟合身形拟合 · 高置信
→
06 表达生成参数 → 人话
→
07 共情校准识别情绪 → 安抚
→
08 增长决策关联 · 组合
图 4 · 一次回复的完整决策链
没有重试、没有反思、没有复核——第一次就要答对。这就是为什么它必须是一个单独训练的模型,而不是一个套壳的提示词。
05 / 三层模型 · MODEL STACK
您的那一层,单独训
店铺模型 Brand Model您的商品 · 规则 · 话术 · 客群 —— 只属于您,数据严格隔离
行业模型 Vertical Model10.2B+ 真实电商交互训练 · 5+ 行业 know-how 结构化沉淀
通用模型 Foundation语言理解 · 通用意图 · 安全合规
图 5 · 三层模型架构
行业 know-how
买不到,是时间和一线换来的;而您的店铺模型,没有任何通用模型能替代。
06 / 训练飞轮 · THE FLYWHEEL
曲线为什么会越过人类
HUMAN
人类客服
起步快,受限于记忆、情绪与体能。
LEGACY BOT
传统客服机器人
FAQ 搬上线,很快见顶;固化 know-how 缺乏应变。
ZTALK AGENT
ZTalk Agent
前期慢:行业基座注入 → QA 迭代 → 复杂意图 → 隐性销售技巧与共情——持续上升,最终越过人类曲线。
数据治理五步
Ingestion散乱 PDF / Excel / 详情页
→
Knowledge Matrix属性库 / 规则库
→
Human-AI EvolutionAI 守底线 · 人工提上限
→
Output确定性回复
→
Governance实时质检 / 版本回溯
图 6 · 非标数据到企业资产的五步重构
训练闭环:诊断 · 构建 · 落地 · 演进
诊断盘点历史对话 · 统一接待标准
→
构建知识库与商品库工程化清洗
→
落地编排跨系统工作流
→
演进让模型随真实结果持续校准
图 7 · 每个客户的模型,都跑在这个循环里——记号所在,即飞轮的入口
07 / 三重壁垒 · THE MOAT
为什么是我们,别人补不上
护城河不在模型本身——最强的大模型谁都能调用。它在延迟约束下的准确率工程,更在三样别人补不上的东西:攒下来的资产、转起来的飞轮、跑出来的 know-how。
KNOWLEDGE ASSETS · 知识资产
5TB+2
专有电商语料
专有语料与结构化知识沉淀——买不到、爬不来,是一线一单跑出来的。
DATA FLYWHEEL · 数据飞轮
1 亿+ / 日3
线上交互 · 自动标注
每天 1 亿+ 次线上交互、50 万+ 条自动标注4反哺训练——越用越强,后来者追不上的复利。
DOMAIN KNOW-HOW · 场景积累
< 8 周5
平均落地周期
5+ 核心行业、50+ 品牌项目沉淀出的落地方法论,让每个新客户的冷启动越来越快。
2 专有电商语料与知识资产规模 · 3 线上交互量,日均口径
· 4 自动标注产出,日均口径 · 5
平均交付落地周期,5+ 核心行业 · 50+ 品牌项目沉淀
08 / 四道防线 · GUARDRAILS
那些它不确定的问题
知之为知之敏感话题拦截器实时质检预警Badcase 响应组
少数交回人工的场景,不是被忽略了,是被设计过的。
看四道防线的完整设计 → 09 / 能力基线 · BASELINE
能力基线(成熟店铺稳态)
下表是店铺模型训练成熟后的稳态水平;新店铺从行业模型基线起步、逐月爬坡(参见客户案例中 27% → 95% 的爬坡曲线)——爬坡是过程,下表是终点。
| 指标 | 水平 |
|---|---|
| 售前独立接待率 | > 98% |
| 回复准确率 | > 97% |
| 三分钟回复率 | > 99% |
| 平均响应时长 | < 30 秒 |
| 售前回复质检分 | > 90 分 |
口径:成熟店铺稳态基线;独立接待率与回复准确率为两个不同指标