02 SaaS智能客服系统架构设计
02 SaaS智能客服系统架构设计
1. 这套系统是干什么的
一句话:帮企业自动接住客户咨询,能机器人回答的就机器人回答,回答不了的转给真人客服,事后还能自动检查客服干得好不好。
客户从网站、微信、小程序、App、400 电话、邮件任何一个渠道进来,都能找到客服。
机器人大脑(大模型)7×24 小时在线,接住大部分重复问题;
处理不了的转人工;
会话结束后自动质检、出报表,帮企业越做越好。
1.1 都有谁在用
| 角色 | 谁 | 干什么 |
|---|---|---|
| 平台管理员 | 卖这个 SaaS 的公司 | 管用户、管审核、管计费、管安全 |
| 平台运营 | 平台的运营同学 | 审核企业、对接客户、配官网 |
| 企业管理员 | 买系统的企业 | 建团队、接渠道、配机器人 |
| 客服主管/坐席 | 企业的客服 | 在后台接待客户 |
| 质检/训练专员 | 企业客服团队 | 检查会话质量、喂机器人学东西 |
| 终端客户 | 消费者 | 咨询问题,得到答案 |
权限是「两套分开管」:平台管平台的人(谁能在平台干活),企业管企业的人(谁能在企业后台干活),互不干扰。
1.2 客户咨询走一圈是什么样
客户发消息
→ 渠道接入(网站/微信/小程序/App/400/邮件)
→ 建会话(系统知道是谁、从哪个渠道来)
→ 机器人接(听懂问题 → 查知识库 → 生成回答 → 看客户情绪)
├─ 能解决 → 发满意度评价
└─ 搞不定 → 转真人客服(带上客户资料和 AI 建议)
→ 会话结束 → 自动质检(检查服务合不合格)
→ 出报表、把高频问题回填知识库1.3 原型页面对应哪些模块
| 原型页面 | 对应模块 |
|---|---|
| 数据概览 / 在线客服 / 机器人 / 知识库 / 工单 / 客户 / 质检 | 企业客服工作台 |
| 数据报表 / 渠道接入 / 版本升级 / 我的订单 / 支持工单 / 系统设置 / 个人中心 | 企业的数据、渠道、付费、设置 |
| 企业审核 / 用户管理 / 角色权限 / 平台数据 / 租户管理 / 客户成功 / 支持工单 | 平台运营与账号 |
| 计费账单 / AI 监控 / 平台设置 / 官网配置 / 审计日志 / 安全中心 / 消息中心 | 平台系统与安全 |
| 登录 / 企业注册引导 / 官网 / 渠道演示 / 访客端 / 客户门户 | 对外体验 |
2. 总体架构:系统分成哪几层
把系统想象成一栋楼,从下到上每一层干自己的活:
┌──────────────────────────────────────────────────────────────┐
│ 入口层 客户从哪进来:官网 / 微信 / 小程序 / App / 400 / 邮件 │
├──────────────────────────────────────────────────────────────┤
│ 网关层 API 网关 + 实时网关(验身份、限流、认租户、路由) │
├──────────────────────────────────────────────────────────────┤
│ 业务层 后台所有功能:工作台 / 机器人 / 知识库 / 工单 / 质检… │
├──────────────────────────────────────────────────────────────┤
│ 服务层 把业务拆成服务:会话 / 路由 / 机器人 / 知识 / 计费… │
├──────────────────────────────────────────────────────────────┤
│ AI 层 机器人大脑:大模型 / 知识检索 / 意图识别 / 质检模型 │
├──────────────────────────────────────────────────────────────┤
│ 数据层 存东西的地方:业务库 / 缓存 / 向量库 / 消息队列 / 文件 │
├──────────────────────────────────────────────────────────────┤
│ 地基 服务器 / 容器 / 配置 / 密钥 / 监控 / 上线流水线 │
└──────────────────────────────────────────────────────────────┘一句话总结:入口负责接客,门卫负责验人,业务层负责功能,AI 层负责聪明,数据层负责记住,地基负责跑得稳。
2.1 技术选型:用什么、为什么
| 层 | 用什么 | 为什么(大白话) |
|---|---|---|
| 前端 | Vue 3 + TS | 后台界面复杂,生态成熟、好招人 |
| 后端 | Java Spring Boot / Go | 稳定、并发强、企业级生态全 |
| 实时聊天 | WebSocket | 客户和客服要"秒回",双向实时 |
| 消息队列 | RocketMQ / Kafka | 大促时削峰、异步处理不堵 |
| 业务库 | PostgreSQL | 一个库能存业务数据还能存 JSON,省事 |
| 缓存/状态 | Redis | 记在线状态、路由表,快 |
| 检索 | ElasticSearch | 搜历史会话、搜知识快 |
| 向量库 | Milvus / pgvector | 机器人查知识(RAG)用 |
| AI 编排 | LangGraph + LangChain | 客服对话是"有状态流程",它最擅长 |
| RAG | LlamaIndex | 处理文档、做知识检索最强 |
| 大模型 | 千问 Qwen-VL / DeepSeek 混用 | 千问看图片,DeepSeek 文本便宜,组合省钱 |
| 部署 | K8s + Helm | 弹性扩容、多环境一致 |
2.2 服务怎么拆
原则:服务要少而粗,先合并、按需再拆。 别一上来就拆十几个服务,那是给自己找麻烦。
| 服务 | 管什么 | 为什么单独存在 |
|---|---|---|
| gateway 接入网关 | 验身份、限流、认租户、转发、管长连接 | 聊天连接要单独扩容,必须独立 |
| user 用户权限 | 登录、用户、角色权限、个人中心 | 权限模型要单独演进、边界清晰 |
| tenant 租户 | 企业注册、审核、开通、套餐状态 | 跟账号解耦,审核流程独立 |
| customer 客服核心 | 会话、消息、渠道、知识库、客户、工单、质检任务、消息中心 | 核心业务,单独扩容/发版 |
| billing 计费 | 订单、账单、支付、发票 | 财务相关,要单独发布和审计 |
| ops 运营 | 官网配置、公告、客户成功、平台工单、平台数据、AI 监控、审计、安全 | 低频、独立发版 |
| ai-center(Python) | 机器人编排、知识检索、质检模型、训练、LLM 网关 | 技术栈不同,模型要独立升级 |
依赖关系(谁找谁):
- 入口网关 → 所有服务;
- customer → user(验身份)、tenant(认租户)、ai-center(对话/质检);
- ops → 订阅 customer/tenant 的数据(读,不写);
- billing → tenant(套餐和配额);
- ai-center → 只被 customer 调用,不反向依赖 Java。
什么时候才需要再拆(比如把 customer 再拆出会话服务):
- 某个模块要大促时单独扩容;
- 某个模块发版太频繁,不想连累别人;
- 两个团队同时改一个服务,天天冲突;
- 某个模块出故障要隔离,不能拖垮全局。

3. 核心功能模块设计
3.1 登录与账号
干什么:谁都能登,但登进来看到的东西不一样。
- 平台管理员和企业用户共用一张「用户表」,靠「属于哪个企业」区分;
- 登录流程:注册 → 填企业资料(执照/地址/法人)→ 平台审核 → 开通 → 引导配置;
- 权限两套:平台的菜单权限 + 企业里的角色权限,互不干扰;
- 安全:图形验证码、二次验证、异地登录提醒、登录记录。
3.2 渠道接入
干什么:让客户的各个入口(网站/微信/小程序/App/400/邮件)都能接进系统。
四步走:建渠道 → 拿密钥 → 测连接 → 绑技能组上线。
- 每个渠道一个密钥,泄露了单独换,不影响别人(就像每把锁各配一把钥匙);
- 联调测试会检查 DNS、鉴权、消息通道、回调四步,记录测试日志;
- 上线前要绑技能组,决定这个渠道的客户找谁来接待。
3.3 会话与客服工作台
干什么:客户和客服聊天的"房间",以及客服干活的界面。
- 会话有状态:排队 → 机器人接 → 人工接 → 结束,支持转接、转技能组;
- 消息类型:文字、图片、商品卡、订单卡、知识推荐、满意度邀评;
- 工作台给客服帮手:客户画像、AI 推荐话术、快捷回复、一键转工单;
- 实时靠 WebSocket 推送(详见第 4 节)。
3.4 智能机器人
干什么:机器人大脑,自动接客。
- 意图管理:教机器人听懂"客户想问什么"(退换货/发票/物流…);
- 模型管理:可以换大模型/轻量模型,调温度参数;
- 训练中心:用企业自己的会话数据训练专属模型,灰度上线、能回滚;
- 运行时:听懂问题 → 查知识 → 生成回答 → 看情绪 → 不行就转人工;
- 关键指标:识别率、转人工率、机器人满意度、首响时长。
3.5 知识库
干什么:机器人的"参考书"。
- 分类分级、导入文档(PDF/Word/Excel)、版本管理、审核后发布;
- 机器人回答时自动查知识,附来源,还能统计"这条知识被用了几次、管不管用";
- 客户问得多但知识库没有的,自动标记,提示去补充。
3.6 工单
干什么:客服一个人搞不定的事,变成"任务单"跨部门协作。
- 生命周期:新建 → 待处理 → 处理中 → 已解决 → 关闭/重开;
- SLA 倒计时、快超时自动提醒、超时升级、可转派;
- 分两种:企业内部工单 + 租户找平台的"支持工单",共用一套状态机。
3.7 客户管理
干什么:把客户"看透"。
- 360° 画像:会员等级、标签、历史会话、情绪、累计消费;
- 客服一接起会话,画像自动带出。
3.8 质检
干什么:检查客服服务得合不合格。
- 每天自动把全部会话初检一遍(敏感词、承诺规范、必答项);
- AI 打分 + 人工复核 → 通过/退回 → 总结培训;
- 越检越准:复核结果回炉训练质检模型。
3.9 数据报表
干什么:看经营好不好。
- 指标:会话量、机器人解决率、首响时长、满意度、渠道分布、坐席绩效;
- 实时看板 + 定时报表;导出敏感数据要审批。
3.10 平台侧功能
| 模块 | 干什么 |
|---|---|
| 企业审核 | 审核新企业资料,通过就自动开通 |
| 租户管理 | 管企业全生命周期:套餐、状态、用量 |
| 平台数据 | 看所有租户的汇总经营情况 |
| 计费账单 | 订单、支付、发票、价格策略 |
| AI 监控 | 看大模型花了多少钱、用多少 token、有没有出问题 |
| 消息中心 | 系统/工单/审核/公告消息,分类、已读、一键跳转 |
| 官网配置 | 官网内容后台改,不用动代码 |
| 审计日志 | 谁在什么时候干了什么,全留痕 |
| 安全中心 | 密钥、策略、导出审批 |
| 个人中心 | 资料、头像、安全、通知偏好、登录记录 |
4. 多租户:怎么保证企业之间数据不串
一句话:系统里有很多企业,每家的数据必须严格隔离,A 企业永远看不到 B 企业的客户和会话。
打个比方:整栋楼共用大厅(数据库),但每个企业有自己的保险柜(带 tenant_id 的抽屉)。系统规定:任何操作必须先报"我是哪家企业的",只开自己的柜子;就算代码写漏了,数据库层面还有一道保险(RLS),想越权也打不开。
隔离手段:
| 数据 | 怎么隔离 |
|---|---|
| 业务数据(会话/工单/知识/客户) | 共享表 + 企业标识 + 强制过滤 + RLS 兜底 |
| 高敏数据(密钥、审计) | 独立表/独立库 |
| 缓存/检索/向量 | 按企业分命名空间,查询强制带企业过滤 |
| AI 记忆 | 记忆键带 tenant_id,检索生成双重校验 |
| 文件 | 按企业分目录,链接带权限 |
租户生命周期(一个企业从注册到使用):
注册 → 填企业资料 → 平台审核
→ 通过:开通租户 + 自动初始化(默认角色/技能组/配额)
→ 拒绝:通知修改重新提交
→ 之后:改套餐 / 冻结 / 到期 / 注销清理5. 实时消息:客户和客服怎么"秒回"
一句话:WebSocket 管"在线通道",消息队列管"高峰削峰",Redis 管"谁在线、连在哪台机器"。

关键机制:
| 机制 | 怎么做 |
|---|---|
| 连接管理 | 网关无状态,谁连在哪台机器记在 Redis 路由表 |
| 心跳 | 30 秒一次 ping/pong,超时判离线,断线自动重连 |
| 消息可靠 | 客户端消息带 ID,服务端确认;没发出去的补发,不丢消息 |
| 顺序 | 会话内按消息 ID 排序,重复消息去重 |
| 离线 | 离线消息先存队列,上线后补发 |
| 扩容 | 网关随便加机器,路由表自动找对目标 |
| 兜底 | 极端网络封 WebSocket 时,退回 SSE + 普通请求 |
| AI 流式 | 聊天事件走 WebSocket,机器人逐字回复走 SSE |
6. AI 能力:机器人大脑怎么搭
一句话:Java 负责业务,Python 负责"聪明";两边通过接口和消息队列说话。
6.1 分层
业务层 机器人对话 / 质检 / AI 辅助建议 / AI 监控
编排层 LangGraph(把对话流程编排成状态机)
能力层 RAG 查知识(LlamaIndex)· 意图/情绪 · 看图 · 语音
模型层 LLM 网关(千问/DeepSeek 统一接入,管鉴权限流计量)6.2 机器人对话流程
客户消息 → 听懂意图 → 查知识库 → 生成回答 → 看情绪
├─ 正常 → 流式回复
└─ 不满意/搞不定 → 转人工- 记忆:短期记本次对话,长期记客户摘要,按企业隔离;
- 工具:能查政策、建工单、推荐售后方案;
- 降级:大模型卡了就换轻量模型,再不行用知识兜底话术,不能让客户干等。
6.3 质检流水线
会话数据 → 规则引擎(敏感词/承诺/必答)→ AI 初检打分
→ 标出问题点 → 人工复核 → 通过/退回 → 回炉训练6.4 看图与语音
- 客户发截图:用千问视觉模型(qwen-vl)识别,提取订单号/问题再进对话;
- 400 电话:语音转文字 → 机器人处理 → 文字转语音回复 → 通话小结自动建单;
- 省钱原则:看图/语音按需调用,平时文本对话用便宜的模型。
6.5 Java 和 Python 怎么通信(三种方式)
| 场景 | 方式 | 链路 |
|---|---|---|
| 实时对话 | HTTP + SSE 流式 | Java 客服服务 → Python Agent → 逐字回传 → 网关推给客户 |
| 批处理(训练/全量质检) | 消息队列异步 | Java 发任务 → 队列 → Python 处理 → 结果回写 |
| 小请求(意图预判/看图) | HTTP / gRPC 同步 | Java 直接调 Python,毫秒级返回 |
数据边界(关键):Python 不直接写 Java 的业务库。知识变更通过事件同步到向量库;质检结果调 Java 回调接口落库。两边数据单向流动,互不拖累。
7. 数据架构:东西都存在哪
一句话:业务数据进主库,热点进缓存,搜索进检索引擎,知识向量进向量库,文件进对象存储。
| 存储 | 存什么 |
|---|---|
| PostgreSQL | 用户/租户/渠道/会话/工单/质检/账单(主库,带 RLS 隔离) |
| Redis | 在线状态、路由表、会话记忆、限流 |
| 消息队列 | 消息、事件、批处理任务、离线消息 |
| ElasticSearch | 搜会话、搜审计、知识全文检索 |
| 向量库 | 机器人查知识用的向量 |
| 对象存储 | 图片、附件、导出文件 |
数据怎么管:
- 会话/消息这类量大又涨得快的数据,按企业或按月分表;
- 90 天内的热数据放主库,更早的归档到冷存储,搜索走检索引擎;
- 大客户可单独分库;全局配置和审计单独分片。
8. 接口规范:服务之间怎么对齐
- 风格:REST + OpenAPI 文档;实时走 WebSocket/SSE;
- 认证:登录拿 token,请求带头;服务之间走内部凭证 + 加密;
- 幂等:写操作带幂等键,重复提交不会重复扣费/重复建单;
- 时间统一到秒(ISO 8601);
- 错误码分域:10xxx 租户 / 20xxx 会话 / 30xxx 知识 / 40xxx 计费 / 5xxxx 平台,报错带上请求号方便排查。
关键集成:
| 对接谁 | 干什么 |
|---|---|
| 渠道 SDK | 客户端的钥匙(密钥鉴权) |
| 大模型厂商 | LLM 网关统一接入,多厂商切换 |
| 支付 | 微信/支付宝,回调幂等处理 |
| 短信/邮件 | 验证码、通知、报表 |
| 语音 | 热线转文字/文字转语音 |
| Webhook | 可选,把会话/工单事件推给企业 |
9. 安全:坏人怎么防
一句话:入口验身份,操作验权限,数据有加密,操作有留痕。
- 认证:token 短时有效 + 刷新机制;支持企业微信/飞书单点登录;
- 权限:RBAC + 菜单权限矩阵 + 数据范围;每个操作都检查"这个资源是不是你的企业的";
- 数据:传输加密、敏感字段加密存储;会话默认保留 180 天可配置;导出要审批;
- AI 安全:防提示词注入、敏感信息脱敏、输出过滤;
- 合规:等保三级、GDPR(删除权、可携带)、隐私政策;数据放国内,支持私有化。
10. 高可用与容灾:挂了怎么办
| 层级 | 策略 |
|---|---|
| 应用 | 多副本、自动扩容、滚动发布 |
| 网关 | 集群 + 路由表,挂一台自动摘除 |
| 数据库 | 主备 + 实时备份,跨可用区 |
| 消息队列 | 多副本、消费幂等、积压监控 |
| AI | 多模型降级、限流熔断、超时兜底 |
| 容灾 | 同城双活(基本不丢数据、分钟级恢复),异地备份 |
| 演练 | 每季度演练:切库、队列故障、大模型不可用 |
11. 性能和容量:撑得住吗
目标:
| 指标 | 目标 |
|---|---|
| 消息端到端延迟 | 99% 的请求 < 0.5 秒 |
| 机器人首响 | 95% < 1.5 秒 |
| 会话查询 | 95% < 0.3 秒 |
| 可用性 | ≥ 99.9%(一年最多挂 8 小时) |
| 规模 | 初期 100 家企业 / 峰值 5 千并发会话 / 日 200 万条消息 |
怎么算容量:网关按长连接数算(单台扛 5 千连接);消息吞吐按日峰值 ×3 预留;大模型用量按企业配额限死,防止一家企业打爆成本;上线前压测 70% → 100% → 120% 峰值,提前找瓶颈。
12. 可观测性:出问题怎么查
| 维度 | 方案 |
|---|---|
| 指标 | Prometheus + Grafana:访问量、延迟、队列积压、AI 成本/错误率 |
| 日志 | 结构化日志,带请求号和企业 ID,搜得到 |
| 链路 | OpenTelemetry:一次对话从 Java 到 Python 到模型,每段耗时都能串起来 |
| 告警 | 分级告警 + 值班:SLA 预警、连接掉线、成本异常 |
| AI 专项 | 花多少 token、拒答率、幻觉率、模型降级率 |
13. 测试:怎么保证质量
| 层级 | 测什么 |
|---|---|
| 单元测试 | 核心逻辑、权限过滤、状态机 |
| 集成测试 | 消息链路、AI 降级、支付回调 |
| 端到端 | 注册→审核→开通→接渠道→接待→质检 全流程自动化 |
| 性能测试 | 连接数、消息吞吐、会话查询、AI 并发 |
| AI 评测 | 识别率、检索命中率、回复质量,有评测集防回归 |
| 安全测试 | 越权、注入、密钥轮换、导出审批 |
| 灰度 | 功能开关 + 金丝雀发布,模型 A/B 对比 |
14. 部署和发布
- 环境:开发 / 测试 / 预发 / 生产,预发和生产配置一致;
- 流程:改代码 → 提 PR 评审 → 流水线(检查/测试/扫描/打包)→ 镜像 → 部署 → 冒烟 → 灰度放量;
- 数据库变更:走迁移脚本,禁止手工改库;
- 前端:静态资源带版本号走 CDN,灰度发布;
- AI 模型:独立版本管理,支持回滚和 A/B。