在企业内部实际落地 Agent(特别是对接知识库、业务系统和数据的内部助手)时,理想和现实往往差距巨大。
很多人一开始想得很美:把公司所有的 SOP、文档、数据字典一股脑扔进向量数据库,再加个 LangChain/Dify,Agent 就能秒变“无所不知的超级员工”。
但只要一上线,现实就会狠狠打脸:复杂场景答非所问、上周的数据直接混淆口径、甚至把财务不该公开的明细直接吐了出来。
真正能稳定跑在生产环境的系统,核心从来不是“Agent 多聪明”,而是“失败时怎么办设计得有多扎实”。 这篇文章记录了我们在企业级 Agent 落地过程中,摸索出的一套知识库分层设计与治理防线。
一、 知识库分层:别把所有知识一锅端
企业很少把所有知识一丢了之。能长期跑起来的系统,一定是按 优先级 + 更新频率 + 置信度 做严格分层的:
[ 第一层 ] 确定性规则与元数据 (最高优先级 / 规则引擎强管控)
[ 第二层 ] 场景→解法映射 (SOP) (复杂场景核心 / 结构化模板)
[ 第三层 ] 口径字典与多部门映射 (消除歧义 / 带有角色上下文)
[ 第四层 ] 非结构化文档 + 用户记忆 (最低优先级 / RAG 兜底与个人偏好)
1. 第一层:确定性规则与元数据(最高优先级)
- 放什么:字段定义、口径字典、权限模型、合法操作白名单、事件/属性存在性校验等。
- 怎么处理:完全不依赖大模型。直接走规则引擎或配置中心。这些是底线问题,模型猜对了是运,猜错了就是事故。
2. 第二层:结构化“场景 → 解法”模板(攻克长尾复杂场景)
- 放什么:即“什么样的问题组合 → 执行步骤 + 边界条件”。
- 怎么处理:高频复杂场景用表格、YAML 或低代码流程固化下来。Agent 优先匹配这些模板,而不是每次从头依靠 LLM 去推理步骤。模型在这里只做参数提取,不做路径规划。
3. 第三层:企业特有知识 + 多口径管理
- 放什么:部门口径差异(例如:销售部与财务部对“GMV”、“活跃用户”的定义完全不同)。
- 怎么处理:建立“口径版本 + 适用角色”元数据。Agent 根据提问者身份自动选择口径,或者在回答时主动给出多口径对比。
4. 第四层:非结构化文档 + 用户画像/记忆(置信度最低)
- 放什么:PDF、Word、Wiki 等非结构化文档走 RAG;用户个人偏好(部门、常看指标、历史问题)用 Memory 服务维护。
- 怎么处理:这一层最容易脏,置信度最低。当前三层都没命中的时候才走这一层,且只要置信度稍有不够,Agent 必须主动抛出澄清选项,绝不强行盲猜。
实际调用的优先次序: 规则/元数据 → 场景模板 → 口径字典 → RAG 文档 → 用户画像
二、 生产环境中必踩的 3 个大坑,我们是怎么填的?
坑一:长尾复杂场景,堆文档根本没用
上线初期,我们总想通过“多加文档”让 Agent 变聪明,后来发现这是无底洞。
- 真实解法:上线后持续收集日志,把消耗 80% 精力的那 20% 核心场景抽取出来,人工沉淀成结构化模板(包含:场景描述 + 标准步骤 + 边界条件 + 少量 Example)。
- 团队内部设立“场景覆盖率”指标,每周定期把高频报错的 Case 转化成固定模板。
坑二:上下文缺失(“上周数据怎么样?”)
用户输入往往是极度模糊的,直接发给模型,模型只能瞎猜。
- 真实解法:
- 强制挂载轻量画像:包含用户角色、所属部门、常关注指标、最近看的报表。
- 反向澄清机制:置信度低于阈值时,直接给用户抛出 2-3 个明确选项(例如:“您是指销售部 GMV 还是财务确认收入?”)。
- 默认上下文:按部门/岗位预设默认指标和默认口径。
坑三:部门口径冲突(“到底听谁的?”)
- 真实解法:
- 建“口径字典”配置中心,记录同一指标在不同部门的计算公式与适用场景。
- 回答强带来源:Agent 给出数据时强制打上标签(“按销售部口径:xxx;按财务部口径:xxx”)。
- 对涉及考核、奖金等高风险指标,强制走多口径展示 + 人工二次确认。
三、 核心原则:“AI + 规则”的双重兜底
这是比较推荐的工程原则:单独靠大模型,几乎没有能稳定上生产的业务 Agent。
[ 意图理解 & 参数提取 ] (大模型负责)
│
▼
[ 规则引擎 / 权限校验 ] (硬性代码/引擎负责)
┌───────────┴───────────┐
▼ ▼
[ 校验通过 ] [ 校验失败 ]
│ │
▼ ▼
[ 执行动作/返回结果 ] [ 阻断 / 主动抛出澄清 ]
- 模型负责:模糊意图理解、自然语言转结构化参数(NL2SQL、NL2JSON)、初级任务规划。
- 规则负责:字段存在性校验、类型合法性、时间范围约束、权限校验、操作白名单。
典型的打法:模型理解用户的诉求并生成一个候选 Action → 规则引擎逐项校验 → 通过才允许执行;不通过直接阻断并返回明确报错。
四、 上线上线!安全与权限的 5 条红线
在 enterprise 内部系统里,以下 5 条不是“可选项”,而是上线安全的门槛:
- 字段级/行级权限继承:Agent 绝不能拥有“超管权限”。必须完全继承提问者本人的 RBAC 权限,直接复用现有的数据权限中台。
- 明细数据脱敏:汇总数据可以由 Agent 直接回答;明细数据默认脱敏,或者弹出额外授权审批流程。
- 最小权限与操作白名单:Agent 能调用的 API 必须在严格的白名单内。高风险动作(删改配置、全量导出、对外发信)绝对不进自动执行列表。
- 全链路审计留痕:从
原始提问→模型理解结果→命中的知识/工具→最终生成的 SQL/API→用户点击确认,全链路记 Log,方便溯源与 Bad Case 分析。 - 回执确认与可回滚:
- 确认:写操作执行前,必须强制渲染弹窗并让用户二次确认(“即将为您创建以下人群分群,是否确认?”)。
- 回滚:不可逆的操作(如物理删除),Agent 绝不自动跑,仅生成脚本/方案,提示有权限的人员手动去后台操作。
写在最后
企业里折腾 Agent,最大的心得其实就一句话:
不要追求 Agent 永远正确,而是要让系统清楚地知道:它什么时候不确定、什么时候绝对不能自动执行。
把“成功时怎么炫”的预期降下来,把“失败时怎么办”的底座建扎实,这才是企业 AI Agent 能够真正走入生产环境的唯一路径。