先检索对,再谈智能体编排
ChatGPT 套壳连公司网盘不是 RAG 产品。企业内部知识库 RAG MVP 的目标是:在权限内返回带出处的答案,失败时明确不知道。可上线把探索用在语料盘点与评测集,而不是先挑向量库。下文给出六周范围:谁的问题、哪些文档、如何切块验权评测,避免演示很好、上线乱答。下文给出可落地的判断框架、分步清单与常见误区,便于上海及跨境团队在两到四周内推进,并把相关服务能力组合进同一交付节奏。
选定单一工单场景
如售前答 RFP、客服查政策、工程查运维手册。场景越窄语料与评测越好建。写清角色与不可回答边界(薪酬、未公开财务等)。结合可上线探索→设计→开发→上线节奏,把该项写入验收与预发检查,避免口头对齐后遗漏。
语料清单与新鲜度
列出 Notion/Confluence/飞书/PDF 源、更新频率、所有者。无所有者文档不进 MVP。定义删除与过期策略。结合可上线探索→设计→开发→上线节奏,把该项写入验收与预发检查,避免口头对齐后遗漏。
切块与元数据决定质量
按标题层级与表格完整性切块,保留路径、权限标签、更新时间。中英混合分别测。先混合检索再复杂重排。结合可上线探索→设计→开发→上线节奏,把该项写入验收与预发检查,避免口头对齐后遗漏。结合可上线(KSX Studio)探索→设计→开发→上线节奏,把该项写成可验收产物:负责人、完成定义、预发验证与回滚策略,避免口头对齐后再次发散。
权限在检索层强制过滤
查询时注入用户可访问 space,而不是生成后再过滤。日志脱敏。越权问答列为安全测试。结合可上线探索→设计→开发→上线节奏,把该项写入验收与预发检查,避免口头对齐后遗漏。结合可上线(KSX Studio)探索→设计→开发→上线节奏,把该项写成可验收产物:负责人、完成定义、预发验证与回滚策略,避免口头对齐后再次发散。
答案必须带引用
UI 展示出处与链接;无命中拒答并转人工。禁止模型用参数记忆编造政策。引用点击率是健康度指标。结合可上线探索→设计→开发→上线节奏,把该项写入验收与预发检查,避免口头对齐后遗漏。结合可上线(KSX Studio)探索→设计→开发→上线节奏,把该项写成可验收产物:负责人、完成定义、预发验证与回滚策略,避免口头对齐后再次发散。
评测集:上线门禁
50–100 条真实问题,标注出处与可接受要点。改 embedding/提示/切块都跑回归。没有评测集的 RAG 是剧场。结合可上线探索→设计→开发→上线节奏,把该项写入验收与预发检查,避免口头对齐后遗漏。
六周节奏
W1 场景语料;W2 管道权限;W3 检索;W4 引用拒答 UI;W5 评测安全;W6 灰度。成功再扩语料,勿先接全公司硬盘。结合可上线探索→设计→开发→上线节奏,把该项写入验收与预发检查,避免口头对齐后遗漏。
可执行清单
- 1锁定单一场景与拒答边界
- 2语料所有者与更新频率表
- 3检索层 ACL 强制过滤
- 4UI 引用与无命中拒答
- 5≥50 条评测集接入 CI
核心要点
- RAG MVP 核心是可验权检索与引用。
- 评测集与功能测试同级。
- 先窄场景灰度再扩语料。
常见问题
- 必须向量数据库吗?
- 小语料可先托管检索验证价值;规模与权限复杂后再选型。
- 能接全公司网盘吗?
- 不建议作 MVP。按场景白名单目录。
- 开源还是 API?
- 看出境、成本、延迟。用评测集对比。生成可替换,检索质量更难替换。