跳至内容 / Skip
返回洞察列表
English
AI 产品

先检索对,再谈智能体编排

KSX Studio · 可上线10 分钟阅读

ChatGPT 套壳连公司网盘不是 RAG 产品。企业内部知识库 RAG MVP 的目标是:在权限内返回带出处的答案,失败时明确不知道。可上线把探索用在语料盘点与评测集,而不是先挑向量库。下文给出六周范围:谁的问题、哪些文档、如何切块验权评测,避免演示很好、上线乱答。下文给出可落地的判断框架、分步清单与常见误区,便于上海及跨境团队在两到四周内推进,并把相关服务能力组合进同一交付节奏。

选定单一工单场景

如售前答 RFP、客服查政策、工程查运维手册。场景越窄语料与评测越好建。写清角色与不可回答边界(薪酬、未公开财务等)。结合可上线探索→设计→开发→上线节奏,把该项写入验收与预发检查,避免口头对齐后遗漏。

语料清单与新鲜度

列出 Notion/Confluence/飞书/PDF 源、更新频率、所有者。无所有者文档不进 MVP。定义删除与过期策略。结合可上线探索→设计→开发→上线节奏,把该项写入验收与预发检查,避免口头对齐后遗漏。

切块与元数据决定质量

按标题层级与表格完整性切块,保留路径、权限标签、更新时间。中英混合分别测。先混合检索再复杂重排。结合可上线探索→设计→开发→上线节奏,把该项写入验收与预发检查,避免口头对齐后遗漏。结合可上线(KSX Studio)探索→设计→开发→上线节奏,把该项写成可验收产物:负责人、完成定义、预发验证与回滚策略,避免口头对齐后再次发散。

权限在检索层强制过滤

查询时注入用户可访问 space,而不是生成后再过滤。日志脱敏。越权问答列为安全测试。结合可上线探索→设计→开发→上线节奏,把该项写入验收与预发检查,避免口头对齐后遗漏。结合可上线(KSX Studio)探索→设计→开发→上线节奏,把该项写成可验收产物:负责人、完成定义、预发验证与回滚策略,避免口头对齐后再次发散。

答案必须带引用

UI 展示出处与链接;无命中拒答并转人工。禁止模型用参数记忆编造政策。引用点击率是健康度指标。结合可上线探索→设计→开发→上线节奏,把该项写入验收与预发检查,避免口头对齐后遗漏。结合可上线(KSX Studio)探索→设计→开发→上线节奏,把该项写成可验收产物:负责人、完成定义、预发验证与回滚策略,避免口头对齐后再次发散。

评测集:上线门禁

50–100 条真实问题,标注出处与可接受要点。改 embedding/提示/切块都跑回归。没有评测集的 RAG 是剧场。结合可上线探索→设计→开发→上线节奏,把该项写入验收与预发检查,避免口头对齐后遗漏。

六周节奏

W1 场景语料;W2 管道权限;W3 检索;W4 引用拒答 UI;W5 评测安全;W6 灰度。成功再扩语料,勿先接全公司硬盘。结合可上线探索→设计→开发→上线节奏,把该项写入验收与预发检查,避免口头对齐后遗漏。

可执行清单

  1. 1锁定单一场景与拒答边界
  2. 2语料所有者与更新频率表
  3. 3检索层 ACL 强制过滤
  4. 4UI 引用与无命中拒答
  5. 5≥50 条评测集接入 CI

核心要点

  • RAG MVP 核心是可验权检索与引用。
  • 评测集与功能测试同级。
  • 先窄场景灰度再扩语料。

常见问题

必须向量数据库吗?
小语料可先托管检索验证价值;规模与权限复杂后再选型。
能接全公司网盘吗?
不建议作 MVP。按场景白名单目录。
开源还是 API?
看出境、成本、延迟。用评测集对比。生成可替换,检索质量更难替换。

相关服务

继续阅读