护栏不是上线前贴的安全贴纸,而是产品行为规格的一部分
把大模型挂到官网、应用内助手或售后入口时,风险从「答得不准」升级为「以你的品牌口吻承诺、泄密、辱骂或被诱导越权」。面向客户的 LLM 护栏设计要同时覆盖内容策略、系统提示与架构、检索与工具权限、运行时检测、评测与人工升级——而不是只靠一句「你是乐于助人的助手」。可上线在 AI 方案与 Web 实现里把护栏当功能做:探索阶段写威胁与红线;设计阶段定义拒答与转人工体验;开发阶段分层实现与日志;上线以越狱与敏感集回归为门禁。下文按可施工层次展开,适合已有演示、准备对真实用户开放的团队。
威胁模型先于模型选型:谁会攻击,损失是什么
列出滥用者与误用者:好奇用户、竞品、脚本批量、心怀不满的客户。损失类别:错误承诺(价格/疗效/时效)、PII 与内部文档泄露、品牌伤害话语、工具越权(退款、改账户)、合规敏感话题。每个类别标「可接受残余风险」与责任人。没有威胁模型,护栏讨论会变成无限道德辩论。面向客户默认比内部工具更严,除非有强登录与合同约束。
分层策略:产品政策 → 系统提示 → 架构约束 → 运行时检查
单靠提示词会被套话与越狱绕过。书面产品政策定义允许领域与禁止清单;系统提示翻译为指令但不当唯一防线;架构层用检索白名单、工具 ACL、输出 schema、长度与频率限制;运行时用分类器/规则做输入输出过滤与二次改写。各层有 Owner:政策归业务与法务,架构归工程,运行时规则可共享配置仓。变更走评审,禁止运营私改生产提示。
检索与知识边界:你检索到的,就是你可能说出的
RAG 类产品最大的泄密面是「不该进库的文档进了库」。护栏包括:文档分级、租户过滤、引用强制、超库问题拒答模板、更新与下线流程。禁止把整站爬虫当知识库而不审。对价格、库存、合同条款等高变字段,优先结构化 API 而非自由生成。引用展示要可点验,避免伪造书名式幻觉包装。
工具与动作:最小权限,默否认,可回滚
任何能改状态的工具(下单、改地址、发邮件、打外部 webhook)默认关闭,按角色与确认步骤打开。高风险动作要二次确认或强制人工。幂等与审计日志必备。面向客户的 LLM 不应持有全能后台令牌。开发时把「模型想调用」与「策略允许调用」分成两道门。
拒答、降级与转人工的体验规格
拒答文案要稳定、可本地化、不嘲讽用户;说明能否换人工。降级路径:检索失败→安全模板;模型超时→表单;敏感检测→阻断并记录。转人工必须携带会话摘要与用户可见的「已升级」状态,避免用户重复叙述。设计阶段把这些状态画进流程图,开发按状态机实现,而不是 if-else 临时字符串。
越狱与滥用评测:上线前门禁,上线后抽样
维护攻击集:角色扮演绕过、指令覆盖、编码/多语言走私、诱导竞品诽谤、套取系统提示、PII 诱导。每条标期望行为(拒答/安全完成/升级)。门禁:高危类零放过或可解释例外。上线后按比例人工抽检与用户举报队列。提示或模型一变,全量回归。可上线把评测集当交付物,而不是客户自己「上线后看看」。
观测、成本与滥用速率:护栏的运营面
日志记录策略决策(哪一层拦截)、延迟、token、用户举报,注意脱敏。速率限制与异常会话熔断防止刷接口。成本失控本身是可用性风险——预算告警与降级同属护栏。定期复盘误杀(合法问题被拒)与漏放,调政策而非只调温度参数。
落地顺序与可上线协作方式
建议顺序:威胁与政策书面化 → 无工具只读助手+强拒答 → 检索白名单与引用 → 低风险工具 → 面向客户开放流量。每一阶有评测门禁。Web 层还要处理 CSP、密钥、预发隔离。若你的助手已在演示环境,把入口位置、工具列表与已知事故发到 hi@keshangxian.com;我们按设计→开发→上线把护栏做成可回归的产品行为,而不是 annexe 里的安全附录。
可执行清单
- 1威胁模型与损失类别已书面化并指定责任人
- 2政策/提示/架构/运行时四层职责清晰且变更可审
- 3检索分级、引用强制与工具默认拒绝已实现
- 4拒答/降级/转人工状态机与文案已进设计与代码
- 5越狱评测集作为上线门禁,模型或提示变更必回归
核心要点
- 面向客户的 LLM 护栏设计是分层产品规格,不是单次提示工程。
- 检索与工具权限决定真实风险面;评测集决定你是否敢放量。
- 拒答与转人工是功能,需要状态机、文案与日志,而不是抱歉句。
常见问题
- 只用模型厂商自带安全过滤够不够?
- 不够作为唯一防线。厂商过滤是基线,不理解你的价格承诺、文档分级与工具 ACL。客户面产品必须叠加自有政策与架构约束。
- 护栏会不会让助手显得「很笨」?
- 糟糕的护栏会。好的设计在界内尽量有用,界外干净拒答并给替代路径。误杀率应进月度复盘,与漏放一起优化。
- 可上线能否在现有聊天组件上补护栏?
- 可以,通常从威胁模型、中间层策略与评测集接入开始,再改前端状态与转人工。说明现状:hi@keshangxian.com。