服务与方案 · 方案

AI 护栏与风控

上一代内容生成器停用的原因不是写不出来,是误植了第三方企业名。

这是我们在一家 B2B SaaS 企业交付 AI 营销内容系统时遇到的真实前提。所以这件事的性质很清楚:能生成从来不是难点,不出事才是。

AI 护栏是指在 AI 生成内容与人工发布之间加的一层自动核对:把可能出事的地方标出来,交给人判断。

内容护栏:三道自动核对

三道核对都只标出可疑点,不拦截发布。

自动核对怎么判
编造数字从「写作规范 + 素材 + 参考资料」三类有据来源抽出所有带单位的数字构成白名单,正文里出现白名单之外的即报
产品串台正文提到了本次没选的其他产品名或简称即报
广告法与第三方名绝对化用语、第三方企业名词表命中即报

实际运行结果(客户生产环境统计,2026-07-16 至 09-02):257 篇稿件中,52%(134 篇)被护栏标出可疑点交人工核对,没有一篇由系统自动对外发出。

护栏设计里的三个关键决定

护栏自己也会误报,报到没人再看,护栏就失效了。

  1. 只提示、不拦截、也不替人补:规范要求引用案例但一条都不匹配时,系统不拿别的产品线凑数,而是明确告知「本文未引用案例,建议人工补充」。
  2. 宁可漏报,也不要满屏误报:检查前先剔掉被禁的词本身(禁止句不是违规使用),「第一」排除序数与篇章量词,数字只认带单位的。挡住一篇的代价是人多看一眼;误报几次的代价是这套提示从此没人看。
  3. AI 自己的产出不给数字背书:同一主题带进来的「上一篇标题」刻意不计入数字白名单。

合同场景:位置由算法计算,模型全程碰不到

合同批注标错一处位置,法务就得回头重新比对全文。

在合同预审系统里,两稿比对走纯算法,每处改动带着段落号加字符区间产出;模型只能回引编号,位置与原文由算法事后贴回。定不到的改动明确列入未覆盖清单,不做模糊回退。有改动却一条都没归类,一律当失败抛错;被判「非实质」的改动全部存明细,让漏判可测量、可追责。系统定位是预审,不是终审,页头长期挂着「AI 辅助审查,不替代人工终审」。

对话场景:商务承诺一律转人工

AI 回答的事实来自结构化注入,不依赖模型记忆。

我们自己官网的 AI 数字合伙人有三重约束:企业资质、经营范围这类事实性信息以结构化上下文注入;案例引用只从自己维护的案例库中召回,不允许自由发挥;商务条件、报价、交付承诺一律不由 AI 给出,转由人工接手。

我们不承诺什么

AI 生成内容存在不确定性,我们不承诺「不会出错」。

护栏的作用是让错误被看见、被人拦下,而不是保证 AI 不犯错。这对应我们工作原则里的「AI 可以出错,业务不能停」和「人在回路」,见五条工作原则。售前材料的防编造做法见售前体系智能化。