一句话定义:输入审核(input moderation)是在用户提示词进入模型之前做的过滤,输出审核(output moderation)是在模型生成内容返回给用户之前做的过滤。两者是同一套安全体系的进出口,但查的东西、卡的标准、担的责任都不一样。
打个比方:像海关。入境通道查的是"你有没有带危险品进来",出境通道查的是"你带出去的东西合不合规"。两条通道的查验清单不同、抽检比例不同、出了问题追责的人也不同。更关键的是——你能顺利入境,不代表你带的样品能顺利出境。
为什么两端不对称:
第一,判定的对象不同。输入侧判的是意图,输出侧判的是断言。用户问"某个危险操作怎么做",这个提问本身几乎没有危害,拦掉它反而是过度反应;但模型一旦把步骤答出来,危害就落地了。所以输入侧常常放行、输出侧必须拒答——"发得进去、说不出来"的根源就在这里。
第二,误判的代价不同。输入侧每天面对海量正常提问,误杀一次就是一次可感知的体验损伤,阈值天然偏松;输出侧代表平台说话,误放一次可能触碰合规、法律和声誉风险,阈值天然偏紧。
第三,成本与时机不同。输入审核在推理前完成,一次分类器调用即可,成本低、可重试;输出审核要等文本生成出来,甚至要在流式输出里边生成边判断、边截断,工程复杂度高一个量级。
| 维度 | 输入审核 | 输出审核 |
|---|---|---|
| 检查位置 | 模型看到提示词之前 | 用户看到回复之前 |
| 判定对象 | 意图、话题、是否越狱 | 具体表述、结论、可执行细节 |
| 主要目的 | 挡住恶意与高风险请求 | 保证对外说的话合规、可担责 |
| 误判倾向 | 宁可放过,怕误伤体验 | 宁可拦下,怕漏放担责 |
| 典型手段 | 关键词、分类模型、话题黑名单 | 内容策略分类、事实与引用核对、拒答改写 |
| 常见失败 | 换个说法就绕过 | 正常问题被莫名拒答 |
和相邻概念的区别:内容安全(content safety)是总目标,护栏(guardrails)是包含输入输出审核在内的整条防护链路,红队测试(red teaming)是上线前的找漏洞手段而非线上机制;提示注入防护(prompt injection defense)关心的是指令被劫持,输入审核关心的是内容本身是否合规——两者常被混为一谈。
实际意义:做产品的人要记住,两端的策略配置、评测集和日志必须分开管。拿输入侧的通过率去推断输出侧的安全水位,是最常见的误判。用户侧则不妨理解:被拒答很多时候不是你说错了话,而是模型那一侧更保守;反过来,问得进去也绝不等于答得出来。具体阈值的取法各平台不同,以官方文档为准。
