据 TechCrunch 报道,OpenAI 于 11 月 16 日发布了一款新的图像分类器,并在 ChatGPT 中加入警告提示,目的是打击儿童性虐待材料(CSAM)。这是 OpenAI 在内容安全方向上的一次产品与模型能力同步更新。
从目前公开的信息看,这次动作分为两个层面。一是技术层面,新增的图像分类器用于识别此类违规图像内容,属于检测环节的基础能力;二是产品层面,ChatGPT 侧引入了警告提示,用于在用户交互过程中进行前端干预。检测与提示结合,意味着治理思路覆盖了“识别内容”和“约束使用行为”两个环节。
为什么值得关注?生成式模型能力提升的同时,被滥用于制作和传播此类违法内容的风险也在上升,平台因此面临越来越高的内容安全要求。图像分类器这类专用模型,是审核自动化链条中的关键组件,其能力直接决定拦截效率;而在聊天产品中加入警告,则是在入口处做提示与震慑,降低误用与恶意使用的概率。对 AI 从业者而言,这再次说明内容安全不是附属功能,而是模型与产品上线时必须同步建设的基础设施。
需要说明的是,目前公开信息较为有限,OpenAI 尚未披露该分类器的具体性能指标、覆盖范围、误判处理机制以及警告提示的具体触发条件与呈现方式。这些细节将决定该方案在实际审核流程中的效果,后续进展值得持续跟踪。
