一句话定义
毒性检测（toxicity detection）是用模型自动判断一段文本是否含有仇恨言论（hate speech）、骚扰（harassment）、威胁（threat）、侮辱、歧视等会造成伤害的内容，通常输出一个 0 到 1 的"有毒概率"，或者一组类别标签。它是内容护栏（guardrail）里最基础的一层分类器（classifier）。
它怎么工作
流程很像流水线上的安检机：文本先被编码器（encoder）压成一个语义向量，再接一个小的分类头，输出"有毒/无毒"的概率；更细的做法是同时预测多个维度，比如"是否针对受保护群体""是否含暴力威胁""是否只是粗俗用语"。
打个比方：它不是保安，是烟雾报警器。报警器不负责灭火，只负责在烟雾起来时尖叫一声，把决定权交给后面的人和流程。所以它天生要在"太灵敏"和"太迟钝"之间取舍——炒菜就报警，大家会把电池拆了；真着火不响，才是灾难。
容易混淆的几个词
| 概念 | 关心什么 | 输出 |
|---|---|---|
| 毒性检测 | 文本是否伤害他人 | 概率 / 标签 |
| 内容审核 | 从识别到处置的完整流程 | 删除、限流、警告、申诉 |
| 情感分析 | 情绪是正面还是负面 | 极性 |
| 提示注入检测 | 输入是否试图劫持模型指令 | 风险判定 |
两点关键区别：一是毒性检测只是内容审核（content moderation）的一个零件，审核还包括规则、人工复核、申诉和追责；二是"有毒"比"仇恨"宽得多，一句纯粹的人身攻击不涉及任何群体，也照样算有毒，只是归到骚扰那一类。
对从业者的意义
它是输入侧和输出侧都要跑的一层——用户可能骂人，模型自己也可能生成不当内容。落地时最麻烦的不是模型本身，而是边界：引用仇恨言论做学术讨论、群体内部自我指称的贬义词、反讽和黑话，都容易被误伤；对抗性写法（用符号或谐音替换字母）、多语言、短文本缺上下文，则会漏判。
工程上有两个朴素但重要的原则：一是精确率（precision）和召回率（recall）要按场景调——面向儿童的产品宁可误杀，开发者社区则更怕误杀正常讨论；二是把分数当参考而不是判决，高分进人工队列，低分放行，中间地带单独处理。标注数据本身带主观性，不同标注者意见都不一致，这是这类模型的天花板，不是调参能解决的。
对普通人的意义
你发的一句话被平台拦下，很可能就是它在起作用。理解这一点，遇到误判时就知道该走申诉而不是反复重发。具体平台的判定标准和处理规则，以各自官方页面为准。