一句话定义：Cohen's kappa（常写作 κ，中文多称「科恩卡帕系数」）衡量两位标注员对同一批样本做分类判断时的一致程度，它在原始一致率的基础上，扣掉了「两人纯靠各自偏好瞎猜也会撞上」的那部分。
为什么不能只看「一致率」
假设你做情感标注质检，抽了 100 条评论，让两位标注员各自打「正面 / 负面」。两人有 80 条判得一样，一致率（observed agreement，p_o）80%，看起来不错。但先别急着收工。
把两人的标签分布摆出来：A 判了 60 条正面、40 条负面，B 也一样。那么随便抽一条，两人碰巧都判正面的概率是 0.6 × 0.6 = 0.36，都判负面是 0.4 × 0.4 = 0.16，纯靠运气的一致率已经有 p_e = 0.52。真实的「超出运气的部分」只有 0.80 − 0.52 = 0.28，而理论上能超出运气的最大空间是 1 − 0.52 = 0.48：
κ = (p_o − p_e) / (1 − p_e) = 0.28 / 0.48 ≈ 0.58
打个比方：两位裁判给同一批菜打分，如果这道菜本来就「谁看了都说好」，两人都说好并不稀奇。kappa 要的是：在排除「这道菜太容易」之后，你们的判断还剩下多少真正的共性。结果落在 −1 到 1 之间：1 是完全一致，0 是和瞎猜没区别，负数意味着系统性唱反调。0.58 和 80% 一比，这份质检报告的成色就诚实多了。
和相邻指标的区别
| 指标 | 适用人数 | 是否校正碰巧一致 | 备注 |
|---|---|---|---|
| 简单一致率 percent agreement | 任意 | 否 | 类别越不均衡，越虚高 |
| Cohen's kappa | 固定两人 | 是 | 名义类别，两人不能随便换 |
| Fleiss' kappa | 多人 | 是 | 要求每人标注样本数相同 |
| weighted kappa | 两人 | 是 | 标签有序时，区分「差一点」和「差很远」 |
| Krippendorff's alpha | 多人 | 是 | 可处理缺失数据和连续标注 |
对实际工作的意义
标注规范评审、外包质检、让人和模型对齐，都常报 kappa。常见的经验分档（Landis & Koch）是：0.41–0.60 中等、0.61–0.80 较好、0.80 以上很好，但阈值随任务难度差异很大，严格领域的标注往往要求更高，具体以项目约定为准。
有两个坑值得记住。一是kappa 悖论：某一类占比极高时，p_e 接近 1，分母变小，一致率明明很高、kappa 却很难看，这时必须同时报告混淆矩阵，别只甩一个数字。二是低 kappa 常常不是标注员不认真，而是规范没写清「反讽算不算负面」。先改规范，再谈换人。