一句话定义：标注一致性（Inter-Annotator Agreement，IAA）就是让两个或多个人去标同一批样本，看他们给出的标签有多吻合。一致率越低，这份数据当作"标准答案"的可信度就越低。
打个比方。假设你要判断一批作文能不能及格，请了两位老师分别批同一百篇。如果两人对九成的作文判断相同，那这套"及格线"还算靠谱；如果两人有一半的判断都不一样，那你拿这批标签去衡量什么都很荒唐——你量的其实是两位老师的心情，不是作文水平。
这件事在 AI 里格外要紧，因为大量评测的"标准答案"是人工标的。安全审核、意图分类、客服质检、模型回答好坏打分，都是先请人标一批，再拿模型去对。这把尺子本身刻度在抖，后面所有数字都站不住。
最朴素的算法是简单一致率：两人标签相同的样本占比。它有个大坑——如果类别极度不平衡，比如九成五的样本都是"正常"，那两个人哪怕闭着眼全填"正常"，一致率也会高得好看，却什么也没说明。所以实践中常用扣除随机因素后的指标，比如 Cohen's kappa、Fleiss' kappa、Krippendorff's alpha。它们大致是从 1 到 0 的量纲：1 是完全一致，0 约等于随机乱猜。具体用哪个、怎么算，以你们所用工具和团队规范为准。
它和几个容易混的概念区别如下：
| 概念 | 衡量什么 | 谁跟谁比 | 数值高了说明 |
|---|---|---|---|
| 标注一致性 | 人之间的口径是否统一 | 标注员 A vs 标注员 B | 任务定义清楚、数据可当尺子 |
| 标注准确率 | 标得对不对 | 标注员 vs 黄金标准 | 标注员水平高 |
| 模型指标 | 模型表现好不好 | 模型 vs 测试集标签 | 模型在这份测试集上表现好 |
关键点在于：一致性和准确性是两回事。两个人可以高度一致地一起标错——口径统一，但方向错了。反过来，准确率高也不代表一致率高，可能只是一个人扛下了所有判断。
对从业者的实际意义很直接：别等标完一万条再检查。先抽五十到一百条做试标，算一遍一致率；低就回去改标注规范，把定义拆细、多给边界例子、明确"不确定时怎么选"。分歧大的样本可以单独标成"存疑"，别硬塞进正负两类。否则你可能对着"模型 A 比 B 高两个点"兴奋半天，而这两个点只是标注噪声。
对普通职场人也一样。下次看到"人工评测显示我们的效果更好"，不妨追问一句：几个人标的？一致率多少？这一问能筛掉不少注水结论。