一句话定义:李克特量表(Likert scale)是一种让评价者按有序等级表达同意程度或质量高低的评分工具,AI 评测里常见形式是“请给这条回答打 1–5 分”。严格说,单题更像李克特式题目(Likert-type item),多题汇总才构成量表,日常常混用。
原理与类比:它像餐厅星级:1 星很差,5 星很好,但“3 星”到底算“还行”还是“不及格”,不同人心里不一样。量表只保证顺序,不保证等距。4 分和 5 分的差距,未必等于 1 分和 2 分的差距;把 1–5 分直接求平均,容易把“勉强及格”和“很好”混成一个看似精确的小数。更稳妥的是看分布、中位数、低分率,必要时再做成对比较(pairwise comparison)。
两个常见坑:
1. 中间档扎堆(central tendency bias):评价者怕担责或标准模糊,大量打 3 分,导致好答案和坏答案区分不开。
2. 评分标准漂移(rubric drift):同一批人今天宽松、明天严格,或不同团队对“4 分”理解不同。没有锚点(anchor)和校准(calibration),分数跨时间、跨批次不可比。
和相邻概念的区别:
| 方法 | 问什么 | 优点 | 风险 |
|---|---|---|---|
| Likert 量表 | 这条回答绝对打几分 | 快、易汇总 | 中间档扎堆、标准漂移 |
| 成对比较 | A 和 B 哪个更好 | 区分度通常更高 | 只能排序,难给绝对分 |
| 通过/不通过 | 是否达标 | 标准清楚、成本低 | 信息量少 |
实际意义:做 AI 评测时,别只写“1–5 分”。要给每一档写清行为锚点,配示例,先做校准集;报告结果时同时给出样本量、分布和评分者一致性。对普通人来说,看到“平均 4.2 分”先别当真,问问:谁打的、标准是什么、中间档有多少。具体工具和模板以官方页面为准。
