位置偏差(Position Bias)指模型或评审在判断时,受信息出现位置影响,而不是只依据内容本身。最直观的例子是:同一份答案放在 A 位或 B 位,评审结果可能改变。
大语言模型(Large Language Model, LLM)按顺序读入文本。训练数据、注意力机制和解码顺序,会让靠前或靠后的内容获得额外权重。打个比方:评委尝两道菜,先尝的那道留下第一印象,后尝的那道又可能因为“最新鲜”被高估;如果只看菜本身,本来不该有这种差别。成对评估里,把候选 1 放 A、候选 2 放 B,模型选 A;交换位置后它仍选 A,就说明它可能只是偏好 A 位,而不是候选 1 更好。常见表现有首选偏差、近因偏差,以及对 A/B 顺序敏感。
它和相邻概念不同:
| 偏差 | 触发点 | 例子 |
|---|---|---|
| 位置偏差 | 答案或选项的顺序 | 同一答案换到 A 位胜率变高 |
| 长度偏差 | 文本长短 | 更长答案被误判更好 |
| 谄媚偏差 | 用户立场 | 用户说错,模型跟着说对 |
| 自我偏好 | 答案来源 | 模型偏爱自己或同家族输出 |
实际意义很直接。做模型评测或用大模型当评审(LLM-as-a-judge)时,应把 A/B 位置随机化并交换评估,取两次结果的平均,或要求两次一致才计分;只评一次就下结论,很容易把位置偏好当成质量差异。产品里的排序、推荐、AI 词典:检索增强生成">检索增强生成(RAG)的上下文拼接,也会受位置影响:开头和结尾通常更容易被抓住,中间信息容易被忽略。对普通人来说,看简历、比方案、做选择同样有顺序效应,AI 给出的选项顺序也可能悄悄改变你的判断。具体评测规则和榜单方法,以官方页面为准。
