一句话定义
少样本示例顺序偏差(Few-shot Order Bias)指的是:在提示词里给模型几组"输入→输出"的示例(即少样本提示,few-shot prompting),当示例的内容一字不改、只把它们的先后顺序调换时,模型给出的答案却可能跟着变——本该中立的示范,实际上带上了位置带来的偏向。
原理:模型是从上往下"读"的,不是一次性看全
大模型处理提示词时是逐词推进的,越靠近末尾的内容对下一步生成的影响往往越大,这跟人听完一场会、记住更多的是最后几个发言者有点像。示例又是在上下文里现场"学"的(AI 词典:上下文学习">上下文学习,in-context learning),模型会顺手归纳出一套局部规律:如果最后三条示例的答案都是"驳回",它就更容易接着往下写"驳回"。
生活化的比方:给新同事交接审单经验,你先讲三个"通过"案例再讲三个"驳回"案例,和反过来讲,他上手第一批单子时的倾向就不一样。他学到的不是你的判断逻辑,而是你讲述的节奏。
还有一层:示例顺序会改变模型对"各类答案各占多少"的感知。末尾堆满同一类别,等于在暗示"这一类才是主流"。
和相邻概念的区别
| 概念 | 变的是什么 | 典型表现 |
|---|---|---|
| 顺序偏差 | 示例的排列次序 | 换顺序,答案从 A 跳到 B |
| 示例选择偏差 | 挑哪几个例子 | 例子选得偏,模型学偏 |
| 提示脆弱性(prompt sensitivity) | 措辞、标点、格式 | 改个说法结果就变 |
| 近因效应(recency bias) | 位置本身 | 越靠后的信息权重越高 |
顺序偏差是提示脆弱性的一种具体形态,近因效应则常被用来解释它的一部分成因;但两者不能划等号,因为示例之间还会互相"组队"形成模式,不只是谁离得近的问题。
对从业者的实际意义
- 别把一次跑通当成调好了。评估少样本提示时,换几组随机顺序各跑一遍,看结果稳不稳;不稳就说明这套示例本身不够结实。
- 分类类任务里,让不同类别的示例交替出现、别把同一类堆在末尾,通常更稳。
- 线上服务里示例顺序是固定的,这意味着它同时也是一个固定的隐性偏置。上线前值得专门测一下"换序"这个变量。
- 对普通职场人:给模型几个范例确实有用,但"多塞几个例子"不等于更好;例子是否典型、有没有覆盖边界情况,比数量重要。想要稳定,就别只试一次。
一句话收尾:示例是教材,顺序是编排;教材没换,编排换了,学生(模型)的理解也会跟着换。具体模型表现各异,以官方文档和自测结果为准。
