一句话定义：偏好数据（Preference Data）不告诉模型“标准答案是什么”，只告诉它“这两份答案里，人更喜欢哪一份”。最常见的形态是三元组：一个问题（prompt）、一个被选中的回答（chosen）、一个被拒绝的回答（rejected）。
展开讲原理。设想教一个新厨师。第一种教法是给他一本菜谱，每道菜精确到几克盐、几分钟火候，这就是监督微调（SFT，Supervised Fine-Tuning）用的指令数据。第二种教法是不给菜谱，只让他每天尝两道同款菜，然后告诉他“这盘更好”。尝得多了，他自然摸出规律：汤更清、肉更嫩、咸淡更准。偏好数据就是第二种教法。
为什么必须要有第二种？因为很多任务的“好”根本写不成标准答案。一段道歉话术是否真诚、一条拒绝是否得体、一段解释是否啰嗦，人能一眼判断优劣，却很难写出唯一正确答案。但“二选一”这件事，人做起来又快又稳。
拿到偏好数据后，主流用法有两条路。一是先用这些配对数据训练一个奖励模型（Reward Model），让它学会给回答打分，再用强化学习让语言模型去讨好这个打分器，这就是 RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习）。二是 DPO（Direct Preference Optimization，AI 词典：直接偏好优化">直接偏好优化），跳过显式的奖励模型，直接在同一批“选中/拒绝”配对上优化模型本身，省去强化学习这一整套复杂流程。两者共同点：模型学到的是相对排序，而非绝对标准。
和相邻概念的区别，一张表说清：
| 数据类型 | 形态 | 回答的问题 | 典型用途 |
|---|---|---|---|
| 预训练语料 | 大段文本 | 语言长什么样 | 学语言与世界知识 |
| 指令微调数据 | 问题 → 一个回答 | 该怎么答 | 学会听指令、答格式 |
| 偏好数据 | 问题 → 两个回答 + 优劣 | 哪种答法更好 | 对齐风格、语气、安全性 |
| 评测数据 | 问题 → 参考答案/评分标准 | 到底行不行 | 衡量效果，不参与训练 |
实际意义。对从业者：偏好数据的瓶颈通常在一致性和偏差，而非数量。常见的坑是标注员对“好”的理解不统一；以及“长度偏差”，标注员下意识觉得更长的回答更用心，结果模型学会了注水。做数据前先写清标注规范、做交叉复核，比多标几万条更值钱。对普通职场人：你在产品里点的那次赞、点的“重新生成”、最终采纳的那个版本，本质上都是在生产偏好数据。它比打分问卷好用得多，因为比较比打分更符合人的直觉。这也意味着，选择“二选一”来收集反馈，往往是产品设计上更聪明的做法。
至于各家具体怎么配比、怎么标注，以官方页面为准。