一句话定义:后训练数据公地(Post-training Data Commons)指一个设想中的、像公共图书馆一样开放的高质量后训练数据集池——任何人都能取用、贡献、审计。它的核心论断不在于“有”,而在于“没有”:这东西目前并不存在,也很难自发长出来。
先分清两种数据。 预训练(pre-training)喂的是海量网页与书籍文本,量大、粗糙、可替代,Common Crawl 这类语料确实曾接近“公地”。后训练(post-training)不一样:监督微调(SFT)的示范答案、人类偏好对比数据、拒答与安全边界样本、推理轨迹、Agent 操作日志、评测题库——它们量小、人工贵,却直接决定模型听不听话、靠不靠谱。
打个比方:预训练是让孩子把整座图书馆读一遍,书是公共的;后训练是请家教一对一纠错,家教的教案、错题本和评分标准才是提分的关键。而这些属于私塾资产,不会贴在公告栏上。
为什么会私有化? 四个现实原因:一是复制成本近乎为零,一份数据被抄走,护城河当场消失;二是标注与专家撰写成本高,且数据本身会暴露模型的弱点;三是后训练数据常与评测集同源,公开等于泄题;四是许可与合规——隐私、供应商合同、来源不清,让“能公开”和“敢公开”是两件事。再加上产品使用数据天然回流成闭环,飞轮越转越封闭。
和相邻概念的区别:开源权重(open weights)开放的是结果,不是配方。你能下载模型,但拿不到让它变好的那份数据。
| 维度 | 预训练语料 | 后训练数据 |
|---|---|---|
| 规模 | 万亿级 token | 千到百万级样本 |
| 来源 | 网页、书籍、代码 | 人工标注、专家撰写、模型生成 |
| 可替代性 | 高,换一批也能用 | 低,换一批效果就变 |
| 公开程度 | 部分公开 | 基本不公开 |
意味着什么:对模型迭代,头部玩家靠私有数据飞轮领先,追赶者转向合成数据(synthetic data)与蒸馏,但要面对同质化与“模型吃自己”的退化风险。对开源生态,开源权重容易、开源数据难,社区在重复造标注,小团队很难复现同等效果。对从业者,最实际的一条是:把数据当核心资产管理——版本、许可、血缘记录清楚,别指望“下载一个数据集就能追上”。对普通人,不同产品之间的体验差距,很大一部分就是这份看不见的数据差距;你贡献的对话与反馈流向哪里,值得看一眼——具体条款以各家官方页面为准。
