一句话定义：训练数据去重（Deduplication）就是在把语料喂给模型之前，找出内容相同或高度相似的样本并删掉，让同一条信息在训练集里大致只出现一次。
一个复习考试的比方
想象你在准备考试，手上的习题集里同一道题被复印了 50 遍。你会把大量时间花在这道题上，最后能一字不差地背出答案——但换一道新题就发懵。更麻烦的是，如果模拟卷里恰好有这道题，你考了高分，也不代表你真会做。
训练数据就是那本习题集。重复样本带来的，远不只是"多看了几遍"。
重复样本的三重代价
第一，算力浪费。 每一条样本都要走一遍前向和反向传播。重复的样本本质上是在为同一条信息反复付费，token、显卡时间都是真金白银。以官方文档为准，各家对数据配比的说明会更新，但"重复即浪费"这件事不会变。
第二，模型会死记硬背。 一条内容出现次数越多，模型越倾向于把它逐字记住，而不是从中抽取可迁移的规律。重复还是一种隐性加权：某个来源被爬虫抓了很多遍，就等于在数据分布里被悄悄放大了权重，把整体配比带偏。
第三，评测分数会虚高。 如果测试集里有样本和训练集重叠（train-test overlap），评测就变成了"考背过的题"。更隐蔽的是，不同团队的去重力度不一样：A 团队去得干净，B 团队留了大量重复，两边报出的分数根本不在同一把尺子上。所以去重不只是省算力，它是评测可比性的前提——没有它，模型之间的对比、论文之间的对比都失去意义。
和相邻概念的区别
| 概念 | 关心的问题 | 与去重的关系 |
|---|---|---|
| 训练数据去重 | 同一条内容重复了几次 | 本词条 |
| 数据清洗（Cleaning） | 格式能否解析、有无乱码噪声 | 更宽的上游步骤，去重是其中一环 |
| 数据过滤（Filtering） | 内容质量、安全、是否属于目标领域 | 按"要不要"取舍，去重按"重复度"取舍 |
| 数据增强（Augmentation） | 样本够不够多、够不够多样 | 方向相反，是刻意造样本 |
去重的粒度也有讲究：文档级、段落级、句子级，精确匹配还是近似匹配（用哈希、模糊匹配或语义相似度）。粒度过粗会误删正常表达，粒度过细则漏掉改写过的重复。常见做法是分层次处理。
对你意味着什么
做模型的人：报告评测结果时，应一并说明去重策略；看到两份分数对比，先确认数据管线是否可比，否则别急着下结论。
用模型的人：无论是拿企业文档做微调，还是搭AI 词典：检索增强生成">检索增强生成（RAG），第一步都该去重。否则你会遇到"效果特别好"的假象——因为提问的内容在资料里原样出现过。内部评测集同样要和训练、索引材料保持无重叠。
去重不产生新数据，也不让模型变聪明，它只是把地板擦干净。但地板不干净，量出来的身高就不作数。