一句话：稀疏自编码器（Sparse Autoencoder, SAE）是一种训练方法，把大模型内部混杂的激活向量拆成上万个各自只负责一个概念的稀疏特征，是可解释性研究里最常用的工具之一。
为什么需要拆
模型某一层有几千个神经元。直觉上以为一个神经元对应一个概念，实际上单个神经元常常身兼数职：既对"银行"有反应，也对"河岸"、某类括号有反应。这种多义性（polysemantics）的根源是叠加（superposition）：模型能表达的概念数量远超它拥有的维度数，于是很多概念被压缩、混叠在同一批维度上，像几十个电台挤在同一个频段里互相串台。
怎么拆
SAE 就是一个自编码器，但用法反着来：中间层不是更小，而是比输入大很多（过完备），同时加一个稀疏约束——每个输入只允许少数中间单元激活。
- 输入：某层的一段激活向量
- 中间层：成千上万个单元，训练要求每次只有极少数亮起来
- 输出：解码回原向量，越接近越好
损失只有两项：重建误差加稀疏惩罚（常用 L1）。整个过程不需要人工标注，属于无监督学习。
因为"每次只能亮几个"，中间单元没法偷懒去记一堆混合模式，只能各自认领一个相对干净的概念。中间层的每个单元就是一个特征，它的数值表示"这个概念在当前的输入里有多强"。
打个比方：原来的激活像一锅熬好的高汤，尝得出味道却分不出成分；SAE 把它拆成一排调料瓶，每瓶只装一种调料，模型刚才放了几勺盐、几滴醋，一看便知。
和邻居的区别
| 方法 | 中间层 | 目标 |
|---|---|---|
| PCA / 降维 | 更小 | 用少数方向保留最多信息 |
| 普通自编码器 | 更小（瓶颈） | 压缩、去噪 |
| 稀疏自编码器 | 更大（过完备） | 把混杂表示拆成单概念特征 |
| 线性探针（probing） | 不改原表示 | 测某信息在不在，不保证方向干净 |
一句话：降维是合并同类项，SAE 是拆开混装货。
有什么用，别指望什么
- 观察：找出专门对某个人名、某种语法、某类代码结构响应的特征，帮我们知道模型"在算什么"。
- 干预：把某个特征的激活调高或压低（steering），观察输出怎么变，可用于排查幻觉、谄媚等行为。
- 监控：作为安全侧的特征读取器，检测不该出现的内部活动。
局限也很明显：训练与调参成本不低；挖出来的特征并不总是人能读懂的；常常仍需人工检查与命名，也有研究尝试让语言模型自动给特征写说明并打分，但评价标准尚不统一。更要紧的是，SAE 给出的是一种有用的近似，不等于模型内部"真正的概念清单"。具体工具与超参设置，以相应项目的官方页面为准。