稀疏编码（Sparse Coding）指的是：用一组基础模式里少数几个“活跃”模式的加权组合，来近似表示一个输入信号。目标是表示得既准又省。
展开讲：假设有一本“字典”，里面存着很多基础模式，比如图像里的边缘、纹理块，或者语音里的音素片段。给一个输入，比如一张 16×16 的小图块，稀疏编码不会让字典里所有模式都参与，而是挑出少数几个，各自乘上权重再加起来，让结果尽量接近原图块。数学上通常写成最小化“重构误差 + 稀疏惩罚”，惩罚项鼓励权重向量里大多数元素为零或接近零。L1 正则就是常见手段。
打个比方：公司做项目复盘，不需要每个同事都发言。只让产品、开发、测试三个关键角色讲重点，就能还原项目全貌；其他人保持安静。这里的“发言权重”就是编码系数，“少数人发言”就是稀疏。再比如乐高：一盒积木是字典，拼一辆小车只用十几块关键积木，不必把整盒都倒上去。
稀疏编码和相邻概念容易混。主成分分析（Principal Component Analysis, PCA）也做降维，但它的基向量彼此正交，且每个主成分往往是稠密的——几乎每个原始维度都掺一脚。稀疏编码不要求基正交，但要求表示本身只有少数非零项。自编码器（Autoencoder）是神经网络学压缩，如果给隐层加 L1 或 KL 散度约束，就变成AI 词典：稀疏自编码器">稀疏自编码器。向量量化（Vector Quantization）更极端：一个输入只匹配一个码字，相当于只允许一个非零系数。压缩感知（Compressed Sensing）则关心“用很少的测量恢复信号”，它常把稀疏性当作前提，而稀疏编码更关心“怎么学出这组表示”。
| 概念 | 表示特点 | 与稀疏编码的关系 |
|---|---|---|
| PCA | 基正交，系数通常稠密 | 降维但不追求少数活跃 |
| 自编码器 | 神经网络压缩，表示可稠密 | 加稀疏惩罚即成稀疏自编码器 |
| 向量量化 | 一个输入对应一个码字 | 只允许一个非零的极端稀疏 |
| 压缩感知 | 从少量测量恢复信号 | 利用稀疏性求解欠定问题 |
对从业者的实际意义：第一，可解释性。稀疏权重让你一眼看出哪些特征在起作用，风控、医疗等场景更容易审查。第二，效率。只计算少数活跃单元，能省算力和存储，适合端侧。第三，抗噪与泛化。冗余字典下，稀疏约束倾向抓住主要结构，减少过拟合。第四，大模型里的稀疏化思想随处可见：混合专家（Mixture of Experts, MoE）每个 token 只激活少数专家，注意力稀疏化、模型剪枝也和它同源。普通人不写公式也能用这个视角：面对复杂问题，先找少数关键变量，往往比平均用力更有效。具体实现和参数以所用框架的官方文档为准。