一句话定义
特征可视化（Feature Visualization）是一种把神经网络“反过来用”的技术：模型权重固定不动，把输入图像本身当作可训练的变量，通过梯度上升反复修改像素，直到某个指定神经元的激活值被推到最高。最后得到的那张图，就是该神经元所认为的最典型输入，也就是它“认得的图案”。
原理：把梯度用在输入上
训练模型时，我们固定输入、调整参数；特征可视化固定参数、调整输入。打个比方：你遇到一位只会点头或摇头的挑剔评委，你不知道他喜欢什么，于是一次次把画稿递过去，看他反应有多强烈；他反应越强，你越往那个方向修改；几十轮之后，画布上留下的，就是他的“理想型”。梯度在这里起的作用，就是告诉你该往哪个像素、往哪个方向修改，评委才会更满意。
实际做的时候有几个细节：直接优化像素很容易得到一张满是高频噪点的图，看起来像电视雪花，所以通常要加正则化（Regularization），比如模糊、裁剪、限制相邻像素的差异，或者干脆在傅里叶（Fourier）频域里优化低频分量。不同层要用不同做法：浅层神经元感受野小，直接优化即可；深层需要多尺度、更大画布和更强正则，才能得到像样的结果。
经验规律大致是：浅层（Shallow Layer）神经元偏好边缘、颜色对比、条纹；中层偏好纹理、圆点、简单几何形状；深层（Deep Layer）则会出现狗脸、车轮、文字之类的物体部件，甚至整个物体。
它和几个相邻概念的区别
| 方法 | 调整什么 | 回答的问题 |
|---|---|---|
| 特征可视化 | 调整输入图像 | 这个神经元“喜欢”什么？ |
| 显著性图（Saliency Map） | 不改动，只求梯度 | 这张图里哪些像素让模型做了这个判断？ |
| DeepDream | 调整输入图像 | 如果让模型在已有图片上“看出更多”，会变成什么样？ |
| t-SNE 等降维可视化 | 不改动，只压缩表征 | 数据在模型内部是怎么聚类的？ |
前两者的方向恰好相反：特征可视化从神经元出发找输入，显著性图从输入出发找神经元（或者反过来，从输出追溯到输入）。DeepDream 可以理解为特征可视化的一个变体，它以一张真实照片为起点，放大模型已经“看到”的模式，所以出来的图更像幻觉。
对从业者和普通人的意义
对从业者来说，这是理解黑箱最直观的手段之一。模型在验证集上准确率很高，不代表它学对了东西；把关键神经元画出来，你可能会发现它盯的是背景里的水印、草地颜色，而不是目标本身，这类虚假相关（Spurious Correlation）在审计和数据清洗时非常值得排查。它也是观察神经元多义性（Polysemanticity）的入口：同一个神经元往往对好几种毫不相干的图案都有反应，这解释了模型为什么脆弱，也解释了对抗样本（Adversarial Example）为什么容易构造出来。
对普通人来说，它的价值在于给人一个直观印象：模型“看到”的世界和人类看到的并不一样。也要提醒一句局限：可视化出来的图是人挑参数、挑正则化强度“调”出来的产物，是神经元偏好的一个样本，并不能说明它只干这一件事。
想看更多效果和参数设置，各框架的可视化工具文档更新较快，具体以官方页面为准。