训练神经网络时，反向传播（backpropagation）要把损失（loss）的误差一层层往回传，算出每个参数该往哪个方向调。梯度（gradient）就是每次往回传时携带的那个"调整信号"。层数一深，这个信号要么越传越弱，弱到前面几层几乎收不到消息；要么越传越猛，猛到数值直接溢出成 NaN。前者叫梯度消失（vanishing gradients），后者叫梯度爆炸（exploding gradients）。
打个比方：把信息想象成要在一条长长的传话队伍里往回首传。每传一手，如果说话的规则是"把音量乘以 0.5"，传到第 20 个人时声音已经没了；如果规则是"乘以 2"，传到第 20 个人时整支队伍都在吼，震得耳朵疼。乘法是这里的核心——梯度在链式法则（chain rule）里是一串连乘，连乘的指数效应决定了它必然往两端跑偏。
具体到数值上，这个乘数来自两部分：激活函数的导数和权重矩阵。早年常用 Sigmoid 激活，它的导数最大只有 0.25，饱和区更是接近 0，连乘几十次就归零了——这正是深层网络在早期训不动的经典原因。反过来，如果权重初始化得太大，或者某个循环结构（RNN）在时间维度上反复使用同一组权重，连乘就容易失控，一次更新把参数甩到很远，loss 直接变成 NaN。
和相邻概念的区别值得说清。梯度消失不等于"学习率设小了"，后者是对所有层一视同仁地调小步长，前者是深层网络的浅层被结构性忽略；梯度爆炸也不等于"过拟合"，过拟合是模型记得太死，爆炸是数值本身崩掉。用一句话对照：
| 现象 | 典型症状 | 根源 | 常见对策 |
|---|---|---|---|
| 梯度消失 | 层数加深、效果反而变差；浅层几乎不变 | 连乘中的乘数小于 1 | 残差连接、ReLU 类激活、LSTM 门控、归一化 |
| 梯度爆炸 | loss 突然变 NaN、参数数值巨大 | 连乘中的乘数大于 1 | 梯度裁剪、合理初始化、归一化 |
业界公认的几味"药"：残差连接（residual connection）给梯度开了一条几乎无损的旁路，让信号能直接越过若干层回传，这是深层网络能堆到上百层的关键；归一化（normalization，如批归一化 BatchNorm、层归一化 AI 词典：LayerNorm">LayerNorm）把每层的输入分布拉回稳定区间，抑制连乘的极端放大或衰减；合理的初始化（如 Xavier、He 初始化）让各层方差的尺度事先就配好，避免一开始就偏大偏小；循环网络里则常用梯度裁剪（gradient clipping）直接给梯度的模长设上限，超了就按比例缩回来。激活函数从 Sigmoid 换成 ReLU 及其变体，也顺手解决了大半消失问题。
对从业者的实际意义：当你看到"加深层数反而变差""训练到一半 loss 炸成 NaN""浅层参数几乎不动"，别急着怀疑数据，先怀疑梯度流。排查顺序通常是——看梯度的范数、看是否用了归一化和残差、看初始化、再看要不要开裁剪。这些都没问题，再动学习率。
对普通职场人，这个概念的启发比较朴素：一条链上每一步都乘以小于 1 的系数，最终结果会趋近于零；每一步都略微放大，最终会失控。流程、汇报、激励设计里都有类似的结构性衰减或放大。区别在于神经网络还能用残差和归一化人为"打补丁"，组织里往往要等到事情塌了才发现中间某一环早就没在传话了。
（具体框架里这些组件的默认行为与参数，以官方文档为准。）