一句话定义：死神经元（Dying ReLU）是指在使用 ReLU（Rectified Linear Unit，修正线性单元）激活函数的神经网络里，某个神经元对所有训练输入都输出 0，于是它自己的梯度恒为 0、参数不再更新，通常就此退出训练。
展开讲：ReLU 做的事很简单——输入大于 0 就原样放行，小于等于 0 就压成 0。若一个神经元的加权和 w·x+b 在所有样本上都小于 0，它的输出永远是 0，反向传播时梯度也是 0。没有梯度，它的权重和偏置收不到“该怎么改”的信号；就像团队里有个岗位，KPI 长期为零，也没人给反馈，最后它还在编制里，却不产出任何东西。严格说，若上游层继续变化、输入分布改变，它理论上可能重新被激活；但在常见训练中，这种神经元往往长期甚至永久不工作，不能指望它自己恢复。
它和几个相邻概念容易混：
| 概念 | 触发点 | 梯度表现 | 结果 |
|---|---|---|---|
| 死神经元 | ReLU 的输入长期为负 | 该单元梯度为 0 | 白占参数与容量 |
| 梯度消失 | 深层链式相乘或饱和 | 梯度很小 | 深层学不动 |
| 剪枝 | 主动删掉参数 | 人为操作 | 压缩模型 |
死神经元不是“梯度很小”，而是这个单元这一路的梯度直接为零；也不是剪枝，剪枝是主动做减法，死神经元是被动浪费。它带来的实际问题不是报错，而是模型容量悄悄变窄：参数数量没少，真正参与表达的单元却少了。层里死神经元比例很高时，训练可能卡住、效果变差。
对从业者，实用做法是监控每层激活值为 0 的比例，必要时换 Leaky ReLU、ELU、GELU 等给负区间留一点斜率的激活函数，注意初始化和学习率，别让偏置一上来就把单元推到负区。对普通职场人，这件事的启发很直白：组织里“还在、但不产出”的单元，比明显缺人更隐蔽；模型也一样，有效容量比名义容量更值得看。