一句话定义
梯度下降（Gradient Descent）是训练模型时最常用的「找最优参数」的方法：算出当前参数下误差往哪个方向下降最快，就朝那个方向挪一步。学习率（Learning Rate）就是这一步迈多大。一个管方向，一个管步幅。
打个比方：蒙眼下山
想象你被蒙着眼放在山坡上，要走到谷底。你能做的只有：用脚探一探四周，找出最陡的下坡方向（这就是梯度），然后朝那个方向迈一步。
- 梯度从哪来？先算损失函数（Loss Function）——衡量模型预测和标准答案差多少；再对每个参数求偏导，就知道「这个参数往大调还是往小调、能降多少误差」。
- 学习率从哪来？它不是模型自己学出来的，而是人提前设定的超参数（Hyperparameter）。
于是每轮训练的动作可以概括成一句话：参数 = 参数 − 学习率 × 梯度。反复做，误差就一路往下掉。
步子大了小了都是问题
| 学习率 | 典型现象 | 常见对策 |
|---|---|---|
| 过大 | 一步跨过谷底，损失来回震荡甚至越来越大（发散） | 调小；加梯度裁剪；用 warmup 慢慢升温 |
| 合适 | 损失平稳下降，后期逐渐变缓 | 配合衰减策略收尾 |
| 过小 | 下降极慢，像在原地蹭，容易卡在平台区 | 调大；换自适应优化器 |
实践中常见的套路是「先大后小」：前期用较大学习率快速逼近，后期衰减下来精修。这套安排叫学习率调度（LR Schedule）。具体取值没有万能答案，要看任务实测，框架文档里给出的默认值也以官方页面为准。
容易混的几个邻居
- 梯度下降 vs 学习率：前者是方法，后者是它的一个旋钮。
- 批量大小（Batch Size）：决定这一步用多少条数据来估梯度；学习率决定这步迈多大。两者常常要一起调。
- BGD / SGD / Mini-batch：按每次用全量、单条还是小批数据算梯度来分。
- 动量（Momentum）、Adam 等优化器：相当于给下山的人加了惯性、还给每个参数配了各自的步长，但「往哪走、走多大」的内核没变。
- Epoch：数据整体过几遍，是轮次；学习率是每步的尺度，两者不是一回事。
对实际工作意味着什么
对从业者，调参的第一优先级往往就是学习率：盯着损失曲线看——震荡不降就调小，下降太慢就调大，比盲目换模型结构划算得多。
对普通职场人，这里藏着一个更好用的心智模型：模型的「聪明」不是一次想明白的，而是靠成千上万次「看一眼误差、小步修正」堆出来的。它既解释了 AI 为什么训练得又慢又贵，也解释了为什么数据质量差一点，整条曲线就跑偏——方向错了，步子再讲究也到不了谷底。