想象你蒙着眼站在一片陌生山地里，只能靠脚下的坡度判断往哪走。这张地形图，就是损失曲面（Loss Landscape）。
一句话定义：损失曲面是损失函数（loss function）在参数空间中铺开形成的"高低起伏图"——每一组参数取值对应一个海拔高度，高度就是误差大小，训练就是在图上找低处。
关键在于维度。模型有多少参数，这张图就有多少维。现代网络动辄上百万到上千亿个参数，所以我们见到的那种彩色山峰峡谷图，基本都是把上千亿维的曲面切片或投影到二维的近似，并不是全貌。
尖峰 vs 平坦谷底
同样叫"低点"，形状差别很大：
- 尖锐极小值（sharp minimum）：稍微挪一下参数，损失立刻飙升。换批测试数据、做量化压缩，性能就掉。
- 平坦极小值（flat minimum）：周围一大片区域损失都差不多低，参数被扰动也不慌。
直觉上平坦解更抗造。这也是 SAM（Sharpness-Aware Minimization，锐度感知最小化）这类方法的出发点：不找"当前最低的那一点"，而找"朝最坏方向扰动一步后依然低"的位置。
| 对比项 | 尖锐谷底 | 平坦谷底 |
|---|---|---|
| 参数小幅扰动 | 损失快速升高 | 损失变化很小 |
| 对数据/量化扰动的容忍 | 差 | 好 |
| 泛化倾向 | 通常较差 | 通常较好（有前提） |
| 常见来路 | 较大 batch、训练过久 | 小 batch 梯度噪声、权重平均、SAM |
需要提醒：锐度与泛化的关系并非铁律。网络的参数缩放等重参数化可以人为改变"陡峭"的度量，别把"越平越好"当万能公式。
为什么权重能直接插值合并
如果两个模型落在同一个平坦盆地里，那么从 A 的权重沿直线走到 B 的权重，沿途损失应当一直很低，取中点也还是个能用的模型。这就是模型汤（model soup）、权重平均一类做法管用的原因——白拿一份集成效果，却不增加推理成本。
但它有两个前提，缺一不可：
1. 架构完全相同，参数能一一对应；
2. 通常来自同一初始化谱系，比如都从同一个预训练模型出发，用不同数据顺序或超参微调。
第二条为什么重要？因为网络存在排列对称性（permutation symmetry）：隐藏层神经元的编号可以随意交换而不改变输出。两个从头独立训练的模型，参数看着不同，其实坐标没对齐，直接平均常常崩掉；而同一预训练出发的两个解往往已在同一盆地，能用低损失路径连通（linear mode connectivity，线性模式连通）。
对从业者的意义
- 融合与省算力：能在权重层面平均，就不必付出多模型的推理开销。
- 任务算术（task arithmetic）：把"微调方向"当成向量做加减，可以合成或擦除某种能力。
- 理解微调副作用：AI 词典：灾难性遗忘">灾难性遗忘可以看成参数被推离原来的平地，走进了只适合新任务的窄谷。
- 评估习惯：单点指标之外，也看看模型对扰动的稳定性。
具体实现细节以各框架和官方文档为准。