近日，一篇题为《Training an MoE LLM in MXFP4: How We Closed the Gap to BF16》的论文出现在 arXiv（https://arxiv.org/abs/2610.32229），归类为“模型”。从标题看，工作聚焦于一个低精度训练中的核心难题：如何用 MXFP4 这种 4 位微缩放浮点格式训练混合专家（MoE）大语言模型，并把质量差距缩小到与 BF16 相当的水平。
对从业者而言，这个问题的意义很直接。BF16 目前是主流的大模型训练精度，数值稳定、生态成熟，但显存占用和算力开销都不低。MXFP4 把每个数值压到 4 位，并配合块级共享的缩放因子，理论上能大幅压缩权重、激活与优化器状态的存储与搬运成本。不过位宽越低，量化误差、离群值以及梯度更新中的舍入偏差就越难控制，训练容易出现收敛变慢或效果退化，这也是过去低精度训练多停留在推理侧、少见端到端预训练的原因。
MoE 结构又叠加了一层复杂度：专家路由本身对数值扰动较敏感，低精度下的路由抖动、专家负载不均都可能被放大。论文标题中的“closed the gap”表明，作者针对这些偏差设计了相应方案，使 MXFP4 训练的 MoE 模型在效果上追平 BF16 基线。若该结论可复现，意味着低精度预训练从“能跑通”向“可对标 BF16”推进了一步，对降低大模型训练门槛具有参考价值。具体方法细节与实验数据需以论文原文为准。