研究项目 QLabs 在其官网发布文章《Quadrillion-parameter transformers and how to train them》，讨论千万亿（quadrillion，即 10^15）参数级别的 Transformer 模型以及相应的训练问题，文章地址为 qlabs.sh/research/parameters。
从标题来看，这篇文章同时覆盖两个层面：一是千万亿参数规模的 Transformer 模型本身，二是“如何训练”，也就是在这一量级上所需的训练方法与工程实现。作为参照，千万亿参数大致相当于业内讨论中的万亿（trillion）参数模型的千倍量级。跨过这一门槛，影响的不只是算力总量，还包括显存容量、加速卡之间的通信、并行切分策略、训练数据供给以及长周期训练的稳定性等一系列约束。
对 AI 从业者而言，这一话题的价值在于：当参数规模从万亿继续向上探，单纯堆叠算力的收益会递减，关注点可能从模型结构设计部分转向训练系统能力。如何组合AI 词典：数据并行、张量并行与流水线并行">数据并行、张量并行与流水线并行，如何在有限互联带宽下降低通信开销，如何控制长时间训练的失败重试成本，都会成为决定性因素。这类讨论也会反过来影响硬件互联方案、集群调度与能耗预算的规划，因此值得基础设施与大模型训练方向的读者跟进。
目前可确认的信息为文章标题与发布地址，具体的训练方案、实验设置与结论，均以原文为准。