一句话定义：Quadrillion-Parameter Transformer 指参数量达到 10¹⁵（一千万亿）级别的 Transformer 模型，是目前主流最大模型（万亿参数级）的约一千倍。它更像一个用于推演扩展极限的概念坐标，而不是已经存在的产品；截至目前，公开领域没有这样的模型被训练出来。
先算一笔账：为什么卡住的是内存
训练时每个参数都要保存好几份数据。按常见的混合精度加 Adam 优化器估算，每个参数大致要占 16 字节：半精度权重、梯度、一份 fp32 主权重，再加两个优化器动量。10¹⁵ 个参数乘 16 字节，就是 16 PB 量级的优化器状态，激活值和临时缓冲还要另算。这远超单机内存，也远超任何单集群能装下的规模。这就是所谓“内存墙”：算力还可以靠加卡堆出来，内存却要靠把模型切开、放到不同设备上来解决。
切分：从 3D 并行到被迫“多维拼装”
要把这么大的模型放进集群，必须同时用上几种并行方式：
- 数据并行：每张卡放一份完整模型，喂不同数据。模型一大，这份“完整副本”本身就先放不下了。
- 张量并行：把同一层矩阵乘拆到多张卡上，每一步都要通信，因此只在带宽极高的互联域内可行，扩展范围有限。
- 流水线并行：按层切成若干段放到不同设备，像工厂流水线一样传递，代价是“气泡”空闲和数据搬运。
- 序列/上下文并行、专家并行：进一步把长序列和 MoE 的专家摊开。
这几种维度叠起来，就是 4D、5D 并行。规模越大，通信开销占比越高；到最后，瓶颈从“算得快不快”变成“搬得动不动”。打个比方：一万人合作写一本书，问题不只在人手，还在他们能不能及时对上台词。
数据供给：更隐蔽的天花板
按业界常用的经验比例，训练 token 数约为参数量的 20 倍，那么 10¹⁵ 参数就需要 10¹⁶ 量级 token。而公开可用的高质量文本大致在十万亿 token 量级，差了一两个数量级。缺口只能靠多轮重复训练（收益递减）、合成数据和多模态信号来补。当模型规模到这一步，数据比算力更早见底。
| 维度 | 稠密十亿级 | 万亿级 MoE | 千万亿级（设想） |
|---|---|---|---|
| 总参数 | 10⁹ | 10¹² | 10¹⁵ |
| 单次激活参数 | 全部 | 一小部分 | 必须极度稀疏 |
| 训练显存 | 单机多卡 | 多节点 3D 并行 | 多维并行 + 分层存储 |
| 数据需求 | 万亿 token 内 | 十万亿 token 级 | 需合成/多模态补足 |
和相邻概念的区别
它容易和两件事混淆。一是 MoE（混合专家）：MoE 靠稀疏激活让“总参数”远大于“实际计算量”，是通往更大参数量的现实路径；但总参数再大，存储和通信压力仍然存在。二是 Scaling Law：它描述的是“投入更多算力、数据和参数，损失如何下降”的规律，千万亿参数只是这条曲线外推后的一个点，并不代表那个点一定划算。
对从业者的实际意义
真实价值不在“造出来”，而在它标出了现有方法失效的位置：显存不够、互联带宽不够、数据不够。这三件事在中小规模里同样存在，只是还能靠工程手段绕过去。理解切分策略、显存构成和数据配比，比记住一个夸张的数字有用得多。对普通人来说，结论也很朴素：参数规模不是唯一指标，能否拿到足够多、足够好的数据，才是更硬的约束。具体硬件规格与框架能力以官方页面为准。