算力集群：把很多 GPU 拼成一台“大电脑”

一句话定义

算力集群（Compute Cluster）是把几十到上万张加速卡（今天主要是 GPU）用高速网络连成一个整体，对外像一台“大电脑”那样协同干活的系统。训练大模型靠的是它，单张显卡做不到。

为什么必须拼起来

这里有两个硬性限制。第一是显存：模型的参数、梯度、优化器状态要同时装下，单卡放不下，只能把模型切开，分到不同卡上（如张量并行、流水线并行）。第二是时间：数据并行把不同批次的数据分给不同的卡算，再汇总结果。这两件事都要求卡与卡之间频繁通信。

打个比方：搬一架钢琴，一个人搬不动，叫来一百个人一起抬，问题就变成了“怎么喊号子”。如果每挪一步都要停下来开会，人越多反而越慢。集群里负责“喊号子”的就是网络：节点之间不停交换梯度、同步参数。所以真正决定集群效率的往往不是卡的数量，而是互联带宽和延迟（常见的高速互联有 InfiniBand、RoCE 等），以及存储能不能及时把训练数据喂进来，不让一堆昂贵的卡空等。

一个集群大致由三部分组成：计算节点（一台机器插若干张卡）、高速互联网络、上层的调度与容错软件。任何一部分跟不上，整个集群的效率都会受影响。

和相邻概念的区别

关键差别在耦合度：机内卡与卡通信是微秒级，跨节点走网络就慢一个量级。所有并行策略的设计，本质上都是在跟这笔通信开销讨价还价：切得太细，通信变多；切得太粗，显存又装不下。

对从业者意味着什么

• 训练是集群层面的工程：并行切分方式、通信拓扑、全局批大小要一起定，不是调个库就完事。
• 故障是常态：规模一大，卡和节点几乎天天有坏的。训练任务必须支持断点续训、自动重启、坏节点隔离，否则跑一半就得从头来。
• 选型别只看卡数：互联带宽、网络拓扑、存储吞吐、调度效率共同决定你能拿到多少“有效算力”，实际可用比例通常明显低于纸面峰值。
• 对普通职场人：你用的大模型能力上限，有一部分是集群规模撑起来的。也因此，从头预训练基础模型是重资产游戏，小团队更现实的路是微调、蒸馏和推理部署，这些对集群的要求低得多。

具体配置与规格以各家官方页面为准。