一句话定义：Scale-up（纵向扩展）是把单台机器做得更强——更多 CPU/GPU、更大内存、更高带宽；Scale-out（横向扩展）是增加机器数量——用网络把许多普通节点连成一台“逻辑上的大机器”。
打个比方：Scale-up 像把一家小饭馆的厨房不断升级：换更大的灶、更大的冷库、请更多厨师，但厨房面积和供电有上限。Scale-out 像开连锁店：每家店规模差不多，靠统一配方、中央厨房和物流协同。前者拼单点能力，后者拼组织与网络。
Scale-up 撞什么墙：单机扩展最先遇到物理和工程天花板。芯片面积、功耗、散热、制程良率都有极限；能插的加速卡数量、内存通道、片内互联带宽也有限。越往上堆，成本往往不是线性增长，边际收益递减。单机故障还会影响整个任务，可靠性风险集中。
Scale-out 撞什么墙：加机器不是免费算力。节点间网络带宽和延迟远不如片内/板内互联，集合通信（如 All-Reduce）会随节点数增加而变重；同步、检查点、容错和调度让软件复杂度陡增。节点越多，故障越频繁，通信开销可能吃掉相当一部分新增算力。
| 维度 | Scale-up | Scale-out |
|---|---|---|
| 扩展方式 | 单机更强 | 机器更多 |
| 优势 | 延迟低、编程简单、共享内存 | 上限高、可用普通硬件、易扩容 |
| 主要瓶颈 | 物理极限、功耗散热、成本非线性 | 网络通信、同步容错、软件复杂度 |
| 典型场景 | 单机推理、小规模训练、延迟敏感服务 | 大模型训练、高并发推理、批量任务 |
为什么训练和推理的选择经常相反：训练大模型时，显存和算力需求远超单机，必须多机多卡；训练追求吞吐，对延迟相对宽容，通信可以靠计算重叠、梯度累积、并行策略来掩盖。所以训练主线是 Scale-out，单机 Scale-up 是它的“最小单元”。在线推理则相反：请求粒度小、对延迟敏感，跨机通信会直接拖慢响应，因此优先在单机内 Scale-up——更大显存、更多卡、更高互联带宽。只有单机装不下模型，或吞吐要求极高时，才把推理也 Scale-out。当然边界在移动：大模型推理、混合专家（MoE）等场景也会大规模横向扩展。具体硬件参数和互联规格以官方页面为准。
对从业者的意义：先定位瓶颈——是显存、带宽、延迟还是成本？训练集群重点看单机互联和跨机通信，推理服务重点看单机性价比和延迟指标。现代 AI 集群通常是“Scale-up 域 + Scale-out 集群”的组合：机内高速互联，机间高速网络。对普通人来说，你用的 AI 服务背后往往是成千上万台机器协作；理解这两种扩展各自的墙，就能明白为什么“堆机器”不等于无限变快。