训练大型语言模型,需要同时解决三个问题:模型参数和训练状态能否装进显存,GPU 能否持续获得足够的计算任务,以及不同设备之间传输的数据会不会拖慢整体进度。单纯增加 GPU 数量,并不一定能按比例提高训练速度。如果每张卡都保存完整模型,显存可能很快耗尽;如果把模型切分得过于细碎,设备之间频繁通信,又可能抵消增加硬件带来的收益。混合并行的价值,就在于根据模型结构和硬件条件,把计算任务、模型状态与通信工作分配到合适的设备上。
一、数据并行与模型并行解决不同的问题
数据并行的基本思路,是让多张 GPU 分别处理不同的数据批次。在传统的数据并行训练中,每张 GPU 都保存一份完整模型,各自完成前向计算和反向传播,再通过 AllReduce 等集合通信操作同步梯度,使各个模型副本保持一致。它的优点是容易扩展,适合扩大训练批次和提高数据处理吞吐量;缺点是每张卡都要承担完整模型参数,以及梯度、优化器状态等训练开销。
这里需要区分传统数据并行与全分片数据并行。采用完全分片数据并行(Fully Sharded Data Parallel,FSDP)时,参数、梯度和优化器状态可以分布在多张 GPU 上,计算前再按需聚合参数,计算后释放或重新分片。这样能够降低单卡的长期显存占用,但需要额外的参数收集和梯度分散通信。因此,数据并行并不必然意味着每张卡始终保存全部训练状态。
模型并行则是把模型本身拆分到不同设备上。常见方式包括张量并行和流水线并行。张量并行(Tensor Parallelism)把单个大型计算层中的矩阵或张量切分到多张 GPU 上协同计算,适合隐藏维度较大、单卡计算或显存压力较高的模型;流水线并行(Pipeline Parallelism)则按模型深度划分层,把不同层放到不同设备或设备组中,再通过多个微批次让各个阶段尽可能同时工作。
参考资料:
NVIDIA 官方文档:
Megatron Core 并行策略指南
,介绍数据并行、张量并行、流水线并行、上下文并行、专家并行及其组合。
PyTorch 官方文档:
FSDP2
,说明参数分片、参数聚合和梯度分散机制。
PyTorch 2.14 documentation
NVIDIA 官方资料:
A100 GPU 规格
,列出不同型号的显存带宽和互联规格。
例如,将 Transformer 模型前半部分放在 GPU A、后半部分放在 GPU B,属于按层划分的流水线并行;如果每一层内部的大型矩阵计算又分布在多张 GPU 上,就同时使用了流水线并行和张量并行。若不同设备组还分别处理不同的数据批次,就进一步结合了数据并行。
二、混合并行怎样组合才合理
混合并行不是把所有方法都打开,而是针对最主要的限制逐步增加并行维度。训练开始时,可以先评估模型是否能够在单卡或单节点上运行,再根据显存占用、通信时间和 GPU 利用率决定如何扩展。
如果模型可以放进单卡,但希望提升整体训练吞吐量,可以优先考虑数据并行。如果模型参数或单层计算无法高效地放进单卡,就可以增加张量并行,把大型矩阵计算拆分到多张 GPU 上。如果模型层数很多,单纯扩大张量并行又导致通信开销过高,则可以增加流水线并行,将模型划分为多个阶段。对于超长上下文训练,还可以采用上下文并行(Context Parallelism),将序列维度上的计算和激活值分布到不同设备。
实际部署中,常见组合是张量并行加流水线并行,再配合数据并行。例如,先把每个流水线阶段分配给一组 GPU,再在每个阶段内部使用张量并行,最后复制或分片这些模型组,让不同组处理不同的数据批次。这样既能分担模型本身的计算与显存压力,也能扩大训练数据的处理能力。
不过,并行程度并非越高越好。张量并行通常需要在层内部频繁交换数据,因此更适合高速互联的 GPU 组;流水线并行能够减少某些层内通信需求,但如果各阶段计算量不均衡,或者微批次数量不足,就会出现部分 GPU 等待的流水线空闲时间。数据并行虽然能够扩大吞吐量,但随着设备数量增加,梯度同步或参数分片通信也可能成为瓶颈。
三、通信开销与显存管理决定实际效率
大型模型训练的性能,不只取决于 GPU 的理论算力,还受到显存容量、显存带宽和设备间互联速度的影响。以 NVIDIA A100 为例,不同容量和形态的产品规格并不完全相同:40GB 型号的显存带宽约为 1.6 TB/s,80GB 型号则因具体版本不同约为 1.9 至 2.0 TB/s;部分配备 NVLink 或 NVSwitch 的系统,GPU 间互联带宽最高可达到每 GPU 600 GB/s。这个数字不能直接套用到所有 A100 服务器,更不能据此断定某个训练任务一定受互联限制。
真正需要检查的是通信发生在哪里、数据量有多大,以及通信能否与计算重叠。张量并行需要频繁进行层内数据交换;流水线并行需要传输阶段之间的激活值和反向梯度;数据并行则需要同步梯度,或在分片训练中收集参数并分散梯度。不同通信模式对网络拓扑的要求不同,应该分别分析,而不是笼统地把所有问题归结为显存带宽不足。
优化时,可以先采用混合精度训练、激活检查点、合理的微批次设置和通信与计算重叠,降低显存压力并减少设备等待。对于采用全分片数据并行的任务,还要关注参数收集与梯度分散的频率,以及它们是否能够被计算过程部分隐藏。梯度量化或稀疏化也可能减少通信量,但会增加实现复杂度,并可能影响数值精度或收敛表现,不能不经测试就当成默认方案。
数据预处理同样会影响训练效率。如果 GPU 经常等待样本读取、解码或整理,即使并行策略合理,也无法充分利用硬件。预取、数据缓存、合理的数据分片,以及在适合的存储系统中使用 GPUDirect Storage 等技术,都可能减少数据输入环节的等待。不过,这类优化主要解决数据供给问题,不能替代模型参数和梯度的分布式通信优化。
四、不同模型需要不同的并行方案
对于稠密型大型语言模型,张量并行、流水线并行与数据并行的组合较为常见;如果序列特别长,还可以加入上下文并行,以减轻单卡的激活值显存压力。对于多模态模型,视觉编码器和语言模型部分可以按计算结构划分到不同设备,但两部分的计算量、激活值大小和数据传输量必须共同评估,不能只按模块名称决定设备分配。
混合专家模型(Mixture of Experts,MoE)又有不同特点。它通常只激活部分专家参与每个输入的计算,因此可能需要专家并行(Expert Parallelism),将不同专家分配到不同设备,并处理令牌路由和跨设备通信。若专家分布不均衡,某些 GPU 可能承担过多计算,其他设备则等待。因此,负载均衡、路由策略和互联拓扑在这类模型中尤其重要。
需要强调的是,训练与推理的目标也不完全相同。训练要处理前向计算、反向传播、梯度更新以及优化器状态,通常需要综合考虑参数、激活值和训练状态的显存占用;推理则更关注响应延迟、并发请求吞吐量、键值缓存(KV Cache)占用和服务成本。某种训练并行组合,并不意味着它在推理场景中也一定合适。
五、从硬件拓扑出发逐步验证
实际选择并行策略时,可以先明确模型参数规模、隐藏维度、层数、上下文长度、全局批次和单卡显存需求,再检查服务器内部的 NVLink、NVSwitch、PCIe,以及跨节点网络的带宽和延迟。通常应尽量把通信频繁的张量并行组安排在高速互联范围内,再根据模型深度安排流水线阶段,最后通过数据并行扩大整体训练规模。若模型状态仍然占用过多显存,可以评估 FSDP 等分片方法,而不是盲目增加模型切分层级。
之后需要通过实际训练测量每步耗时、GPU 利用率、显存峰值、通信时间和流水线空闲比例。并行策略通常需要经过多轮基准测试才能确定。所谓动态负载均衡,也应区分运行时自动调度与训练前后根据性能数据调整配置这两种情况;许多训练框架采用的是预先设定并经过调优的并行规模,并不会自动为每一层随时切换并行方式。
大型模型训练的扩展能力,最终取决于计算、显存与通信之间能否形成平衡。数据并行主要扩大数据处理能力,张量并行拆分层内计算,流水线并行分担模型深度,全分片数据并行减少训练状态的单卡占用,上下文并行和专家并行则针对特定模型结构提供补充。理解这些方法分别解决什么问题,再根据硬件拓扑和真实性能数据进行组合,才有可能让增加的 GPU 真正转化为更高的训练效率。
混合并行为什么适合大型模型训练,数据并行与模型并行应该怎样组合
图片说明:示意图 图片来源:Public Domain(公有领域)
喜欢这篇报道?
使用下面的功能,方便以后继续阅读和分享 MNewsTV
关于文章收藏
收藏不需要注册帐号,收藏信息仅保存在当前浏览器中。
删除收藏请进入「我的收藏」进行管理。
捐助(Paypal):
https://www.paypal.me/observeccp
订阅中国观察电报 Telegram:
https://t.me/s/ObserveCCP