大模型训练

大模型分布式训练并行策略

大模型训练的本质不只是把计算摊到更多 GPU 上，而是把 Transformer 的不同维度映射到不同 GPU，并控制由此产生的通信、显存占用、流水线空泡与负载不均衡。