流水线并行

中间的bubble是 向前传播以后，等向后传播的时间。越是靠前的层次等得越久。

image.png

张量并行

优点是没有bubble浪费。缺点是需要针对不同网络结构不同设计。

Cons: Different blocks are better split differently, lots of customizations

需要的通信：All-gather of partial activations and gradients for each split tensor（所有激活、梯度都要全部汇集）

两者也可以结合用

(2021)

参考

Scaling Up LLM Pretraining: Parallel Training
Chenyan Xiong
11-667