epoch训练时间不同_分布式训练中数据并行远远不够，「模型并行+数据并行」才是王道...

选自arXiv

作者：Saptadeep Pal等

机器之心编译参与：魔王、杜伟

数据并行(DP)是应用最广的并行策略，对在多个设备上部署深度学习模型非常有用。但该方法存在缺陷，如随着训练设备数量不断增加，通信开销不断增长，模型统计效率出现损失等。来自加州大学洛杉矶分校和英伟达的研究人员探索了混合并行化方法，即结合数据并行化和模型并行化，解决 DP 的缺陷，实现更好的加速。

在多个计算设备上部署深度学习模型是训练大规模复杂模型的一种方式，随着对训练速度和训练频率的要求越来越高，该方法的重要性不断增长。数据并行化(Data parallelism，DP)是应用最为广泛的并行策略，但随着数据并行训练设备数量的增加，设备之间的通信开销也在增长。

此外，每一个训练步中批大小规模的增加，使得模型统计效率(statistical efficiency)出现损失，即获得期望准确率所需的训练 epoch 增加。这些因素会影响整体的训练时间，而且当设备数超出一定量后，利用 DP 获得的加速无法实现很好的扩展。除 DP 以外，训练加速还可以通过模型并行化(model parallelism，MP)实现。

来自加州大学洛杉矶分校和英伟达的研究人员探索了混合并行化方法，即每一个数据并行化 worker 包含多个设备，利用模型并行化分割模型数据流图(model dataflow graph，DFG)并分配至多个设备上。