分布式深度学习在NLP，机器翻译，计算机视觉等领域不断刷新业界的最高水平。今年来其发展很快，一年前还是顶尖水平的方法，框架和算法已经要被淘汰。但在这种巨变中有一点是不变的，那就是深度学习在向分布式发展。

训练最好的模型的5种方法

如上图所示，如果我们想训练最好的模型有五种通常的做法。改进正则化算法和最优化算法常常是学术界和超大规模AI公司的着眼点。对于其他三种方法，只要用分布式训练就可以让你改进你的模型的精度，即通过

    1. 发现更好的超参数

    2. 借助更大规模的训练数据来训练

    3. 通过AutoML技术发现更好的神经网络结构

OpenAI产出的顶尖模型的训练计算量

多年来，分布式训练推动了AI前沿水平的发展。在上图中，你可以看到从2012年起，在OpenAI实验室中，为了训练最好的机器学习系统，差不多每3.5个月训练的计算量就得翻倍。比如2017年的AlphaGo Zero和2012年的AlexNet相比，训练的计算量翻了30万倍。虽然近些年Nvidia，google, AMD 和Intel在硬件加速增加晶体管数量方面干得不错，但并没有每3.5个月倍增他们的计算能力。于是深度学习模型的训练走向了分布式的道路。例如2018年Google提出的用于NLP的著名模型BERT，如果用单张Nvidia 2080Ti卡训练需要396天。但是通过分布式训练（20台DeapLearning11服务器），你可以将训练时间减少的1-2天。

神经网络的并行化模型

神经网络的分布式训练有数据并行和模型并行两种模式。数据并行中被划分的是数据，模型可以被放到一张单独的GPU卡上，每张GPU卡处理不同分区的数据来并行训练。可以通过参数平均（model averageing）算法更新各个节点模型中的参数。如下图所示：

数据并行

而模型并行被划分的是模型，即把模型的网络结构拆了，放到不同的GPU上进行运算，对于卷积神经网络来说就是把对应的矩阵运算做了分块处理。可以将模型的不同网络层被分配到不同的机器，或者同一层内部的不同参数被分配到不同机器。模型并行允许支持更大的模型，所有工作节点针对相同数据进行训练，每个 GPU 上分布着并运行模型的一部分，需要在GPU之间交换神经网络的输出激活部分（activation）。

模型并行

Parameter Server和Ring All Reduce架构

数据并行由于不需要拆分模型在实践中更加常用。第一代数据并行分布式训练由参数服务器（Parameter Server）架构主导。 在参数服务器架构中，一个或多个参数服务器保存当前模型，并在每个迭代中对一组工作节点的参数或梯度进行同步。

数据并行中的Parameter Server架构

 这种架构的问题是参数服务器和工作节点之间的网络连接成为瓶颈。当参数服务器的带宽成为瓶颈时，工作节点无法利用自己的全部带宽， 当GPU之间的权值更新通信所需的时间线性增长时，网络I/O很快就会成为阻止训练进一步扩展的瓶颈，减慢了训练速度。这个问题促使了All Reduce分布式训练架构的产生。

数据并行中的RingAll Reduce架构

Ring All Reduce是2017年由百度最先提出的【1】（All Reduce起源于HPC应用的开发），用于深度神经网络的数据并行训练，应用于PaddlePaddle平台，只有也被移植到TensorFlow的contrib包中。在Ring All Reduce架构中，如上图所示，每个节点对应一个硬件加速器（GPU），在训练中，每个服务器步伐一致的处理训练数据的一个minibatch，每个服务器在其minibatch的本地分区上计算梯度，并同时从环形中的上一个节点接收梯度，向下一个节点发送梯度。由于使用了每个节点的上传和下载能力，相比All Reduce算法通信更少。之后所有的梯度以相同的方向在环上移动，当有所的服务器都接收到minibatch的所有的梯度信息后，通过随机梯度下降等最优化算法更新本地模型副本的参数。在这一步更新后，所有的服务器就拥有了相同的模型副本。想要了解All Reduce（AllReduce是一种将所有process中的目标数组，减少为单个数组并将结果数组返回给所有process的操作。比如将所有GPU上的梯度值，假设数组表示，合并并执行reduce操作成一个数组，并返回给所有GPU）和Ring All Reduce算法细节的同学请移步【2】。

Horovod框架

Horovod【3】是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，他支持TensorFlow，Keras，PyTorch和MXNet。Horovod依赖于Nvidia的NCCL2做All Reduce，依赖于MPI做进程间通信，简化了同步多 GPU 或多节点分布式训练的开发流程。由于使用了NCCL2，Horovod也可以利用以下功能：NVLINK，RDMA，GPUDirectRDMA，自动检测通信拓扑，能够回退到 PCIe 和 TCP/IP 通信。

Horovod性能

从上图中可以看到，Horovod对于Inception v3和ResNet-101这样的中小型模型，在256个GPU上的性能几乎可以线性扩展，在VGG-16种大模型上也有较好的缩放因子。正式由于Horovod有简洁的API和优异的性能，目前已经被广泛采用(github 8.4k star)。

5行代码入门Horovod

HelloWorld for Horovod

上面代码中，加粗的第一行hvd.init()初始化Horovod，然后和在Tensorflow中一样构建模型，第二处修改是声明训练会话的配置，给当前进程分配对应的GPU，local_rank()返回的是当前是第几个进程。第三处修改添加Horovod分布式优化器，第四处修改定义初始化的时候广播参数的hook，这个是为了在一开始的时候同步各个GPU之间的参数。最后用MonitoredTrainingSession实现会话的初始化，读写checkpoint。启动该程序只需要执行如下命令：

horovodrun -np 16 -H server1:4,server2:4,server3:4,server4:4 python tensorflow_mnist.py

这里 -np指的是进程的数量，server1:4表示server1节点上4个GPU，完整代码参见tensorflow_mnist.py 

附实验环境：

login 10.208.2.253 

运行脚本t4.sh脚本登录实验环境

启动容器
login t4-3:
nvidia-docker run -it -d --network=host -v /mnt/newkdl_nfs/ssh:/root/.ssh --name horovod-test newkdl.images.hub:11180/kdl/horovod:0.18.0-tf1.14.0-torch1.2.0-mxnet1.5.0-py3.6 bash
login t4-2 & t4-1:
nvidia-docker run -it -d --network=host -v /mnt/share/ssh:/root/.ssh --name horovod-test newkdl.images.hub:11180/kdl/horovod:0.18.0-tf1.14.0-torch1.2.0-mxnet1.5.0-py3.6 \ bash -c "/usr/sbin/sshd -p 12345; sleep infinity"
启动训练
login t4-3:
代码目录： cd /examples
horovodrun -np 12 -H localhost:4,172.31.0.8:4,172.31.0.52:4 -p 12345 python pytorch_mnist.py