文章转载自：https://www.jianshu.com/p/550c90dfffa0
在使用Tensorflow的过程中，我们经常遇到数组形状不同的情况，但有时候发现二者还能进行加减乘除的运算，在这背后，其实是Tensorflow的broadcast即广播机制帮了大忙。而Tensorflow中的广播机制其实是效仿的numpy中的广播机制。本篇，我们就来一同研究下numpy和Tensorflow中的广播机制。
1、numpy广播原理
1.1 数组和标量计算时的广播
标量和数组合并时就会发生简单的广播，标量会和数组中的每一个元素进行计算。
举个例子：
arr = np.arange(5)
arr * 4
得到的输出为：
array([ 0, 4, 8, 12, 16])
这个是很好理解的，我们重点来研究数组之间的广播
1.2 数组之间计算时的广播
用书中的话来介绍广播的规则：两个数组之间广播的规则：如果两个数组的后缘维度（即从末尾开始算起的维度）的轴长度相等或其中一方的长度为1，则认为他们是广播兼容的，广播会在缺失和(或)长度为1的维度上进行。
上面的规则挺拗口的，我们举几个例子吧：
二维的情况
假设有一个二维数组，我们想要减去它在0轴和1轴的均值，这时的广播是什么样的呢。
我们先来看减去0轴均值的情况：
arr = np.arange(12).reshape(4,3)
arr-arr.mean(0)
输出的结果为：
array([[-4.5, -4.5, -4.5],
[-1.5, -1.5, -1.5],
[ 1.5, 1.5, 1.5],
[ 4.5, 4.5, 4.5]])
0轴的平均值为[4.5,5.5,6.5]，形状为(3,)，而原数组形状为(4,3)，在进行广播时，从后往前比较两个数组的形状，首先是3=3，满足条件而继续比较，这时候发现其中一个数组的形状数组遍历完成，因此会在缺失轴即0轴上进行广播。
可以理解成将均值数组在0轴上复制4份，变成形状(4,3)的数组，再与原数组进行计算。
书中的图形象的表示了这个过程(数据不一样请忽略)：
我们再来看一下减去1轴平均值的情况，即每行都减去该行的平均值：
arr - arr.mean(1)
此时报错了：
我们再来念叨一遍我们的广播规则，均值数组的形状为(4,)，而原数组形状为(4,3)，按照比较规则，4 ！= 3，因此不符合广播的条件，因此报错。
正确的做法是什么呢，因为原数组在0轴上的形状为4，我们的均值数组必须要先有一个值能够跟3比较同时满足我们的广播规则，这个值不用多想，就是1。因此我们需要先将均值数组变成(4,1)的形状，再去进行运算：
arr-arr.mean(1).reshape((4,1))
得到正确的结果：
array([[-1., 0., 1.],
[-1., 0., 1.],
[-1., 0., 1.],
[-1., 0., 1.]])
