张量运算（tensor operation）

逐元素运算

relu 运算和加法都是逐元素（element-wise）的运算，即该运算独立地应用于张量中的每个元素。

广播

两个形状不同的张量相加，则较小的张量会被广播，以匹配较大的张量形状。包含以下两步：
1、像较小的张量添加轴（叫作广播轴），使其 ndim 与较大的张量相同；
2、将较小的张量沿新轴重复，使其形状与较大的张量相同。

张量点积

张量积（tensor product）又叫张量运算。在 Nump、Keras、Theano、TensorFlow中，都是用 * 实现逐元素乘积。TensorFlow 中的点积使用了不同的语法，但在 Numpy、Keras 中，使用 dot 运算符来实现点积。（就是矩阵乘积运算）

张量变形

1、改变张量的行和列，得到想要的形状；
2、矩阵转置。

深度学习的几何解释

可将神经网络解释为高维空间中复杂的集合变换。深度学习就像解开两张揉成一团不同的纸。