张量(tensor):
输入网络数据的存储对象
张量是数字容器,其维度(dimension)称为轴(axis)
1、一个数字的张量叫标量(scalar、标量张量、零维张量、0D张量)。ndim可以看轴的个数(阶 rank)。
2、向量(1D张量、一维张量)。注意:5D向量和5D张量不要弄混。
3、矩阵(2D张量、二维张量)
4、3D张量与更高维张量
深度学习一般除了0D到4D的张量,但处理视频数据时可能会用到5D张量。
张量3个属性
- 轴的个数(阶);
- 形状。整数元组,表示每个轴上的维度(元素个数);
- 数据类型。
在Numpy中操作张量
选择张量特定元素叫张量切片(tensor slicing)
数据批量的概念
深度学习中所有数据张量的第一个轴(0轴)称为样本轴(samples axis,或称为样本维度)。
对于批量张量(MNIST),第一个轴(0轴)叫批量轴(batch axis)或批量维度(batch dimension)。
现实世界中的数据张量
需要处理的数据总是下列类别之一:
- 向量数据:2D 张量,形状为 (samples, features)。如:人口统计数据;
- 时间序列数据或序列数据: 3D 张量,形状为 (samples, timesteps, features)。如:股票价格数据集;
- 图像: 4D 张量,形状为 (samples, height, width, channels) 或 (samples, channels,height, width)。通道即为颜色深度轴;
- 视频: 5D 张量,形状为 (samples, frames, height, width, channels) 或 (samples,frames, channels, height, width)。
张量运算:
层的组成要素
梯度下降:
让网络从训练样本中进行学习