一、基础概念

1.偏置

除了权重，另一个线性组件应用于输入，称为偏置。它被添加到输入的权重乘法的结果中。这种偏置主要是为了改变权重的范围。在添加偏置后，结果看起来像a*W1+偏置。这是输入变换的最后一个线性分量。

2.神经元

神经网络中的神经元接收一个输入，处理它并产生一个输出，输出被发送到其他神经元进行进一步的处理，或者直接输出。

3.权重

当输入进入神经元时，会乘以一个权重。例如，如果一个神经元有两个输入，那么每个输入都会有一个相关的权重分配给它。我们在模型训练过程中随机初始化权重，并更新这些权重。神经网络经过训练后，赋予重要的输入更高的权重，而被认为不重要的输入会得到不那么重要的权重。0的权重表示该特性是无关紧要的。假设输入为a，和与a相关的权重W1。经过节点后，输入变成了a*W1。

4.激活函数

激活函数将输入信号转换为输出信号。激活函数应用后的输出看起来像f(a*W1+b)，f()是激活函数。激活函数一旦将线性分量应用于输入，就会应用非线性函数。

假设有n个输入，从X1到Xn，以及相应的权重Wk1到Wkn。我们有一个偏置值，即bk，权重首先乘以相应的输入，加上偏置，共同组成u。激活函数被应用于u，即f（u），我们从神经元接收最终输出，如yk=f（u）。

最常用的激活函数是——Sigmoid、ReLU和softmax。

5.输入/输出/隐含层

输入层是接收输入数据的，并且是网络的第一层。输出层是生成输出数据的一层，或者是神经网络的最后一层。处理层是神经网络中的隐含层。这些隐含层对传入数据执行特定任务并生成输出数据传递到下一层。输入层和输出层是可见的，而中间层是隐含的。

6.神经网路

神经网络构成深度学习的主干。神经网络的目标是找到一个未知函数的近似值。它是由相互联系的神经元形成的。这些神经元有权重和偏置，在神经网络训练期间根据错误进行更新。激活函数对线性组合进行非线性转换，然后生成输出。再由被激活的神经元的组合给出输出。

神经网络是由许多相互关联的概念化的人工神经元组成的，它们之间传递数据，并且根据网络的“经验”来调整权重。神经元有激活阈值，如果通过的数据和权重组合满足阈值，就会被触发;而被激活的神经元的组合会导致“学习”。

7.MLP（多层感知机）

单个神经元无法执行高度复杂的任务，因此，我们使用堆栈的神经元来产生所需的输出。在最简单的神经网络中，会有一个输入层，一个隐含层和一个输出层，我们称其为感知机。每一层包括多个神经元，并且每一层中的所有神经元都连接到下一层的所有神经元。这个神经网络也可以被称为完全连接的神经网络。在输入层和输出层之间加入多层隐含层，即为多层感知机。

8.前向传播

前向传播是指输入层数据通过隐含层到输出层的运动。在前向传播中，信息沿着一个方向前进。输入层将数据提供给隐含层，然后输出层生成输出。没有反向运动。

9.反向传播

当我们定义一个神经网络时，可以将随机权重和偏置值分配给每一个节点。一旦获取了单次迭代的输出值，就可以计算网络的错误。把这个错误反馈给网络，以及损失函数的梯度来更新网络的权重。权重更新后可以减少后续迭代中的错误。使用损失函数梯度来进行权重的更新被称为反向传播。

在反向传播中，网络的运动是向后的，误差随梯度从外层流入，穿过隐含层，权重被更新。

10.批量标准化

批量标准化确保数据的分布和下一层希望得到的一样。当我们训练神经网络时，每一步梯度下降后，权重会改变，这也改变了被发送到下一层的数据的形状。但是，下一层会预计这种分布与之前看到的类似。因此，我们在将数据发送到下一层之前应明确地将数据标准化。

11.梯度下降

梯度下降是一种用于最小化损失函数的优化算法。

例如，在爬山的时候，人应该一步一步走下来，而不是一下子跳下来。因此，梯度下降要做的是，从一个点x出发，向下移动一点，即delta h，并将位置更新为x-delta h，继续向下移动，直到达到底部，同时考虑最低成本点。在数学上，为了找到函数的局部最小值，应采取与函数的梯度的负数成比例的步长

12.学习速率

损失函数下降到最小值的速率就是学习速率，学习速率，不能非常高，也不能很低，这样才能使网络永远收敛。

13.批次

在训练神经网络时，并非把所有数据一次性输入进去，而是把数据分成几个大小相等的块。对数据进行批量训练的模型比整个数据集一次性输入的模型更加广义化。

14.训练周期

训练周期指的是前向传播和反向传播中所有批次的单一训练迭代。这意味着1个训练周期是所有输入数据的单次向前和向后传递。可以选择用来训练你的网络的训练周期的数量。更多的训练周期可能会显示出更高的网络精度，但是也需要耗费更长的时间。另外，你必须注意，如果训练周期过多，网络容易出现过拟合现象。

15.丢弃

这是一种正则化技术，可防止网络过拟合。顾名思义，在训练期间，隐含层中的一定数量的神经元被随机丢弃。即训练会发生在神经网络的不同组合的几个神经网络架构上。可以把丢弃视为一种综合技术，然后把多个网络的输出用于产生最终输出。

二、卷积神经网络

1.过滤器

卷积神经网络的一个过滤器就像一个加权矩阵，我们将输入图像的一部分相乘，生成一个复杂的输出。假设我们有一个28*28大小的图像。我们随机分配一个大小为3*3的过滤器，然后用不同的3*3部分的图像相乘，形成一个复杂的输出。过滤尺寸通常小于原始图像尺寸。在成本最小化的反向传播过程中，过滤器的权重值不断更新。这个过滤器是一个3*3矩阵。它与图像的每3*3部分相乘以形成卷积特性。

2.CNN(卷积神经网络)

卷积神经网络大部分用于处理图像数据。假设我们有一个大小为(28*28*3)的输入，如果我们使用一个正常的神经网络，就会有2352(28*28*3)个参数。随着图像的大小增加，参数的数量变得非常大。我们“卷积”图像来减少参数的数量(如17所示的过滤器)。当我们在输入数据的宽度和高度上滑动过滤器时，会产生一个二维的激活映射，在每一个位置都输出经过过滤器后的输出。我们将在深层维度上堆叠这些激活映射，并生成输出数据。

3.池化

在卷积层之间引入池化层更多是为了减少一些参数和防止过拟合。最常见的池类型是使用MAX操作的过滤大小(2*2)的池层。它用来选取原始图像的每4*4矩阵中的最大值。还可以使用其他操作（如平均池）进行池化，但是最大池在实践中表现更好。

4.填充

填充是指在图像中添加额外的零层，这样输出图像的大小与输入图像的大小相同，这就是同样的填充。

在过滤器的应用中，相同填充的情况下的卷积层的大小与实际图像大小相等。有效填充是指将图像保存为具有实际或“有效”的图像的所有像素。在这种情况下，经过过滤器后，每个卷积层输出的长度和宽度不断减小。

5.数据增强

数据增强是指在给定数据基础上添加新数据，帮助预测。例如，增加图像亮度可以更容易看到较暗的图像中的猫，或者识别数字9时可以选择稍微倾斜或旋转。在这种情况下，旋转能够解决问题，并提高模型的准确性。通过旋转或增亮，我们可以提高数据的质量。

三、递归神经网络篇

1.循环神经元

神经元的输出在T时间内被发送回输入。输出值被作为输入值经过T次发送回来。展开的神经元就像连在一起的T个不同的神经元。这种神经元的基本优点是，它给出了一个更广义的输出。

2.RNN

循环神经网络用于连续的数据，上一个输出被用来预测下一个。在这种情况下，网络内部有循环。隐含神经元内的循环可以在一段时间内存储关于前几个单词的信息，从而能够预测输出。隐含层的输出在T时间戳内再次被发送到隐含层。在完成所有的时间戳后，循环神经元输出到下一层。发送的输出更广泛，而先前的信息将保留较长时间。

3.梯度消失

梯度消失问题出现在激活函数的梯度很小的情况下。当权重与这些低梯度相乘，逐层经过神经网络时，会变得非常小，甚至“消失”。这使得神经网络忘记了长期依赖。在循环神经网络中这通常是一个问题，因为长期依赖关系对网络的记忆非常重要。梯度消失问题可以通过使用像ReLu这种没有小梯度的激活函数来解决。

4.梯度爆炸

和梯度消失问题正好相反，梯度爆炸问题指的是激活函数的梯度太大。在反向传播过程中，梯度爆炸令特定节点的权重非常高，而其他节点的权重显得微不足道。梯度爆炸可以通过剪切梯度来解决，这样就不会超过某个值。

四、感受野

感受野用来表示网络内部的不同神经元对原图像的感受范围的大小，或者说，convNets(cnn)每一层输出的特征图(feature map)上的像素点在原始图像上映射的区域大小。

神经元之所以无法对原始图像的所有信息进行感知，是因为在这些网络结构中普遍使用卷积层和pooling层，在层与层之间均为局部连接。

神经元感受野的值越大表示其能接触到的原始图像范围就越大，也意味着它可能蕴含更为全局，语义层次更高的特征；相反，值越小则表示其所包含的特征越趋向局部和细节。因此感受野的值可以用来大致判断每一层的抽象层次。

感受野的计算

可以看到在Conv1中的每一个单元所能看到的原始图像范围是33，而由于Conv2的每个单元都是由 22范围的Conv1构成，因此回溯到原始图像，其实是能够看到5*5的原始图像范围的。因此我们说Conv1的感受野是3，Conv2的感受野是5. 输入图像的每个单元的感受野被定义为1，这应该很好理解，因为每个像素只能看到自己。

在上图中，数字代表某单元能够看到的原始图像像素，我们用r_n表示第n个卷积层中，每个单元的感受野，用k_n和s_n表示第n个卷积层的kernel_size和stride.

对Raw Image进行kernel_size=3, stride 2的卷积操作所得到的fmap1 (fmap为feature map的简称，为每一个conv层所产生的输出)的结果是显而易见的。序列[1 2 3]表示fmap1的第一个单元能看见原图像中的1，2，3这三个像素，而第二个单元则能看见3，4，5。这两个单元随后又被kernel_size=2，stride 1的Filter 2进行卷积，因而得到的fmap2的第一个单元能够看见原图像中的1,2,3,4,5共5个像素（即取[1 2 3]和[3 4 5]的并集）。接下来我们尝试一下如何用公式来表述上述过程。可以看到，[1 2 3]和[3 4 5]之间因为Filter 1的stride 2而错开（偏移）了两位，而3是重叠的。对于卷积两个感受野为3的上层单元，下一层最大能获得的感受野为 3*2=6，但因为有重叠，因此要减去(kernel_size - 1)个重叠部分，而重叠部分的计算方式则为感受野减去前面所说的偏移量，这里是2. 因此我们就得到

继续往下一层看，我们会发现[1 2 3 4 5]和[3 4 5 6 7]的偏移量仍为2，并不简单地等于上一层的s_2, 这是因为之前的stride对后续层的影响是永久性的，而且是累积相乘的关系（例如，在fmap3中，偏移量已经累积到4了），也就是说 r_3应该这样求

同理：

。。。。。。可抽象如下：

理解：第n个卷积层的感受野等于前一个卷积层的感受野输出再乘以第n卷积层的kernel_size,即第n卷积层要合并多少个，这里算出的是总的量，还要减去之间有重复的量，第n卷积层总共要合并k_n个，那么前后两两相比较，空隙共有k_n-1个，比如说：第一层和第二层有重复，第二层和第三层也有重复等等，然后就要计算每两个之间重复的量有多少，首先每层共有r_n-1个数字，需要减去往右偏移的量，即stride，第1卷积层的stride_1,第二层会在第一层的基础上偏移stride_2,即总共偏移了 stride_1*stride_2,即偏移量是一个乘积的累计效果，所以式子如下：

经过去括号简化。可得下面式子：