different layers
activation function
神经网络：梯度下降 Gradient Descent in Neural Nets
误差方程cost function
- 误差方程 (Cost Function). 用来计算预测出来的和我们实际中的值有多大差别. 在预测数值的问题中, 我们常用平方差 (Mean Squared Error) 来代替。
- 从图中可以看出, Cost 误差最小的时候正是这条 cost 曲线最低的地方, 梯度线为这个位置指出的一个下降方向。 简而言之, 就是找到梯度线躺平的点。
-
神经网络中的 W 可不止一个, 如果只有一个 W, 我们就能画出之前那样的误差曲线, 如果有两个 W 也简单, 我们可以用一个3D 图来展示, 如果超过3个W，可能会出现局部误差和全局误差的问题，如下图所示。
global minima和local minima
神经网路黑盒的粗浅理解
黑盒粗浅理解
- 黑盒外面的输入叫做特征(features)，经神经网络第一层加工后得到代表特征(feature representation)。
- 原本的代表特征被加工, 变成了一种计算机能看懂的代表特征。所以黑盒在做的工作就是将特征加工的过程，一次次特征之间的转换, 也就是一次次的更有深度的理解。
- 迁移学习(Transfer Learning)：对于一个有分类能力的神经网络，有时候我们只需要这套神经网络的理解能力，并拿这种能力去处理其他问题。所以我们保留它的代表特征转换能力，将这个神经网络的输出层给拆掉，套上另外一个神经网络，用这种移植的方式再进行训练，让它处理不同的问题。
什么是TensorFlow
- TensorFlow是Google开发的一款神经网络的Python外部的结构包, 也是一个采用数据流图来进行数值计算的开源软件库。TensorFlow 将编辑好的Python文件 转换成更高效的C++, 并在后端进行计算。
- 它擅长的任务是训练深度神经网络。
TensorFlow处理结构
- TensorFlow是采用数据流图（data flow graphs）来计算的，首先需要创建一个数据流图，然后将数据（tensor，以张量的形式）存放在数据流图中计算。
- Tensor（张量），张量有多种：
（1）零阶张量为纯量或标量（scalar）也就是一个数值，比如 [1]；
（2）一阶张量为向量（vector），比如一维的[1, 2, 3]；
（3）二阶张量为矩阵（matrix)，比如二维的[[1, 2, 3]，[4, 5, 6]，[7, 8, 9]]；
（4）以此类推，还有多维的 …
激励函数（Activation Function）
激励函数例子
激励函数
- “这里的 AF 就是指的激励函数. 激励函数拿出自己最擅长的”掰弯利器”, 套在了原函数上 用力一扭, 原来的 Wx 结果就被扭弯了”
- 这个 AF 就是另外一个非线性函数. 比如说relu, sigmoid, tanh. 将这些掰弯利器嵌套在原有的结果之上, 强行把原有的线性结果给扭曲了. 使得输出结果 y 也有了非线性的特征.
- 这些激励函数必须是可以微分的, 因为在 backpropagation 误差反向传递的时候, 只有这些可微分的激励函数才能把误差传递回去。
- 神经网络层只有两三层, 对于隐藏层, 可以使用任意的激励函数, 随便掰弯是可以的, 不会有特别大的影响。 不过, 当使用特别多层的神经网络, 在掰弯的时候, 不可以随意选择利器，因为这会涉及到梯度爆炸、梯度消失的问题。
- 在卷积神经网络Convolutional neural networks的卷积层中, 推荐的激励函数是relu。在循环神经网络中recurrent neural networks，推荐的是tanh或者是relu。
过拟合 (Overfitting)
- 现有的分类方式他不能成功的表达除了训练数据以外的其他数据. 这就叫做过拟合。
-
解决方法：
（1）增加数据量
方法1
（2）正规化
方法2
