一、二次代价函数
y代表实际值，其实就是label。y-a即误差，误差的平方和除以样本数。
第二个公式是表示只有一个样本时的代价函数。σ（）是激活函数，输出前需要经过一个激活函数。W是权值，X是上一层的信号值，b是偏置值，最终得到z，z是信号的总和。
第一个式子：对w权值求偏导；（复合函数求偏导）
第二个式子：对b偏置值求偏导。
其中，z表示神经元的输入，sigma表示激活函数。w和b的梯度跟激活函数的梯度成正比，w和b的大小天正得越快，训练收敛得越快。
sigmoid函数即S形函数，值域为[0,1]。在B点出现梯度消失。
假设我们的目标是收敛到1，A点的值为0.82离目标比较远，梯度比较大，权值调整比较大。B的值为0.98离目标比较近，梯度比较小，权值调整比较小。调整方案合理。
假设我们的目标是收敛到0，A点的值为0.82离目标比较远，梯度比较大，权值调整比较大，调整方案合理。B的值为0.98，梯度比较小，权值调整比较小，调整方案不合理。
二、交叉熵代价函数
策略更加合理，故相比于二次代价函数，模型收敛更快。
三、对数似然代价函数
与softmax函数搭配使用。softmax函数是将数值转化为概率。
策略更加合理，故相比于二次代价函数，模型收敛更快。
四、优化代价函数的实战训练
"ctrl+？"组合键进行多行的注释。
第四天的最后一段代码中，更改这个部分。
如果不加tf.reduce_mean()，则准确率很低。
迭代结果：
迭代三次，准确率就达到了90%以上。使用二次代价函数时（见第四天的笔记），需要迭代7次准确率才能达到90%以上。
五、过拟合及优化
过拟合意味着，曲线虽然经过了所有的样本点，但是对于新的样本点，过拟合曲线完全不经过该新的样本点，且相差很大。对于正确拟合的情况，新的样本点会落在正确拟合的曲线上。
防止过拟合的方法：
（1）增加数据集
（2）正则化方法：在代价函数后加一个正则项。
C0为之前的代价函数，如二次代价函数等。lamda为系数，用于调节正则化的权重。
（3）Dropout：在迭代过程中，使得部分神经元不工作。
连接一个神经元的权值都是0（或者很小）的话，这个神经元可以认为是不存在的。这样就减小了网络的复杂程度。
六、Dropout代码
一般出现过拟合是因为网络模型过于复杂，已知的数据公式太少导致的
之前构建神经网络时的初始化的方式都是初始化为0，这并不是一种很好的初始化的方式。
W = tf.Variable(tf.truncated_normal([784,10],stddev=0.1)) #权值
b = tf.Variable(tf.zeros([2000])+0.1)
在码代码过程中遇到的问题：
keep_prob这个变量报错：NameError: name 'keep_prob' is not defined。
原因：应该先定义占位符，说明清楚变量类型。
keep_prob = tf.placeholder(tf.float32)
代码如下：代码中定义了多层隐藏层，为了出现过拟合。
需要跑很多时间。结果如下：
其中train_acc是训练集的准确度，意义不大；重点关注还是test_acc即测试集的准确度。
发现test_acc和train_acc相差较大。
我们把训练集的keep_prob改成0.7，计算准确率部分的test_acc和train_acc中的keep_prob不变，仍然为1。代码如下：
可以从结果上看到，使用了drop_out之后，虽然收敛速度变慢，但是test_acc和train_acc非常接近。未使用drop_out前，test_acc和train_acc相差很大。
过拟合：模型运用在训练数据集时效果很好，但是用于新的测试样本时效果不好，偏差较大。
当训练样本量很少而测试样本量很大的时候，很容易出现过拟合。这时候就需要用到drop_out。
七、Optimizer
tensorflow中一共有如下几种optimizer：
下图为一个梯度下降法的示意图：
W：要训练的参数
J（W）：代价函数
SGD:随机梯度下降法
Momentum：
NAG（Nesterov acclerated gradient）:
Adagrad:
基于随机梯度下降法。
观察公式，比如抽到的狗的照片越多，分母越大，学习率越小。
RMSprop:
RMS是均方根的缩写。（Root Mean Square）
Adadelta:
Adam:
更新参数的部分跟Adadelta和RMS类似。
各个算法的对比见下文中的动图：里面的GIF图非常有意思。
https://zhuanlan.zhihu.com/p/32626442
八、优化器在TensorFlow中的应用
使用的代码基于交叉熵时的代码。
#train_step = tf.train.GradientDescentOptimizer(0.2).minimize(loss) #0.2是学习率
train_step = tf.train.AdadeltaOptimizer(1e-2).minimize(loss)
