***sigmoid函数的使用。。。。
在以后的机器学习和深度学习会普遍用到。。。
sigmoid function ，step function
模拟神经元，神经网络
sigmoid优缺点：优点，激活函数，1输出范围有限不容易发散，缓和，2输出范围是0-1，可用于做输出层当作概率。3求导容易。
缺点是在饱和情况下梯度太小。
***梯度下降算法、
计算损失函数之后，用求导的思想进行求导
学习率进行调整
***均方差代价函数
MSE（mean squared error）
***交叉熵代价函数
cross-entropy cost function
收敛更快，C = -1/nZylna+(1-y)ln(1-a)
当真实值，和期望值比较接近的时候C趋近于0
当真实值与期望值相差较大的时候，也就是Cost代价函数比较大的时候，C变化更快
所以比较能够解决二次方差代价函数的下降梯度过小的问题。
***sigmoid与softmax
***解决函数的overfitting
过拟合，解决模型的过拟合：
第一种方法，增加数据集的量
http://doc.okbase.net/jianxinzhou/archive/111322.html
***l1 正则化与l2正则化
http://blog.csdn.net/jinping_shi/article/details/52433975
