线性回归向非线性回归的转化
1. 线性回归
线性关系描述输入和输出的映射
2. 非线性回归
- 对线性模型引入一个激励函数，将线性回归转化为非线性回归
-
常用的激励函数
（1）sigmod函数
图1. sigmod函数方程
图2. sigmod函数图像
图3. sigmod函数的导数公式-
该函数在输入x趋近于-1和1时，梯度下降非常的慢，在输入趋近于0的过程中梯度变化非常的明显。
（2）tanh函数
图4. 函数方程
图5. 函数图像
图6. 函数导数 -
该函数在输入趋近0时，梯度变化非常的明显，但是当输入趋近于无穷的时候，梯度变化非常的缓慢。
（3）relu函数
图7. 函数方程
图8. 函数图像
图9. 函数导数 - 该函数在输入大于0时时梯度没有变化
-
3. 常用的损失函数
（1）softmax函数
图10. 函数方程
-
可以放大或缩小我们关注的某个值。
图11. softmax解释
（2）交叉熵函数
-
函数方程
图12. 函数方程 - 说明
-
当真实值为1，预测值为0时，此时的损失函数值非常大，怎么避免该问题？可以考虑下式：
图13. 交叉熵函数变换式
-
简单的神经网络模型
1. 神经网络结构图
图10. 简单神经网络结构图
2. 隐藏层节点输出值的计算
图11. 节点输出值的计算公式
式子中W为权重矩阵（每一行代表一组参数w），x为输入向量，f为激励函数
