1、线性回归算法
1.png
代价函数：
LinearR1.png
优化方法：采用梯度下降法进行全局最小值的求解，同时应该注意的是，梯度下降法是对代价函数求梯度。
Tips：损失函数是定义在单个样本上的，求得是一个样本的值和预测值的差值；代价函数是定义在整个训练集之上的，是所有样本误差的平均，也即为损失函数的平均。目标函数定义为代价函数+正则化项（解决过拟合问题），即为最终的优化函数。
2、LR逻辑回归算法
逻辑回归是一个经典的二分类（0/1 or 1/-1）模型，这是其和线性回归本质上的区别。但二者同样都是广义的线性模型。逻辑回归假设因变量y服从伯努利分布，线性回归假设因变量y服从高斯分布。并且逻辑回归通过sigmoid函数映射引入了非线性，使其可以轻松解决分类问题。
假设函数：其值域为（0,1）的开区间，其作为激活函数在趋近于0或1的区域，为饱和区。
CodeCogsEqn.png
其真正的假设：
LR2.png
代价函数：(0/1分类的代价函数)
3.png
优化方法：采用梯度下降法进行全局最小值的求解，同时应该注意的是，梯度下降法是对代价函数求梯度。
