1.一元线性回归
输入xi yi
预测值 f(xi) = wxi + b 使f(xi) 接近yi
注：基于均方误差最小化来进行模型求解成为最小二乘法**
上式也可以使用误差正态分布来推算出公式
那对上式分别对w b求导，导数为零极为极值点。此时就可以求出w,b
令式都等于零，连立方程即可求出w, b
2.多元线性回归
基本原理和一元线性一致，
样本是由d个属性描述。即一元线性回归xi表示一个样本。而多元就是xi表示的是一个向量。
为了方便计算，将b放入w中 也就是w' = (w;b) 相应的xi扩充一个1的列
那可以得到：
对w进行求导得到：
如满秩，则可以得到：
如果不是满秩，因为变量和样例数往往不是相同的。通常引入正则化。
3.逻辑回归
逻辑回归其实可以理解为分类。
sigmod函数：
在这里插入图片描述
输入值映射到[-1， 1]
在这里插入图片描述
在这里插入图片描述
分类任务：
在这里插入图片描述
整合之后（而分类情况 y只有1和0两种情况）：
在这里插入图片描述
也就是求取似然函数：
在这里插入图片描述
由于惩罚求起来比较困难，转为对数似然成为加法：
在这里插入图片描述
由于需要求最大值，故转换为梯度下降任务 J = -(1/m)*l
对该式子求导得到导数：
在这里插入图片描述
参数更新：
在这里插入图片描述
