梯度下降：

需要选择初始值，进行多次迭代，特征很多效果也很好

最小二乘法（正规方程）：

不需要选择初始值，不进行多次迭代，特征很多运算很慢

数据预处理：

去噪：移动窗口平均：定义一个宽度是窗口，将某点作为窗口中心点，取整个窗口平均值作为该中心点的值。

特征尺度归一化：

    范围归一化：

    中心化：

    标准化：

降维：

    主成分分析（PCA）：在最大化保留原始信息的条件下，压缩矩阵

    特征选择：找到与预测目标相关的特征

    多项式回归：=

加权最小二乘：

Loss=

4号点是离群点，因此4号点的影响应该越小越好，因此引入权重矩阵W，使得4号点的权重最小

加权的用处：稳健回归，局部回归

逻辑回归：（回归和分类）

分类器，条件概率

逻辑回归是用来做分类算法的，大家都熟悉线性回归，一般形式是Y=aX+b，y的取值范围是[-∞, +∞]，有这么多取值，怎么进行分类呢？把Y的结果带入一个非线性变换的Sigmoid函数中，即可得到[0,1]之间取值范围的数S，S可以把它看成是一个概率值，如果我们设置概率阈值为0.5，那么S大于0.5可以看成是正样本，小于0.5看成是负样本，就可以进行分类了。

sigmoid函数：

1.线性模型与Sigmoid函数合体

这样我们就把取值控制在了0或1上，初步达成了我们的目标。

因此，条件概率有：

损失函数（交叉熵）：

化简得：

求损失函数最小值时的w的两种方法：

梯度下降和牛顿法：

https://blog.csdn.net/weixin_55073640/article/details/124683459