梯度下降：
需要选择初始值，进行多次迭代，特征很多效果也很好
最小二乘法（正规方程）：
不需要选择初始值，不进行多次迭代，特征很多运算很慢
数据预处理：
去噪：移动窗口平均：定义一个宽度是窗口，将某点作为窗口中心点，取整个窗口平均值作为该中心点的值。
特征尺度归一化：
范围归一化：
中心化：
标准化：
降维：
主成分分析（PCA）：在最大化保留原始信息的条件下，压缩矩阵
特征选择：找到与预测目标相关的特征
多项式回归：=
加权最小二乘：
Loss=
4号点是离群点，因此4号点的影响应该越小越好，因此引入权重矩阵W，使得4号点的权重最小
加权的用处：稳健回归，局部回归
逻辑回归：（回归和分类）
分类器，条件概率
逻辑回归是用来做分类算法的，大家都熟悉线性回归，一般形式是Y=aX+b，y的取值范围是[-∞, +∞]，有这么多取值，怎么进行分类呢？把Y的结果带入一个非线性变换的Sigmoid函数中，即可得到[0,1]之间取值范围的数S，S可以把它看成是一个概率值，如果我们设置概率阈值为0.5，那么S大于0.5可以看成是正样本，小于0.5看成是负样本，就可以进行分类了。
sigmoid函数：
1.线性模型与Sigmoid函数合体
这样我们就把取值控制在了0或1上，初步达成了我们的目标。
因此，条件概率有：
损失函数（交叉熵）：
化简得：
求损失函数最小值时的w的两种方法：
梯度下降和牛顿法：
https://blog.csdn.net/weixin_55073640/article/details/124683459
