- 基本概念
- 线性回归
- 对数几率回归 （逻辑回归）
- 线性判别分析（Fisher判别回归） 重要
- 多分类学习
- 类别不平衡问题
- 梯队下降法
1. 基本概念
1.1 问题描述
给定数据集，其中
通过线性模型尽可能准确预测实值输出标志。
1.2 函数形式
1.3 向量形式
2. 线性回归
2.1 问题描述
3.2 一元线性回归
- 只有一个属性 d = 1，w, b是单个的数
- 目标函数：w, b为参数，是未知的。如何去确定w, b？均值误差最小化。
目标函数求解：即线性回归模型的对最小二乘“参数估计”。
对w和b求导。
2.3 多元线性回归
- 关系式
2.4 对数线性回归
- 用线性关系实现非线性关系
原型：
对数：
对数线性回归示意图.png
2.5 广义线性回归
- link function
3. 对数几率回归 （逻辑回归）
3.1 问题描述
- 分类问题。
- 对于简单的二分类问题，实际上是样本点到一个值域y∈{0,1}y∈{0,1}的函数，表示这个点分在正类(postive)或者反类(negtive)的概率，若该样本非常可能是正类，那么输出的概率值越接近1；反之，若该样本非常可能是负类，则输出的概率值越接近0。
而线性回归模型产生的预测值是实数值，于是需要一个理想的函数来实现输出实数值z到0/1值的转化。
- 最理想的是单位阶跃函数(uint-step function)。
-
Sigmoid 函数
单位阶跃函数与对数几率函数.png
参考资料：机器学习方法(三)：Logistic Regression 对数几率回归 | HowardWang的博客 (wanghao15536870732.github.io)
3.2 二分类任务
3.3 代码
代码块
4. 线性判别分析（Fisher判别回归）
5. 多分类学习
6. 类别不平衡问题
7. 梯队下降法
7.1 基本思想
image.png
梯度下降的目的，就是为了最小化损失函数。寻找损失函数的最低点，就像我们在山谷里行走，希望找到山谷里最低的地方。那么如何寻找损失函数的最低点呢？在这里，我们使用了微积分里导数，通过求出函数导数的值，从而找到函数下降的方向或者是最低点（极值点）。
损失函数里一般有两种参数，一种是控制输入信号量的权重(Weight, w)，另一种是调整函数与真实值距离的偏差 (Bias, b)。通过梯度下降方法不断地调整权重 w和偏差b，使得损失函数的值变得越来越小。算法详细过程：
确定定参数的初始值，计算损失函数的偏导数。
将参数代入偏导数计算出梯度。若梯度为 0，结束；否则转到 3。
用步长乘以梯度，并对参数进行更新。
7.2 批量梯度下降
7.3 代码
7.4 学习率问题
解决方法：1. 网格搜索：限制迭代次数；2. 梯度限制：设置大量迭代
参考资料：机器学习方法(二)：线性回归 | HowardWang的博客 (wanghao15536870732.github.io)
