Logistics Regression
1 逻辑回归和线性回归的比较
- 先给出结论的表格
| Logistics Regression | Linear Regression |
|---|---|
| Output: 0~1 | Output: 任何值 |
|
|
|
| 同左边 |
- 其中Cross Entropy:
- 为什么要用Cross Entropy（交叉熵），为什么不直接用线性回归中的 Square Error？
在逻辑回归中，如果用Square Error，经过公式推导，若，则当
等于1（close to Class1）或者等于0（far from Class1）时，
都将为0.
Cross Entropy vs Square Error
1.1 LR的损失函数和梯度下降
1.1.1 Likelihood function
-
求该函数的最大值，为了方便，转化成下面的函数，求最小值点
其中为1时，代表Class1，为0时，代表Class2
1.1.2 梯度下降过程
-
这是损失函数里中括号里的一项，最终可将损失函数化简得
1.2 Discriminative vs Generative
- Discriminative 和 Generative 是两种寻找参数的方法
前者直接找到和
后者会找到 - 两者最终得到的w和b是不一样的
-
从最终的测试结果来说，Discriminative 得到的结果是更好的
但是Generative Model 在一些情况下会得到更好的结果，因为Generative Model 会有“脑补的过程”
即，在样本集合中不存在的某个样本，也会被Generative脑补出来，这样的样本在一个大的样本集合中可能会出现。
Generative 判断两个红球同时出现的可能性 Class2 更大 - Generative 的好处
对训练集的数量要求更小
对训练集的噪音抗干扰能力更强
1.3 Multi-Class Classification
以三个类为例
如下图所示，三个类经过Softmax函数之后，最终的值都会落在0,1之间
大的越大，小的越小
1.3.1 Softmax 原理
- 假设有3个Class，都是高斯分布，共用同一个协方差矩阵，这种情况下，做一般推导以后，得到的就是softmax function
1.3.2 Softmax 损失函数
- x属于 Class1时
- x属于 Class2时
- x属于 Class3时
用这种方式表示的好处是，Class之间不再有某两者更加近的距离（如2比1离3更近）
1.3.3 Softmax 梯度下降
更新中...
