Logistic Regression (ntu.edu.tw)

http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/Logistic%20Regression%20(v3).pdf

线性回归：输出任何值

逻辑回归：输出值0-1之间

我们熟悉的是，找使得loss最小的w和b

所以我们转换一下L函数

1、Ln:连乘--连加

2、取负号

用SE（线性回归求loss）方式，是不可取的。

因为：离最低点，最近和最远的位置，都梯度下降都更新的很慢

训练集、模型函数一样，逻辑回归和线性回归求的w和b不一样。

一般情况下，做分类，判别式的效果更好。

例子：

1×1：朴素贝叶斯、独立

采用生成式，却判断为第二类。

原因：训练集样本太少

所以要有足够多的训练样本

生成式（线性回归）模型优点：

1、数据集样本少的时候

2、样本中有很多噪音干扰的时候

3、Priors and class-dependent来自不同的分布

（语音识别：用的是生成式）

多分类：

softmax：在0-1之间，会把输入扩大化

不能把分类输出用1、2、3、4、5、...表示。用one-hot编码方式。

逻辑回归的缺陷：

没有办法用一条线，把红点和蓝点，两个类别隔开。

解决方法：1、特征转换Feature Transformation

2、级联的逻辑回归---深度学习

Neuron神经元