逻辑回归

逻辑回归，是最常见最基础的模型。

逻辑回归与线性回归

逻辑回归处理的是分类问题，线性回归处理回归问题。两者都是采用极大似然估计对训练样本建模，线性回归使用最小二乘法，逻辑回归则是似然函数。
$L(\theta)=\prod_{i=1}^NP(y_i|x_i;\theta)=\prod_{i=1}^N(\pi(x_i))^{y_i}(1-\pi(xi))^{1-y_i}$

逻辑回归处理的多分类问题

多项逻辑回归，Softmax Regression。
$h\theta(x)=\begin{bmatrix} p(y=1|x;\theta) \\ p(y=2|x;\theta)\\ \cdots \\ p(y=k|x;\theta) \end{bmatrix}=\frac{1}{\sum_{j=1}^ke^{\theta_j^Tx}}\begin{bmatrix} e^{\theta_1^Tx} \\ e^{\theta_2^Tx}\\ \vdots \\e^{\theta_k^Tx} \end{bmatrix}$

其中， $\theta_{1},\theta_{2}\cdots ,\theta_{k} \in\R^n$ 为模型的参数，而 $\frac{1}{\sum_{j=1}^ke^{\theta_j^Tx}}$ 可以看成对概率的归一化。
一般来说，多项逻辑回归具有参数冗余的特点，给 $\theta_{1},\theta_{2}\cdots ,\theta_{k}$ 同时加上减去一个向量，预测结果不变。
当类别为2分类。
$h_\theta(x)=\frac{1}{e^{\theta_1^Tx}+e^{\theta_2^Tx}}\begin{bmatrix} e^{\theta_1^Tx}\\e^{\theta_2^Tx} \end{bmatrix}$
因此，可以同时减去一个参数，比如说，减去 $\theta_1$ 。
$h_\theta(x)=\frac{1}{e^{0.x}+e^{(\theta_2^T-\theta_1^T)x}}\begin{bmatrix} e^{0.x}\\e^{(\theta_2^T-\theta_1^T)x} \end{bmatrix}=\begin{bmatrix} \frac{1}{1+e^{\theta^Tx}}\\ 1-\frac{1}{1+e^{\theta^Tx}} \end{bmatrix}$
其中 $\theta=\theta_2-\theta_1$ 。。。，多分类问题同理，只是在二分类上面进行了扩展。
例如：当样本存在多个标签，比如5个分类，那么我们可以训练5个分类器，第i个分类器表示结果是不是属于第i类。因此我们的标签设置的是第i类和非第i类。

机器学习day7-逻辑回归问题

机器学习day7-逻辑回归问题

逻辑回归

逻辑回归与线性回归

逻辑回归处理的多分类问题