逻辑回归
0.引言
本文主要参考了李航的《统计学习方法》，算做学习笔记。
1. 二元逻辑回归模型定义
二元逻辑回归是一种分类模型，由条件概率来表示，其中随机变量
是实数，随机变量
的取值范围是{0,1}。用公式来描述这个模型：
其中，和
都是这个逻辑回归模型的参数。
是权重项，
是偏置项。为了方便，我们可以把偏重项看做权重为b的的权重项，然后再在输入中扩充一个维度。即
,
.再改写模型描述为：
其中，和
都是这个逻辑回归模型的参数。
2.逻辑回归模型的由来
疑问
其实我一开始也觉得很疑惑，怎么以上来就出来个逻辑回归，为什么叫逻辑回归？它的由来是什么？甚至考虑到找工作面试官让你手撕逻辑回归的时候会有些懵逼，从何开始呢？现在就来记录对这些问题的思考，其实也就是读了《统计学习方法》对逻辑回归这部分内容以后的理解。
事件发生的几率
一个事件发生或者不发生除了用概率来描述，还可以用几率来描述。几率的定义是“事件发生概率与该时间不发生概率的比值”。如果一个事件发生的概率为，那么几率就可以这样表示：
对数几率
有了几率的概念，再来引入对数几率：
对数几率实际上就是几率的对数函数。
3.逻辑回归模型的模型参数估计
逻辑回归模型在学习时，需要通过训练数据集来拟合得到模型的参数，如权重和
。参数估计的方法采用极大似然估计法。估计得到参数后就可以得到逻辑回归模型：
假设:
数据集则可以得到似然函数：
对数似然函数：
推导到这里需要一个想办法把给变出来，因为
是我们需要估计的参数。用什么变出来呢？从
与
的关系入手！
于是我们抄写一遍前面的式子，继续推导：
得到对数似然函数后，我们得到了一个目标函数，将其看成一个最优化问题进行求解即可。可以采用梯度下降法或者拟牛顿法进行学习求解。
4.再访二元逻辑回归模型描述
如果逻辑回归模型在理论上最优的权值为,那么我们将通过数据集训练得到的权值记为
.
最终的二元逻辑回归模型描述为：
5.多元逻辑回归模型——二元逻辑回归的拓展
相比二元逻辑回归，多元逻辑回归中随机变量Y的取值为
那么模型描述为：
实际上是一对多的思路，同样可以采用二元逻辑回归中的参数估计方法，求对数似然函数的方式构造目标函数，再通过求解最优化问题来求出权重参数。
