广义线性模型与逻辑回归（为什么逻辑回归要用Sigmoid函数）

广义线性模型与逻辑回归

首先，广义线性模型是基于指数分布族的，而指数分布族的原型如下
$P(y;\eta)=b(y) \cdot \exp(\eta^TT(y) - \alpha(\eta))$

其中 $\eta$ 为自然参数，它可能是一个向量，而 $T(y)$ 叫做充分统计量，也可能是一个向量，通常来说 $T(y)=y$ 。

广义线性模型就是把自变量 $x$ 的线性预测函数 $\theta^T x$ 当作因变量 $\eta$ 的估计值。

给定特征属性 $x$ 和参数 $\theta$ 后， $y$ 的条件概率 $P(y|x;\theta)$ 服从指数分布族，即 $y|x;\theta \sim ExpFamily(\eta)$ 。
预测 $T(y)$ 的期望，即计算 $E[T(y)|x]$ ，通常来说 $T(y)=y$ 。
$\eta$ 与 $x$ 之间是线性的，即 $\eta = \theta^T x$ 。

伯努利分布又叫做两点分布或者0-1分布，是一个离散型概率分布，若伯努利实验成功，则伯努利随机变量取值为1，如果失败，则伯努利随机变量取值为0。并记成功的概率为 $\phi$ ，那么失败的概率就是 $1-\phi$
伯努利分布的概率密度函数
$P(y; \phi) = \phi^y (1- \phi) ^ {1- y}$ 如果把伯努利分布写成指数分布族，形式如下
$\begin{split} P(y; \phi) &= \phi^y (1- \phi) ^ {1- y}\\ &= \exp (\ln ( \phi^y (1- \phi)^ {1- y}))\\ &= \exp (y \ln \phi + (1-y) \ln (1- \phi))\\ &= \exp (\ln \frac{\phi}{1-\phi} \cdot y + \ln (1- \phi)) \end{split}$ 对比指数分布族，有
$b(y)=1, \eta=\ln \frac{\phi}{1-\phi}, T(y)=y, \alpha(\eta)=- \ln(1-\phi)$
Logistic回归是基于伯努利分布的，推导可得Sigmoid函数，如下
$\eta=\ln \frac{\phi}{1-\phi} \Rightarrow \phi = \frac{1}{1+ e^{-\eta}}$ 其中 $\eta = \theta ^ T x$ ， $\phi$ 即为预测为正样本的概率。
这也解释了为什么逻辑回归要用Sigmoid函数。