>  By joey周琦

本文将首先简单介绍指数族分布，然后介绍一下广义线性模型（generalized linear model, GLM), 最后解释了为什么逻辑回归（logistic regression, LR) 是广义线性模型的一种。

# 指数族分布

指数族分布 (The exponential family distribution),区别于指数分布（exponential distribution)。在概率统计中，若某概率分布满足下式，我们就称之属于指数族分布。

$$p(y;\eta)=b(y)\exp(\eta^T T(y)-a(\eta))$$

其中$$\eta$$是natural parameter, $T(y)$是充分统计量, $$\exp^{-a(\eta))}$$是起到归一化作用。 确定了$T,a,b$,我们就可以确定某个参数为$$\eta$$的指数族分布.

统计中很多熟悉的概率分布都是指数族分布的特定形式，如伯努利分布，高斯分布，多项分布（multionmal), 泊松分布等。下面介绍其中的伯努利分布和高斯分布。

- 伯努利分布

$$p(y;\phi)=\phi^y (1-\phi)^{1-y} \\=exp[y\log\phi+(1-y)\log(1-\phi)] \\=exp[y\log \frac{\phi}{1-\phi}+log(1-\phi)]$$

把伯努利分布可以写成指数族分布的形式，且

$$ T(y) = y \\ \eta=\log \frac{\phi}{1-\phi}  \\a(\eta) = -\log(1-\phi)=\log(1+e^\eta)  \\ b(y)=1$$

同时我们可以看到$$\phi=\frac{1}{1+e^{-\eta}}$$, 居然是logistic sigmoid的形式，后面在讨论LR是广义线性模型时，也会用到。

## 高斯分布

高斯分布也可以写为指数族分布的形式如下：

$$ p(y;\mu) =\frac{1}{\sqrt{2\pi}}\exp(-\frac{1}{2}(y-\mu)^2) \\

=\frac{1}{\sqrt{2\pi}} \exp(-\frac{1}{2} y^2)\exp(\mu y-\frac{1}{2} \mu^2)$$

我们假设方差为1，当然不为1的时候也是可以推导的。上述我们就把高斯分布写为了指数族分布的形式，对应的

$$ \eta = \mu  \\

T(y) = y \\

a(\eta) = \mu^2/2 = \eta^2 /2 \\

b(y)=\frac{1}{\sqrt{2\pi}} \exp(-\frac{1}{2} y^2)$$

#广义线性模型 (Generalized linear model, GLM)

本节将讲述广义线性模型的概念，以及LR,最小二乘为何也属于广义线性模型。

考虑一个分类或回归问题，我们就是想预测某个随机变量 $y$，$y$ 是某些特征(feature)$x$的函数。为了推导广义线性模式，我们必须做出如下三个假设

1.  $p(y|x;\theta)$ 服从指数族分布

2.  给了$x$, 我们的目的是为了预测T(y)的在条件$x$下的期望。一般情况$T(y)=y$, 这就意味着我们希望预测$h(x)=E[y|x]$

3.  参数$$\eta$$和输入$x$ 是线性相关的：$$\eta = \theta^T x$$

在这三个假设（也可以理解为一种设计）的前提下，我们可以推导出一系列学习算法，称之为广义线性模型(GLM)。下面我们可以推导出一系列算法，称之为广义线性模型GLM. 下面举两个例子：

## 最小二乘法

假设$p(y|x;\theta)~N(\mu,\sigma^2)$,$u$可能依赖于$x$,那么

$$ h_\theta(x) = E[y|x;\theta]    \\

=\mu \\

=\eta \\

= \theta^T x $$

第一行因为假设2，第二行因为高斯分布的特点，第三行根据上面高斯分布为指数族分布的推导，第四行因为假设3

##逻辑回归 LR

考虑LR二分类问题，$y \in {0,1}$, 因为是二分类问题，我们很自然的选择$p(y|x;\theta)$~Bernoulli($$\phi$$),即服从伯努利分布。那么

$$ h_\theta(x) = E[y|x;\theta]    \\

=\phi \\

=\frac{1}{1+e^{-\eta}} \\

= \frac{1}{1+e^{-\theta^T x}} $$

第一行因为假设2，第二行因为伯努利分布的性质，第三行因为伯努利分布为指数族分布时的推导，第四行因为假设3.

所以我们终于知道逻辑回归LR的$P(y=1|x)=\frac{1}{1+e^{-\theta^T x}} $从何而来了。它即是在伯努利分布和广义线性模型的假设下推导而来，逻辑回归也自然是一种广义线性模型。

参考：

本文主要参加Andrew ng的机器学习讲义