1-广义线性模型

-几种不同模型概括

* 线性模型（Classical Linear Model）：结局变量为连续变量，服从正态分布（残差~ $N(0,σ^2)$ ），满足独立性、等方差性（方差为常量）。自变量也为连续变量。即线性回归。

* 一般线性模型（General Linear Model）：线性模型的扩展。在其基础上，自变量可以是连续变量，也可以是分类变量。比如线性回归、方差分析、协方差分析等。对应SAS中的Proc GLM过程。

* 线性混合效应模型（Linear Mixed Model ）：一般线性模型的扩展。允许数据不满足独立性和等方差性，但是结局变量仍为连续变量，仍需符合线性假设。可以同时包含固定效应和随机效应。对应SAS中的Proc MIXED过程。

* 广义线性模型（Generalized Linear Model ）：一般线性模型的扩展。模型左侧结局变量为指数分布族中的一种，不要求服从正态分布，可以是连续变量，也可以是分类变量。模型右侧仍为线性组合，通过连接函数进行连接。对应SAS中的Proc GENMOD过程。

* 广义线性混合效应模型（Generalized Linear Mixed Model）：相当于广义线性模型和线性混合效应模型的综合。对应SAS中的Proc GLIMMIX过程。

- 广义线性模型（Generalized linear model）

广义线性模型的因变量需要为指数分布族中的一种。正态分布、二项分布、泊松分布等都可以转换成指数分布族的形式。

Exponential Dispersion Family

不同文献中的标注不太一样，SAS中的ai(Φ)有些文献中直接标注为Φ

均值和方差都可以通过b(θ)进行计算：

SAS help

几个参数的含义如下，分布族中的其他分布对应参数的不同形式。
大概看一下帮助理解。
     Φ：dispersion parameter/scale parameter。常量，已知或待估计。
     θ：Canonical form of the location parameter。可以表示均值μ的函数
     b(θ)：θ的函数。
     y：已知的因变量。

e.g. 正态分布

Applying Generalized Linear Models

SAS Help

SAS中的 $Φ=a_i(Φ)=σ^2$ ， $Scale=sqrt(a_i(Φ))=σ$

e.g.伽马分布

Applying Generalized Linear Models

SAS help

SAS中的

Φ=a_i(Φ)=v^{-1}

，

Scale=1/a_i(Φ)=v

SAS Help中不同分布对应的Scale

模型的3个要素:

因变量（Random component），服从指数分布族。e.g. 正态分布、泊松分布。
线性预测组合（Systematic component）。由协变量 $x_1,x_2, ..., x_p$ 组成的线性预测 $η=x_1β_1+...+x_pβ_p$ 。β待估计。
连接函数（Link Function）：连接因变量均值和线性预测组合之间的单调可微函数g(.)，使因变量符合线性组合的范围。

$X^Tβ=g(μ)，μ=g^{-1}(X^Tβ)$ 。

一般线性模型中（1）为正态分布，（3）的连接函数为恒等函数（identity function）。
广义线性模型允许（1）为非正态分布，（3）可以是任何单调可微的函数。

**

模型中涉及到canonical link function的概念。SAS中描述为：
The canonical link function is that function which transforms the mean to a canonical location parameter of the exponential dispersion family member。
一个模型对应的Link function可能有多个，如二项分布对应的link function可以是probit或者logit，都可以将(0,1)范围内的概率转换至线性组合的范围，使g(μ)∈(-∞,+∞)。但只有连接均值μ和Canonical parameter-θ的函数g被称之为Canonical Link function。即g(μ)=θ。
因为 $μ=b'(θ)$ ，则 $θ=(b’)^{-1}(μ)$ ， $g(μ)=θ=(b’)^{-1}(μ)$ 。

二项分布的例子：
$p^y(1-p)^{1-y}=exp(ylogp+(1-y)log(1-p))=exp(ylog(\frac{p}{1-p})+log(1-p))$
对应 $θ=log(\frac{p}{1-p})$ , 即Canonical link function为 $log(\frac{p}{1-p})$ ，即为logit变换。 $b(θ)=-log(1-p)，p=\frac{e^θ}{1+e^θ}$ ， $b(θ)=ln(1+e^θ)$