-几种不同模型概括
* 线性模型(Classical Linear Model):结局变量为连续变量,服从正态分布(残差~),满足独立性、等方差性(方差为常量)。自变量也为连续变量。即线性回归。
* 一般线性模型(General Linear Model):线性模型的扩展。在其基础上,自变量可以是连续变量,也可以是分类变量。比如线性回归、方差分析、协方差分析等。对应SAS中的Proc GLM过程。
* 线性混合效应模型(Linear Mixed Model ):一般线性模型的扩展。允许数据不满足独立性和等方差性,但是结局变量仍为连续变量,仍需符合线性假设。可以同时包含固定效应和随机效应。对应SAS中的Proc MIXED过程。
* 广义线性模型(Generalized Linear Model ):一般线性模型的扩展。模型左侧结局变量为指数分布族中的一种,不要求服从正态分布,可以是连续变量,也可以是分类变量。模型右侧仍为线性组合,通过连接函数进行连接。对应SAS中的Proc GENMOD过程。
* 广义线性混合效应模型(Generalized Linear Mixed Model):相当于广义线性模型和线性混合效应模型的综合。对应SAS中的Proc GLIMMIX过程。
- 广义线性模型(Generalized linear model)
广义线性模型的因变量需要为指数分布族中的一种。正态分布、二项分布、泊松分布等都可以转换成指数分布族的形式。
均值和方差都可以通过b(θ)进行计算:
几个参数的含义如下,分布族中的其他分布对应参数的不同形式。
大概看一下帮助理解。
Φ:dispersion parameter/scale parameter。常量,已知或待估计。
θ:Canonical form of the location parameter。可以表示均值μ的函数
b(θ):θ的函数。
y:已知的因变量。
e.g. 正态分布
SAS中的,
e.g.伽马分布
模型的3个要素:
- 因变量(Random component),服从指数分布族。e.g. 正态分布、泊松分布。
- 线性预测组合(Systematic component)。由协变量组成的线性预测 。β待估计。
- 连接函数(Link Function):连接因变量均值和线性预测组合之间的单调可微函数g(.),使因变量符合线性组合的范围。
。
一般线性模型中(1)为正态分布,(3)的连接函数为恒等函数(identity function)。
广义线性模型允许(1)为非正态分布,(3)可以是任何单调可微的函数。
**
模型中涉及到canonical link function的概念。SAS中描述为:
The canonical link function is that function which transforms the mean to a canonical location parameter of the exponential dispersion family member。
一个模型对应的Link function可能有多个,如二项分布对应的link function可以是probit或者logit,都可以将(0,1)范围内的概率转换至线性组合的范围,使g(μ)∈(-∞,+∞)。 但只有连接均值μ和Canonical parameter-θ的函数g被称之为Canonical Link function。即g(μ)=θ。
因为,则 ,。
二项分布的例子:
对应, 即Canonical link function为,即为logit变换。,
参考了以下的视频和书,帮助理解:
B站的视频:https://b23.tv/igMu8hr
书:Applying Generalized Linear Models