服从泊松分布的潜变量 z

详细推导期望值 (E(Z_i)) 的计算过程,并使用相关领域的专业术语来解释。

期望值 (E(Z_i)) 的推导

我们引入潜变量 (Z_i),使其服从泊松分布:

Z_i \sim \text{Poisson}\left(\lambda\right)

泊松分布的概率质量函数为:

P(Z_i = z_i) = \frac{\lambda_i^{z_i} e^{-\lambda_i}}{z_i!}

期望步骤(E步骤)

在E步骤中,我们计算潜变量的期望值,给定当前参数估计 (\Theta^{(k)}) 和观测数据:

泊松分布的期望值为其参数 (\lambda_i),即:

E(Z_i) = \lambda_i

由于我们有删失数据,我们需要考虑删失指示符 (\delta_i)。当 (\delta_i = 1) 时,表示事件发生;当 (\delta_i = 0) 时,表示事件未发生。

在给定删失指示符 (\delta_i) 的条件下,潜变量 (Z_i) 的期望值为:

E(Z_i \mid \delta_i) = \int_{0}^{\infty} z_i P(Z_i = z_i \mid \delta_i) dz_i

根据贝叶斯定理,我们有:

P(Z_i = z_i \mid \delta_i) = \frac{P(\delta_i \mid Z_i = z_i) P(Z_i = z_i)}{P(\delta_i)}

其中,(P(\delta_i \mid Z_i = z_i)) 是删失指示符的条件概率,(P(Z_i = z_i)) 是泊松分布的概率质量函数,(P(\delta_i)) 是删失指示符的边际概率。

对于泊松分布,我们有:

P(Z_i = z_i) = \frac{\lambda_i^{z_i} e^{-\lambda_i}}{z_i!}

对于删失指示符,我们有:

P(\delta_i = 1 \mid Z_i = z_i) = 1 \quad \text{if} \quad z_i > 0

P(\delta_i = 0 \mid Z_i = z_i) = 1 \quad \text{if} \quad z_i = 0

因此,条件概率可以写成:

P(Z_i = z_i \mid \delta_i = 1) = \frac{\lambda_i^{z_i} e^{-\lambda_i}}{z_i! (1 - e^{-\lambda_i})} \quad \text{for} \quad z_i > 0

P(Z_i = z_i \mid \delta_i = 0) = \frac{e^{-\lambda_i}}{1 - e^{-\lambda_i}} \quad \text{for} \quad z_i = 0

结合这些条件概率,我们可以计算期望值:

E(Z_i \mid \delta_i = 1) = \frac{\lambda_i}{1 - e^{-\lambda_i}}

将 (\lambda_i) 代入即可


好的,我们来推导一下在给定 (\delta_i = 1) 的条件下,(Z_i) 的期望值 (E(Z_i \mid \delta_i = 1))。

首先,我们知道 (Z_i) 在给定 (\delta_i = 1) 的条件下服从截断泊松分布,其概率质量函数为:

$$P(Z_i = z_i \mid \delta_i = 1) = \frac{\lambda_i^{z_i} e^{-\lambda_i}}{z_i! (1 - e^{-\lambda_i})} \quad \text{for} \quad z_i > 0$$

期望值的定义为:

$$E(Z_i \mid \delta_i = 1) = \sum_{z_i=1}^{\infty} z_i \cdot P(Z_i = z_i \mid \delta_i = 1)$$

将截断泊松分布的概率质量函数代入,我们得到:

$$E(Z_i \mid \delta_i = 1) = \sum_{z_i=1}^{\infty} z_i \cdot \frac{\lambda_i^{z_i} e^{-\lambda_i}}{z_i! (1 - e^{-\lambda_i})}$$

我们可以将常数因子 (\frac{e^{-\lambda_i}}{1 - e^{-\lambda_i}}) 提出求和符号外:

$$E(Z_i \mid \delta_i = 1) = \frac{e^{-\lambda_i}}{1 - e^{-\lambda_i}} \sum_{z_i=1}^{\infty} \frac{z_i \lambda_i^{z_i}}{z_i!}$$

注意到 (\frac{z_i \lambda_i^{z_i}}{z_i!}) 可以写成 (\lambda_i \cdot \frac{\lambda_i^{z_i-1}}{(z_i-1)!}),因此我们有:

$$E(Z_i \mid \delta_i = 1) = \frac{e^{-\lambda_i}}{1 - e^{-\lambda_i}} \cdot \lambda_i \sum_{z_i=1}^{\infty} \frac{\lambda_i^{z_i-1}}{(z_i-1)!}$$

将求和变量从 (z_i) 改为 (k = z_i - 1),我们得到:

$$E(Z_i \mid \delta_i = 1) = \frac{e^{-\lambda_i}}{1 - e^{-\lambda_i}} \cdot \lambda_i \sum_{k=0}^{\infty} \frac{\lambda_i^k}{k!}$$

注意到 (\sum_{k=0}^{\infty} \frac{\lambda_i^k}{k!}) 是泊松分布的归一化常数,即 (e^{\lambda_i}),因此我们有:

$$E(Z_i \mid \delta_i = 1) = \frac{e^{-\lambda_i}}{1 - e^{-\lambda_i}} \cdot \lambda_i \cdot e^{\lambda_i}$$

简化后得到:

$$E(Z_i \mid \delta_i = 1) = \frac{\lambda_i}{1 - e^{-\lambda_i}}$$

这就是在给定 (\delta_i = 1) 的条件下,(Z_i) 的期望值的推导过程。如果你有更多问题或需要进一步的解释,请随时告诉我!

这个公式描述了在给定 (\delta_i = 1) 的条件下,(Z_i) 等于 (z_i) 的概率。它看起来像是一个截断泊松分布的形式。让我们逐步解析一下:

1.

泊松分布:泊松分布的概率质量函数(PMF)为:

$$P(Z_i = z_i) = \frac{\lambda_i^{z_i} e^{-\lambda_i}}{z_i!} \quad \text{for} \quad z_i \geq 0$$

其中,(\lambda_i) 是泊松分布的参数,表示事件发生的平均次数。

2.

截断泊松分布:当我们只考虑 (z_i > 0) 的情况时,我们实际上是在处理一个截断泊松分布。截断泊松分布排除了 (z_i = 0) 的情况,因此需要重新归一化。

3.

归一化因子:为了确保概率总和为1,我们需要除以 (P(Z_i > 0)),即 (1 - P(Z_i = 0))。对于泊松分布,(P(Z_i = 0) = e^{-\lambda_i})。因此,归一化因子为 (1 - e^{-\lambda_i})。

结合这些因素,我们得到截断泊松分布的概率质量函数:P(Z_i = z_i \mid \delta_i = 1) = \frac{\lambda_i^{z_i} e^{-\lambda_i}}{z_i! (1 - e^{-\lambda_i})} \quad \text{for} \quad z_i > 0

这个公式表示在排除 (z_i = 0) 的情况下,(Z_i) 等于 (z_i) 的概率。


E(Z_{il})的推导

E(Z_{il})=\frac{E(Z_i)\alpha_l^{(k)}b_l(C_i)}{\Lambda_0^{(k)}(C_i)}

$Z_{il}$是$Z_i$的分解部分,服从参数为$\alpha_l^{(k)}b_l(C_i)$的泊松分布。


详细推导从公式(3)到公式(5)的过程,并在每一步中解释其原理。

完全似然函数(公式3)

引入泊松潜变量$Z_i$

为了简化计算,我们引入泊松潜变量$Z_i$,其定义为:

Z_i \sim \text{Poisson}\left(\lambda_i\right)

条件似然函数

我们将完全似然函数分解为条件似然函数和边际似然函数。首先,考虑条件似然函数:

P(\delta_i \mid Z_i) = \delta_i^{I(Z_i > 0)} (1 - \delta_i)^{I(Z_i = 0)}

(这里,$\delta_i = I(Z_i > 0)$表示是否观测到事件)

边际似然函数

接下来,考虑边际似然函数:

P(Z_i) = \frac{\left(\lambda_i\right)^{Z_i} \exp \left(-\lambda_i\right)}{Z_i!}

结合条件和边际似然函数

将条件似然函数和边际似然函数结合起来,我们得到:

P(\delta_i, Z_i) = P(\delta_i \mid Z_i) P(Z_i)

将所有个体的联合似然函数相乘,得到完整似然函数:(公式5)


完全似然函数可以分解为条件似然函数和边际似然函数?

这种分解方法在统计学和贝叶斯推断中非常常见。让我们详细解释一下这个过程。

完全似然函数

完全似然函数 ( L(\Theta) ) 表示在给定参数 (\Theta) 的情况下,观测数据的联合概率。对于一组独立同分布的数据 (X = (x_1, x_2, \ldots, x_n)),完全似然函数可以表示为:L(\Theta) = P(X \mid \Theta) = \prod_{i=1}^n P(x_i \mid \Theta)

条件似然函数和边际似然函数

假设我们引入一个潜变量 (Z),完全似然函数可以分解为条件似然函数和边际似然函数。具体来说,完全似然函数可以表示为:

L(\Theta) = P(X \mid \Theta) = \int P(X, Z \mid \Theta) , dZ

其中,(P(X, Z \mid \Theta)) 是联合似然函数。

分解过程

1.联合似然函数:

联合似然函数 (P(X, Z \mid \Theta)) 可以分解为条件似然函数 (P(X \mid Z, \Theta)) 和边际似然函数 (P(Z \mid \Theta))P(X, Z \mid \Theta) = P(X \mid Z, \Theta) P(Z \mid \Theta)

2.

边际化潜变量:

通过对潜变量 (Z) 进行边际化(积分或求和),我们可以得到完全似然函数:L(\Theta) = P(X \mid \Theta) = \int P(X \mid Z, \Theta) P(Z \mid \Theta) dZ


具体例子

在泊松潜变量模型中,假设我们有观测数据 (X) 和潜变量 (Z),完全似然函数可以表示为:L(\Theta) = \prod_{i=1}^n P(x_i \mid \Theta)

通过引入潜变量 (Z_i),我们可以将完全似然函数分解为:L(\Theta) = \prod_{i=1}^n \int P(x_i \mid Z_i, \Theta) P(Z_i \mid \Theta) , dZ_i

其中,P(x_i \mid Z_i, \Theta)是条件似然函数,表示在给定潜变量 (Z_i) 和参数 (\Theta) 的情况下,观测数据 (x_i) 的概率;P(Z_i \mid \Theta) 是边际似然函数,表示在给定参数\Theta的情况下,潜变量Z_i的概率。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,036评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,046评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,411评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,622评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,661评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,521评论 1 304
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,288评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,200评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,644评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,837评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,953评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,673评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,281评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,889评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,011评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,119评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,901评论 2 355

推荐阅读更多精彩内容