大师兄的贝叶斯网络学习笔记（六十一）：贝叶斯网络（三十五）

九、隐结构模型学习

5. 多层隐类模型

5.3 正则性

设X为HLC模型中的一个隐变量，用 $Z_1,Z_2,...,Z_k$ 记所有与X相邻的节点。
一个HLC模型称为是正则的(regular)如果：

它至少有两个显变量；

对任一隐变量X，有 $|X| \leqslant \frac{\prod_{i=1}^{k} |Z_i|}{\max_{i=1}^{k} |Z_i|}$ 。

而且当K=2且X的一个相邻节点是隐变量时，上面的不等式严格成立。

定理：设G是一个HLC模型G'，其标准维数低于G的标准维数。
证明：假设G不是正则的，那么有两种情况：

G中存在隐变量X，使得 $|X| > \frac{\prod_{i=1}^{k} |Z_i|}{\max_{i=1}^{k} |Z_i|}$ ;

G中存在隐变量X，它有两个相邻节点，且其中之一是隐节点，并有 $|X| \geqslant \frac{\prod_{i=1}^{k} |Z_i|}{\max_{i=1}^{k} |Z_i|}$ 不失一般性，设 $Z_k=max^k_{i=1}|Z_i|$ 。

先考虑第一种情况，构造另一HLC模型G‘，它与G一样，只是隐变量X被另一隐变量X'取代，且 $|X'| = \prod_{i=1}^{k-1} |Z_i|$ 。
很明显，G'的标准维数低于G的准维数，而且G显像包含G'，下面证明G'也显像包含G。
设θ为G的任一参数值，其中包含X的势位函数以及X与其相邻节点 $Z_1,Z_2,...,Z_k$ 之间的边的势位函数。
用 $f(X,Z_1,Z_2,...,Z_k)$ 记这些函数的乘积，并定义 $g(Z_1,Z_2,...,Z_k)=\sum_{X}f(X,Z_1,Z_2,...,Z_k)$ 。
由于式可以在 $\Omega_{x'}$ 与 $\Omega_{z_1}\times \Omega_{z_1}\times \Omega_{z_1}\times ... \times \Omega_{z_{k-1}}$ ，其中 $z_i$ 是 $Z_i$ 的一个状态。
定义G'的参数值θ'定义如下：设X'的势位函数f(X')为单位函数1；设边 $X'-Z_i$ 的势为函数为 $\begin{align*} f_i(X' = (z_1, z_2, \cdots, z_{k-1}), Z_i) &= \begin{cases} 1, & \text{若 } Z_i = z_i, \quad i = 1, 2, \cdots, k-1, \\ 0, & \text{若否} \end{cases} \\ f_k(X' = (z_1, z_2, \cdots, z_{k-1}), Z_k) &= g(Z_1 = z_1, \cdots, Z_{k-1} = z_{k-1}, Z_k). \end{align*}$ 。
不难看出， $\sum_{X'} f(X') \prod_{i=1}^{k} f_i(X', Z_i) = g(Z_1, Z_2, \ldots, Z_k)$ 。
设G'的其它节点及边的势位函数与G中相同，从而有 $P(Y|G,\theta) = P(Y|G',\theta')$ 。
其中Y是模型中所有显变量的集合，这就证明了G'显像包含G，从而证明了在式成立时定理成立。
下面考虑第二种情况，这时X只有两个相邻节点，即 $Z_1$ 和 $Z_2$ ，且它们之一是隐节点。
设 $Z_1$ 是隐节点，构造模型G'如下：出去X，并将 $Z_1和Z_2$ 直接相连。
为了计算G'和G的标准维数的差别，想象把它们的根都定在 $Z_1$ ，不难看出， $\begin{aligned} d(\mathscr{G}') - d(\mathscr{G}) &= |Z_1|-1+|Z_1|(|Z_2|-1) \\ &\quad - \bigl[|Z_1|-1+|Z_1|(|X|-1)+|X|(|Z_2|-1)\bigr] \\ &= |Z_1||Z_2| - |X|(|Z_1|+|Z_2|-1) \\ &< |Z_1||Z_2| - |X|\max\{|Z_1|,|Z_2|\} \quad (\text{因为 } |Z_1|,|Z_2|\ge 2) \\ &\le 0, \end{aligned}$ 即G'的标准维数低于G的标准维数。