九、隐结构模型学习
1. 隐变量与隐变量模型
- 一个变量是否被观测到时相对一组数据而言的。
- 设X为一变量，D为一组数据。
- 如果D所有的样本都不包含X的取值，则称X相对D是隐变量(latent variable)。
- 为简洁起见，在讨论隐变量时往往不明确提及相应的数据组。
- 如果D中至少有一个样本包含X的取值，则称X为显变量(maifest variable)或观测变量(oberved variable)。
- 本文用X加上下标表示隐变量，用变量名Y加上下标表示显变量。
- 在应用中，隐变量可分为两种，即值隐变量和势隐变量。
- 取值个数已知的隐变量成为值隐变量(value-hidden variable)，
- 而取值个数未知的隐变量称为势隐变量(cardinality-hidden variable)。
- 值隐变量虽然其取值未知，但取值个数是已知的。
- 势隐变量不仅其取值未被观测到，连取值个数也是未知的，除非有特别说明，以后所提及的隐变量都是势隐变量。
- 包含至少一个隐变量的贝叶斯网络模型称为隐变量模型(latent variable model)。
- 在应用中，往往需要考虑多个隐变量，并且特别关心它们之间以及它们与显变量之间的关系。
- 再这样的情况下，隐变量模型也称为隐结构模型(latent structure model)。
- 隐变量模型是一个严格的数学概念，而隐结构模型是一个描述性的概念。
- 隐结构模型学习(latent structure model learning)是要通过数据分析来决定模型一下几个方面的内容：
- 隐变量的个数;
- 以这些隐变量和显变量为节点的模型网络结构；
- 每个隐变量的势；
- 模型参数。
- 当隐变量的个数以及模型的网络结构已知时，隐结构模型学习问题简化为势学习(cardinality learning)问题。
- 进一步，当隐变量的势也已知时，势学习问题简化为参数学习问题，可以用EM算法来解决。
