背景:
报了深蓝学院的语音识别课程,这里做学习记录
第三课:高斯混合模型
1.潜变量
1)观测变量(observed variable)
•直接可以观测到的变量
2)潜(隐)变量(latent variable )
•无法直接被观测到,需要通过模型和观测变量进行推断
•利用潜变量来解释观测变量的数学模型,称为潜变量模型,GMM、HMM都是潜变量模型
•潜变量模型将不完全数据(只有观测数据)的边缘分布转换成容易处理的完全数据(观测数据+潜变量)的联合分布
2.高斯模型
- 高斯分布在自然界的数据中广泛存在;
- 中心极限定理:在适当的条件下,大量相互独立随机变量的均值经适当标准化后依分布收敛于正态分布。
1)单高斯模型
2)多维高斯模型
3)混合高斯模型
4)EM
3. 代码实践
主要代码在上面有详细实现,以下是一些实现的感想:
1)先要对公式有个理解,要不代码错了都不知道怎么修改;
2)首先理解高斯模型的计算公式,知道概率的计算过程,
1.从一个变量理解,输一个x,例如x=0.3,概率 p =
2.多维变量计算过程,
3.多个高斯模型混合实现方式,
- 3)EM算法