二战周志华《机器学习》--条件随机场

条件随机场(Conditional Random Field,简称CRF)是一种判别式无向图模型,我们都知道,生成式模型直接对联合分布进行建模,而判别式模型则是对条件分布进行建模,马尔可夫随机场是生成式模型,而条件随机场是判别式模型。

条件随机场试图对多个变量在给定观测值后的条件概率进行建模,具体来说,若给定观测序列x,以及标记序列y,条件随机场的目的就是构建条件概率模型p(y|x),需注意的是,标记变量y可以是结构型变量,即其分量之间具有某种相关性,例如在自然语言的词性标注任务中,观测数据为语句(即单词序列)。标记为相应的词性序列,具有线性序列结构,如下图所示,输出为树形结构的语法树:

我们根据马尔可夫性,有如下的关系:

理论上说,图G可以有任意的结构,只要能表示标记变量之间的条件独立性关系即可。但在实际应用中,尤其对标记序列建模时,最常用的是下图所示的链式结构,即“链式条件随机场”,这也是我们用到最多的条件随机场类型:

与马尔可夫随机场类似,条件随机场使用势函数和图结构上的团来定义条件概率P(y|x),给定观测序列x,链式条件随机场主要包含两种关于标记变量的团,即单个标记变量yi,以及相邻的标记变量{yi-1,yi},选择合适的势函数,可以得到下面的条件概率定义,在条件随机场中,通过选用指数势函数并引入特征函数,条件概率被定义为:

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容