pdf:https://www.aclweb.org/anthology/P17-1036.pdf
概述:
采用类似于自编码器的方法,在无监督框架下构建模型学习方面向量表示,然后提取与方面向量在向量空间中距离近的词语作为方面术语。
模型示意图:
方法:
方面向量表示的训练过程类似于自动编码器(Auto-encoder),在输入评论文本词向量后,首先使用注意力机制计算文本面向方面的句向量表示,再使用注意力机制来计算句子向量与方面向量相关的概率。该过程可以使得计算的句向量忽略与方面无关的词语,突出与方面有关的单词。最后,再通过与方面向量的相似性权重,对方面向量表示加权求和来重构该句子面向方面的句向量表示。
step 1: 根据输入词向量e,利用注意力机制计算方面相关的句向量表示z
step 2: 利用方面向量表示T,重构句向量z
step 3: hinge loss
D: 训练文本集合
m:设定的负采样数
最后,可以根据学习出来的 T 确定方面术语。为了保证 T 的多样性,论文还有设计了一个正则化因子,加到训练目标中。
P.S. 把论文中的公式按照程序实现调换了顺序,看起来更容易理解