阅读笔记：Unsupervised Neural Aspect Extraction with Sememes

pdf: https://www.ijcai.org/Proceedings/2019/0712.pdf

概述：

- Sememes概念：是词义最小的语义单位， 通常作为词汇语义资源的注释。（Leonard Bloomfield. A set of postulates for the science of language. Language, 1926）

- 利用外部词汇语义资源Sememes，在无监督的框架下建立利用无标注语料的神经网络模型。

- 整体框架类似于自编码器，以句子表示向量作为输入。然后，reconstructed by a linear combination of aspect embeddings and a latent variable sampling from a learned distribution.

模型：

包括编码和解码两步骤。编码阶段将句子表示向量S_i降维压缩成h(h \in \mathbb{R}^K)，K是方面数目；解码阶段，输出句子表示向量S_o由h和方面表示向量集合A(A\in \mathbb{R}^{K\times d})计算得到，d是词向量维度。

编码：h=\mu + \sigma \odot \varepsilon   (\mu ,\sigma 根据输入句向量S_i计算)

解码：S_o = A^\top \cdot h

训练目标：L=J+\lambda U

                  J=\sum_{m\in D}\sum_{j=1}^q \rm max(0, 1-S_o^mS_i^m+S_o^mN_j^m)

                  U=\left \| A_n\cdot A_n^T - I\right \|

方法一：Aspect Extraction with Sememe Attentions (AE-SA),

          句向量：S=\sum_{i=1}^m {\rm softmax(tanh}(e_i^T\cdot E_{avg}))e_i

          w_t第i个sense表示向量计算：\tilde{x}_{t,i} = \sum_{j=1}^{l_i}{\rm softmax(tanh(}{x_{i,j}^t}^\top \cdot S))x_{i,j}^t

           更新w_t词向量： \hat{e_t} = \sum_{i=1}^n {\rm softmax(tanh(}\tilde{x}_{t,i}^\top \cdot S))\tilde{x}_{t,i}

           更新句向量表示：S_i = \sum_{t=1}^m {\rm softmax(tanh(}\hat{e}_t^\top \cdot M \cdot S)) \hat{e}_t

方法二：Aspect Extraction via Contextenhanced Sememe Attentions (AE-CSA)

          -  在AE-SA中添加RNN结构,利用词义信息按顺序构建输入句子隐藏表示向量h_{rnn}。

                 \hat{S_i} = {\rm tanh}(W^\top \cdot (S_i \oplus h_{rnn})+b)

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。