阅读笔记:Don’t Eclipse Your Arts Due to Small Discrepancies: Boundary Repositioning with a Pointer Ne...

pdf: https://www.aclweb.org/anthology/2020.acl-main.339.pdf

概述:

- 当前有监督的方面术语抽取(Supervised Aspect Term Extraction)基于序列标注(B/I/O)的形式实现。模型对词语标记之后还有一个组合的过程,即B开头加上后面连续的I标记的词语序列作为预测的“方面术语Aspect Term”,这存在边界错误的问题。

- 提出用指针网络(Pointer Network)来重新定位边界。

方法:

- 找出候选:采用序列标注方法,基于BiLSTM+Sefl-Attention+CRF框架,来获取候选方面术语。Loss Function如下:

                  L_E=\sum_{i=1}^{N_E}{\rm log}P(y|f_{den}(\hat{h}_i),\hat{W},\hat{b})

- 基于指针网络的术语边界重新定位:给定候选方面术语和包含该候选的句子,输出术语首词和术语末词。候选方面术语可以是错误预测的术语,真实术语,也可以是其他文本。

Encoding:设C是候选方面(包含n个词),U是包含C的句子(包含m个词):

                  W_{C\oplus U} = [CLS,C,SEP,U,SEP]

                   词向量初始化,其他分隔符等随机初始化,然后用BERT来微调

                   h_i={\rm BERT}(W_i) (1\le i \le n+m+3)  

Decoding:

                \begin{bmatrix}
p_s(W_i)
\\ p_e(W_i)
\end{bmatrix} = {\rm softmax}(Wh_i+b)

                 \left\{\begin{matrix}
w^s= {\rm argmax}.p_s(w_i)\\ 
w^e= {\rm argmax}.p_e(w_i)
\end{matrix}\right.

Loss Function: N_B真实方面个数,\hat{w}^s,\hat{w}^e真实方面术语首词和末词。

                    L_B=-\frac{1}{N_B}\sum_{i=1}^{N_B}[\frac{{\rm log}p_s(\hat{w}_i^s
)+{\log}p_e(\hat{w}_i^e)}{2}]

- 负例搜集:与真实方面术语部分重合的文本

正负例展示

实验结果:

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

友情链接更多精彩内容