Effective Approaches to Attention-based Neural Machine Translation

  • 时间: 2015 EMNLP
  • 作者&机构： 斯坦福大学计算机科学学院

Abstract

Attention机制在NMT中应用，在翻译时去关注部分source端的句子。
这篇文章是对于attention-based NMT的改进。

  • global approach
  • local approach

并且取得了显著的效果

Model

  • Global Model
    看看图就行，即是最常见的

    Global Model

  • Local attention model
    即是将attention限制在某个位置：
    这时候是以p_t为中心，D为单侧长度,即[p_t - D ,p_t + D]
    如图:

    Local Model

在这里p_t的选择就分为2种：

  • local-m ： p_t = t
  • local-p ：p_t = sth. by\ \ h_t
    这时候权重的定义为：

END

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容