《Factored Neural Machine Translation》简读

paper来源:arXiv.org

问题

实验任务----属于机器翻译(NMT)任务,具体来说,本paper实验任务为英语翻译为法语;

paperwork----在传统NMT的“seq2seq+attention”的基础上引入先验知识/工具改进了decoder的结构,在一定程度上解决大词表(Large Vocabulary)和OOV(Out Of Vocabulary)问题;

摘要:

首先,作者使用morphological and grammatical analysis(形态学与语法分析器)来获取单词的因素表示,lemmas, Part of Speech tag, tense, person, gender and number等;

其次,作者改进了传统的NMT的decoder,把输出由一个变成了两个,分别表示lemmas和其他的factors,独立学习,然后重组为word;

由此带来的好处是,同样大的词表可以表示更多的词;再者,它可以生产词表中不存在的新词,减少OOV词项的出现频率;

形态学与语法分析器(本文使用的是MACAON):

举例:法语词devient(对应英文词becomes)可以表示为devenir和“vP3#s”, devenir为lemma,可以理解为词根;“vP3#s”为factors,可理解为修饰限制词根的其他因素;v表示verb,P表示Present(时态),3表示3rd person(第三人称),#表示无关性别,s表示单数;

网络结构:

传统的NMT结构图:

两个重要概念:seq2seq,attention

FNMT提出的新的decoder的结构:

P变成独立的Lemma和factors向量(由此可能会带来长度差异,最终翻译结果的长度以lemma长度为准);

将P层输入给softmax决定lemma和factor后,再将二者输送给形态学分析器来产生word;

(feedback采用的是lemma向量,根据如下实验效果选择的):

实验结果:

1,词表比较大的时候,表现基本持平;词表缩小的话,FNMT的表现就要好得多;

2,相同的参数量,FNMT能够囊括更多的word;

3,在OOV问题的解决上,FNMT表现更好;

4,最后一列是忽略factor误差带来的影响,lemma正确就算正确的结果;

简评:

1,本文利用先验知识(词根+限制条件表示词汇)给解决大词表和OOV问题提供了一种思路;

2,实验的效果很大一部分依赖于先验的语态学分析器的效果,比如目标语言如果是中文或者英文就没有这样靠谱的分析器;

3,如有问题或建议,欢迎留言交流~

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 近日,谷歌官方在 Github开放了一份神经机器翻译教程,该教程从基本概念实现开始,首先搭建了一个简单的NMT模型...
    MiracleJQ阅读 6,690评论 1 11
  • 前面的文章主要从理论的角度介绍了自然语言人机对话系统所可能涉及到的多个领域的经典模型和基础知识。这篇文章,甚至之后...
    我偏笑_NSNirvana阅读 14,378评论 2 64
  • 语言与精神分析 四川大学哲学系 霍大同 第一讲 1999年3月1日 这是一个比较困难的题目,我准备讲的课的题目是“...
    团的花园阅读 5,731评论 0 19
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 136,383评论 19 139
  • 每每与各方朋友谈及人生道路如何走,经常听到的一句话就是:做事先做人。这句话可以说是约定俗成的大家都统统认可的一...
    太原家老冯阅读 802评论 4 3

友情链接更多精彩内容