自然语言生成工具箱 - SOW-REAP（二）

文章名称

【ACL-2020】【The University of Texas at Austin】Neural Syntactic Preordering for Controlled Paraphrase Generation

核心要点

文章旨在进行可控制的、覆盖度更高的释义样本生成（Paraphrase Generation）。作者借鉴预排序机器翻译（pre-ordering in machine translation）方法的思路，构建了两层seq2seq释义生成架构。第一层，SOW层，首先生成源句子的各种可能的排序（有意义的，虽然是枚举但是进行了符合语法逻辑的过滤），并生成源句子的position embedding。第二层，REAP层，结合SOW提出的position embedding进行释义生成。

上一节介绍了SOW-REAP进行释义生成的目的和思路，以及两个独立子模块是如何生成所需的信息，并衔接协作的。本节，我们将继续介绍Reordering的3个步骤的细节，以及如何训练SOW-REAP。

方法细节

问题引入

Reordering的3个步骤是通过递归语法树上的各个层级实现的，并且利用了seq2seq来生成重排候选序列，那么具体是如何操作的呢？同时，在具有了Reordering的结果后SOW有是如何得到最终的重排序集合 $\textbf{x}$ ，以及SOW和REAP两层模型优势如何训练的呢？

具体做法

3 steps in reordering

首先，我们回顾一下reordering是的整体框架。

Reordering

第一步，选取语法片段时，首先从语法树上选定一个层级，比如图中选择的是S0这个层级（根节点层级），并抽象其中的2个组成元素A=S和B=VP2（保留其他的源句子的内容），得到待替换元组S0，S，VP2。

第二步，生成重排序时，作者利用上一步获得的元组，得到抽象后的句子（例如，IfSIwillVP）。随后，利用SOW（seq2seq）模型，把抽象后的句子作为输入，生成重排序后的句子。最后，利用词向量的余弦距离进行对齐（也就是说，生成的句子词不在原句子里，就用源句子中的词替换）。

值得注意的是，重排后句子的log probability被作为重排得分保存下来。

第三步，合并排序结果时，作者在每一个子语法树上的递归的进行重排序，每个子语法树得到top-k个重排结果，递归至叶子层，得到重排的句子，并利用各层重排得分的平均值作为最终的重排得分。

SOW

SOW模型也是一个seq2seq的模型，利用重排序后对齐的句子元组 $x\prime, y\prime$ （例如，If S I will VP和I will VP if S），进行训练，期望在预测时，传入 $x\prime$ 能够生成 $y\prime$ 。

SOW可以被形式化定义为 $P(y\prime | x\prime, o)$ ，这里的 $o$ 是作者定义的一个开关变量，用来表示是保持源句子中被抽象的短语（例子里是S和VP）的顺序（MONOTONE），还是对调（FLIP），具体样例可以参见论文。在预测的时候，生成包括对调和保序两种重排结果。

Training

REAP

REAP模型需要triplet输入 $x, r^*, y^*$ ，但是通常语料里只有 $y^*$ ，需要构造 $r^*$ 。作者在训练样本中，利用源句子的词向量与目标句子的词向量的余弦相似度对齐两者。具体做法是首先得到源句子和目标句子的向量表示[1]，然后按照语法树的层层级一层一层的对齐[2]，最终得到 $r^*$ 。

SOW

训练SOW模型需要短语级别的对齐元组，作者遵循[3]中的方法，计算源句子与目标句子之间，短语级别的对齐得分，在这些对齐了到短语上，得到部分短语一一映射的对齐样本（也就是说，一部分词不懂，只是把能一一对应的进行调换，映射的例子如下图所示），得到这些语料，可以用来监督训练SOW。

training data alignment for SOW

心得体会

random variable $o$

作者在生成重排源句子排序时，使用了控制开关 $o$ 来精细的控制重排序的顺序。个人感觉是一个非常巧妙地设计，预测时利用 $o$ 可以得到不同程度重排的句子，也能保证多样性。

文章引用

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Un- derstanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171–4186.

[2] Uri Lerner and Slav Petrov. 2013. Source-side classi- fier preordering for machine translation. In Proceed- ings of the 2013 Conference on Empirical Methods in Natural Language Processing, pages 513–523.

[3] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. 2020. BERTScore: Evaluating Text Generation with BERT. In Interna- tional Conference on Learning Representations.