Improving Neural Language Modeling via Adversarial Training

  • 感觉方法超级简单，可能就改了两三行就能中ICML，理论推导也很简单，核心思想就是对抗训练，加入的噪声能让正确答案的概率最低，首先这个方法简单就简单在直接在训练的时候往正确答案的那一列加上噪声，其他的不加，而且同样是加噪声虚拟对抗训练那一篇是也是为了最小化正确答案，然后是往训练的embedding上加噪声，一通推导得到了关于梯度的加噪声方法，还是挺work的，通过调ε基本上可以暴打分类上面的SoTA，这个也能调ε，而且翻译上面的实验用的是t2tbleu, 报的也是原始transformer代码里面的bleu，感觉这篇论文就翻译而言实验work的可信度是比较低的。
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容