摘要 UniLM由微软研究院在bert的基础上开发的新型预训练模型，可在自然语言理解和生成任务上进行微调，模型采用了三个任务进行预训练：单向、双向、sequence to s...
IP属地：上海
-
【论文笔记】UniLM - Unified Language Model Pre-training for Natural Language Understanding and Generation -
PLATO: Pre-trained Dialogue Generation Model with Discrete Latent Variable1. 论文介绍 本论文由百度发表于ACL2020，重磅推出了拥有16亿参数规模的超大型模型PLATO-2，该模型在公共数据集的测试超越了google发布的26亿参数模型Mee...