本文档主要用于归纳总结与预训练语言模型相关的知识点。
核心主体来自，复旦大学邱锡鹏等研究者发的一篇论文，该文以巨大的篇幅展示了预训练语言模型的方方面面，不论是新奇的预训练任务，还是各种模型针对领域知识的扩展，我们都能快速 Get 到。
论文：Pre-trained Models for Natural Language Processing: A Survey论文地址：https://arxiv.org/pdf/2003.08271.pdf
另还有，ALBERT的作者，蓝振中博士对预训练语言模型的相关观点，一并整理在册。
【腾讯文档】预训练语言模型
https://docs.qq.com/mind/DVG1HZk1CS1Z2c1hL
