环境配置
直接点击Download ZIP，下载学习内容
使用Typora打开学习文档
自然语言处理NLP
NLP技术应用：网络搜索、广告、电子邮件、智能客服、机器翻译、智能新闻播报等。
常见的NLP任务
文本分类：对单个、两个或者多段文本进行分类。
序列标注：对文本序列中的token、字或者词进行分类。
问答任务——抽取式问答和多选问答。
生成任务——语言模型：根据已有的一段文字生成（generate）一个字； 摘要生成：根据一大段文字生成一小段总结性文字； 机器翻译：将源语言比如中文句子翻译成目标语言。
Transformer的兴起
2017年，Attention Is All You Need首次提出了Transformer模型结构并在机器翻译任务上取得了最好的效果。
2018年，BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding使用Transformer模型结构进行大规模语言模型预训练，再在多个NLP下游任务中进行微调，刷新了各大NLP任务的榜单最高分。
2019年-2021年，研究人员将Transformer这种模型结构和预训练+微调这种训练方式相结合，提出了一系列Transformer模型结构、训练方式的改进。
由于Transformer优异的模型结构，使得其参数量可以非常庞大从而容纳更多的信息。
经典和流行的Transformer模型都可以通过HuggingFace/Transformers, 48.9k Star获得和免费使用，为初学者、研究人员提供了巨大的帮助。
DataWhale开源学习资料：
https://github.com/datawhalechina/Learn-NLP-with-Transformers
