环境配置

直接点击Download ZIP，下载学习内容

使用Typora打开学习文档

自然语言处理NLP

NLP技术应用：网络搜索、广告、电子邮件、智能客服、机器翻译、智能新闻播报等。

常见的NLP任务

文本分类：对单个、两个或者多段文本进行分类。

序列标注：对文本序列中的token、字或者词进行分类。

问答任务——抽取式问答和多选问答。

生成任务——语言模型：根据已有的一段文字生成（generate）一个字；                                                          摘要生成：根据一大段文字生成一小段总结性文字；                                                                    机器翻译：将源语言比如中文句子翻译成目标语言。

Transformer的兴起

2017年，Attention Is All You Need首次提出了Transformer模型结构并在机器翻译任务上取得了最好的效果。

2018年，BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding使用Transformer模型结构进行大规模语言模型预训练，再在多个NLP下游任务中进行微调，刷新了各大NLP任务的榜单最高分。

2019年-2021年，研究人员将Transformer这种模型结构和预训练+微调这种训练方式相结合，提出了一系列Transformer模型结构、训练方式的改进。

由于Transformer优异的模型结构，使得其参数量可以非常庞大从而容纳更多的信息。

经典和流行的Transformer模型都可以通过HuggingFace/Transformers, 48.9k Star获得和免费使用，为初学者、研究人员提供了巨大的帮助。

DataWhale开源学习资料：

https://github.com/datawhalechina/Learn-NLP-with-Transformers