安装环境，进入天池dsw:
!pip install transformers==4.4.2
!pip install dataset==1.6.2
查看torch 版本
import torch
print(torch.__version__)
!pip install scipy
!pip install sklearn
完成环境配置。
应用范围：网络搜索、广告、电子邮件、智能客服、机器翻译、智能新闻播报等
课程目的：
基于最前沿的深度学习模型结构（Transformers）解决NLP中的经典任务
了解Transformer相关原理
熟练使用Transformer相关的深度学习模型
文本分类：对单个或者两个以上的多段文本进行分类
序列标注：对文本序列中的token、字或者词进行分类
问答任务
抽取式问答：根据问题从一段给定的文本中找打答案，答案必须是给定文本的一小段文字。
多选问答：从多个选项中选择一个正确答案
生成任务
语言模型：根据已有的一段文字生成一个字
摘要生成：根据一大段文字生成一小段总结性文字
机器翻译：将源语言翻译成目标语言
Transformer模型来源：2017年的Attention Is All You Need论文，提出Transformer模型结构，并在机器翻译任务上取得了SOTA的效果
进展：2018年的论文BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding，使用Transformer模型结构进行大规模语言模型预训练，在多个NLP下游任务中进行微调
改进：2019~2021年期间，将Transformer模型结构和预训练+微调的训练方式相结合，提出一系列Transformer模型结构、训练方法的改进
