nlp_task2

colab 资源

!nvidia-smi

显卡.png

挂载google drive运行

from google.colab import drive
drive.mount('/content/drive')

更改当前目录

import os
os.chdir("/content/drive/MyDrive/Colab Notebooks/nlp_task")

数据EDA

1.查看句子长度

# 数据EDA
# 1.查看句子长度
print("times",times_train['content'].str.len().describe(percentiles = [.95, .98, .99]),'\n'
      "ocemo_content",ocemo_train['content'].str.len().describe(percentiles = [.95, .98, .99]),'\n'
      "ocnli_content1",ocnli_train['content1'].str.len().describe(percentiles = [.95, .98, .99]),'\n'
      "ocnli_content2",ocnli_train['content2'].str.len().describe(percentiles = [.95, .98, .99]))
# 设置bert序列长度为142的时候可覆盖99%子句的全部

2.样本均衡情况

baseline 提升策略

1. 修改loss 使用 dtp Dynamic Task Prioritization for Multitask Learning

2. 修改pretrained_model 换用 chinese-roberta-wwm-ext
   与训练模型修改方法：
   1.从Hugging Face中下载roberta pretrained 模型库
   

   roberta.png
   
   中文-roberta的base-model为bert
   

3. 修改train.py 中的相关目录：

   
   
   image.png