Hugging Face(三) - Transformers基础

接上一章节，这里对Transformers进行深入的介绍，详细的参考文档可以直接看官方文档。

AutoClass

AutoClass是一种用于检索预训练模型（by name or path）的简化方式，用户只需要选择合适的AutoClass即可。

AutoTokenizer

tokenizer 的目的是，对text进行预处理，将其转化为 array-of-numbers，有很多规则来决策，如何做tokenization过程，包括如何split a word。如下我们实例化一个tokenization（注意，具体的Tokenizer类的处理规则需要和加载的model name保持一致）：

from transformers import AutoTokenizer

model_name = "nlptown/bert-base-multilingual-uncased-sentiment"
tokenizer = AutoTokenizer.from_pretrained(model_name)

将文本传给 tokenizer：

encoding = tokenizer("We are very happy to show you the 🤗 Transformers library.")
print(encoding)
{'input_ids': [101, 11312, 10320, 12495, 19308, 10114, 11391, 10855, 10103, 100, 58263, 13299, 119, 102],
 'token_type_ids': [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
 'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]}

input_ids 表示了每个token代表的id。

AutoModel

Transformers提供了一种简单、统一的方式，用于加载预训练模型，需要为我们的任务选择正确的模型。比如对于text（或sequence）分类，需要加载AutoModelForSequenceClassification。

from transformers import AutoModelForSequenceClassification

model_name = "nlptown/bert-base-multilingual-uncased-sentiment"
pt_model = AutoModelForSequenceClassification.from_pretrained(model_name)

然后，就可以将输入传给模型了。

pt_batch = tokenizer(
    ["We are very happy to show you the 🤗 Transformers library.", "We hope you don't hate it."],
    padding=True,
    truncation=True,
    max_length=512,
    return_tensors="pt",
)
pt_outputs = pt_model(**pt_batch)

模型会输出最后的激活层，我们应用softmax function（到logits），就可以查看相关的概率了：

from torch import nn

pt_predictions = nn.functional.softmax(pt_outputs.logits, dim=-1)
print(pt_predictions)

保存模型

如果模型做了微调，可以采用 PreTrainedModel.save_pretrained() 进行保存：

pt_save_directory = "./pt_save_pretrained"
tokenizer.save_pretrained(pt_save_directory)
pt_model.save_pretrained(pt_save_directory)

模型配置

可以对模型进行修改，通过配置来指定模型的属性，比如number-of-hidden-layers，number-of-attention-heads。当初始化一个model的时候，可以指定相关的配置。

AutoConfig 可以用于加载预训练模型（指定参数）。

from transformers import AutoConfig

my_config = AutoConfig.from_pretrained("distilbert/distilbert-base-uncased", n_heads=12)

然后可以创建模型了：

from transformers import AutoModel

my_model = AutoModel.from_config(my_config)

训练/微调

所有的models都是标准的torch.nn.Module，可以对它们进行训练，Transformers为PyTorch提供了Trainer class，包括了基础的training loop，增加了其它功能，比如分布式的训练：

from transformers import AutoModelForSequenceClassification

# 加载一个预训练的模型
model = AutoModelForSequenceClassification.from_pretrained("distilbert/distilbert-base-uncased")

# 定义训练参数
from transformers import TrainingArguments

training_args = TrainingArguments(
    output_dir="path/to/save/folder/",
    learning_rate=2e-5,
    per_device_train_batch_size=8,
    per_device_eval_batch_size=8,
    num_train_epochs=2,
)

# 加载预训练的class，如tokenizer、image processor、feature extractor、processor
from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("distilbert/distilbert-base-uncased")

# 加载数据集
from datasets import load_dataset

dataset = load_dataset("rotten_tomatoes")

# 定义处理dataset的function
def tokenize_dataset(dataset):
    return tokenizer(dataset["text"])

# map应用于整个dataset
dataset = dataset.map(tokenize_dataset, batched=True)

# 构建examples（根据dataset）
from transformers import DataCollatorWithPadding

data_collator = DataCollatorWithPadding(tokenizer=tokenizer)

from transformers import Trainer

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=dataset["train"],
    eval_dataset=dataset["test"],
    tokenizer=tokenizer,
    data_collator=data_collator,
)  # doctest: +SKIP

trainer.train()

如果是翻译、摘要的任务，需要用：Seq2SeqTrainer 和 Seq2SeqTrainingArguments classes。