不论你是开发者还是用户，这个快速教程都可以帮助你入门并展示给你如何利用pipeline(), 对于推理来说，用AutoClass来加载一个预训练的模型和预处理器（preprocessor），用Pytorch或者Tensorflow快速训练一个模型。
首先需要安装必要的包：
!pip install transformers datasets torch
pipeline()是最简单和最快速的方法来利用一个预训练的模型来进行推理。pipeline方法提供了很多不同模型任务开箱即用的功能。
首先创建一个pipeline的实例，然后指定一个你想利用pipeline的任务。这里有个利用pipeline进行情感分类的例子：
from transformers import pipeline
classifier = pipeline("sentiment-analysis")
output = classifier("We are happy to show you the HuggingFace Transformers library.")
print(output)
[{'label':'POSITIVE'，'score':0.9998}]
如果你有多个样本，可以一次性传入一个list，返回值就是一个dict的list。
pipeline可以再整个数据集上进行迭代，比如我们选择一个自动语音识别的例子：
import torch
from transformers import pipeline
speech_recognizer = pipeline("automatic-speech-recognition", model="facebook/wav2vec2-base-960h")
from datasets import load_dataset, Audio
dataset = load_dataset("PolyAI/minds14", name="en-US", split="train")
dataset = dataset.cast_column("audio", Audio(sampling_rate=speech_recognizer.feature_extractor.sampling_rate))
你需要保证数据的采样率和模型训练的采样率一致。当调用“audio”列被调用时，音频文件会被自动的加载，并被重采样。
result = speech_recognizer(dataset[:4]["audio"])
print([d["text"] for d in result])
['I WOULD LIKE TO SET UP A JOINT ACCOUNT WITH MY PARTNER HOW DO I PROCEED WITH DOING THAT', "FONDERING HOW I'D SET UP A JOIN TO HELL T WITH MY WIFE AND WHERE THE AP MIGHT BE", "I I'D LIKE TOY SET UP A JOINT ACCOUNT WITH MY PARTNER I'M NOT SEEING THE OPTION TO DO IT ON THE APSO I CALLED IN TO GET SOME HELP CAN I JUST DO IT OVER THE PHONE WITH YOU AND GIVE YOU THE INFORMATION OR SHOULD I DO IT IN THE AP AN I'M MISSING SOMETHING UQUETTE HAD PREFERRED TO JUST DO IT OVER THE PHONE OF POSSIBLE THINGS", 'HOW DO I FURN A JOINA COUT']
对于更大的数据集，像input是语音或者图片，你需要传入一个generator而不是一个传入一个list。因为list把所有数据都放在内存里。
在pipeline里调用不同的model和tokenizer
pipeline可以调用Hub里的任意模型，并且非常方便，比如你要一个可以处理法语的模型，你可以在Hub里过滤合适的模型，排在过滤后模型最前的是一个多语言的BERT模型，你可以用这个模型来做法语的情感分析。
model_name = "nlptown/bert-base-multilingual-uncased-sentiment"
利用AutoModelForSequenceClassification和AutoTokenizer来加载预训练模型和它对应的tokenizer。
from transformers import AutoTokenizer, AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)
在pipeline里指定model和tokenizer，这样你就可以在法语上用这个classifier了。
classifier = pipeline("sentiment-analysis", model=model, tokenizer=tokenizer)
classifier("Nous sommes très heureux de vous présenter la bibliothèque 🤗 Transformers.")
[{'label': '5 stars', 'score': 0.7273}]
如果你找不到适合你的一个模型，你需要在你自己的数据上微调一个预训练模型。
AutoClass
在上边的例子里本质上是AutoModelForSequenceClassification和AutoTokenizer类在工作的。一个AutoClass是一个通过模型的名字或者路径自动获取一个预训练模型的架构的快捷方式。你只需要为你的任务选择一个合适的AutoClass和相关的预处理class。
让我们回到上边的例子，看如何利用AutoClass去复现上边pipeline的结果。
AutoTokenizer
Tokenizer在预处理时，把文本变成数字列表再传入到模型里去。分词有很多规则，包括如何分割单词以及在什么级别上分割单词。最重要的是你必须用同样的模型名字来初始化一个tokenizer，来确保你的分词器分词规则和模型预训练时的分词规则是一样的。
用AutoTokenizer来加载一个Tokenizer
from transformers import AutoTokenzier
model_name = "nlptown/bert-base-multilingual-uncased-sentiment"
tokenizer=AutoTokenizer.from_pretrained(model_name)
encoding = tokenizer("We are very happy to show you the 🤗 Transformers library.")
print(encoding)
{'input_ids': [101, 11312, 10320, 12495, 19308, 10114, 11391, 10855, 10103, 100, 58263, 13299, 119, 102],
'token_type_ids': [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]}
tokenizer返回一个dict包含：
input_ids：token的数字表示
attention_mask：表示哪个token需要被注意到
一个tokenizer可以接收一个list的输入，并且进行填充和截断，来保证一个batch是一个统一的长度。
pt_batch = tokenizer(
["We are very happy to show you the 🤗 Transformers library.", "We hope you don't hate it."],
padding=True,
truncation=True,
max_length=512,
return_tensers="pt",
)
AutoModel
Transoformers提供了一种简单而统一的加载预训练模型的办法，意味着你可以加载一个AutoModel像你加载一个AutoTokenizer一样，唯一区别是你需要选择一个正确的AutoModel。对于文本（序列）分类，你应该加载AutoModelForSequenceClassification：
from transformers import AutoModelForSequenceClassification
model_name="nlptown/bert-base-multilingual-uncased-sentiment"
pt_model=AutoModelForSequenceClassification.from_pretrained(model_name)
接下来把你预处理后的inputs batch直接传入模型，你只需要通过**来对dict进行解包。
pt_outputs = pt_model(**pt_batch)
模型返回的对象的logits属性是最后一层的激活值，应用softmax方法可以获取概率值。
from torch import nn
pt_predictions = nn.functional.softmax(pt_outputs.logits, dim=-1)
print(pt_predictions)
tensor([[0.0021, 0.0018, 0.0115, 0.2121, 0.7725],
[0.2084, 0.1826, 0.1969, 0.1755, 0.2365]], grad_fn=<SoftmaxBackward0>)
所有的Transformers模型输出最后一个激活函数（比如softmax）之前的tensors。因为最后一个激活函数经常和loss相融合。模型输出是一个特殊的dataclasses。它的属性在IDE里会被自动代码补全。模型输出的行为像一个元组或者字典（你可以通过整数，切片，或者字符串来索引）。为None的属性将被忽略。
保存模型
一旦你的模型被微调了，你可以把你的模型和tokenizer一起通过PreTrainedModel.save_pretrained()方法来存储。
pt_save_directory = "./pt_save_pretrained"
tokenizer.save_pretrained(pt_save_directory)
pt_model.save_pretrained(pt_save_directory)
当你再次想用你的模型，只需要用PreTrainedModel.from_pretrained()来加载。
pt_model = AutoModelForSequenceClassification.from_pretrained("./pt_save_pretrained")
自定义模型训练
你可以通过修改一个模型的配置来改变一个模型的训练过程。配置指定了模型的属性，比如隐藏层的数量，或者注意力头的个数。你通过实例化一个自定义的configuration class来从头训练一个模型。模型的参数都是随机初始化的，在模型可以预测出有意义的结果之前，你需要现训练它。
从导入AutoConfig开始，然后加载你想修改的预训练模型，在AutoConfig.from_pretrained()方法里，你可以修改你想更改的参数，比如注意力的头的个数。
from transformers import AutoConfig
my_config = AutoConfig.from_pretrained("distilbert-base-uncased", n_heads=12)
从你自定义的配置，通过AutoModel.from_config()来创建一个模型。
from transformers import AutoModel
my_model = AutoModel.from_config(my_config)
后边会讲到怎么创建一个自定义架构的网络。
Trainer - 一个PyTorch的优化训练循环
所有的模型都是一个标准的torch.nn.Module,所以你可以在任意的训练循环里使用。在你可以自己写自己的training loop的同时，Transformers提供一个pytorch的Trainer类。它包含了基本的训练loop外，还提供额外的一些功能，比如：分布式训练，混合精度，还有其他等。
取决于你的任务，你通常传递下边这些参数给一个Trainer。
- 一个PreTrainedModel或者一个torch.nn.Module:
from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained("distilbert-base-uncased")
2.TrainingArguments包含了模型的超参数，你可以修改，比如学习率，batch size，epochs，如果你不指定任何的训练参数，将用默认值。
from transformers import TrainingArguments
training_args = TrainingArguments(
output_dir="path/to/save/folder/",
learning_rate=2e-5,
per_device_train_batch_size=8,
per_device_eval_batch_size=8,
num_train_epochs=2,
)
- 一个预处理的类，比如tokenizer，image processor，feature extractor，或者一个processor：
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("distilbert-base-uncased")
- 加载一个dataset
from datasets import load_dataset
dataset = load_dataset("rotten_tomatoes")
- 创建一个对数据进行分词的函数
def tokenize_dataset(dataset):
return tokenizer(dataset["text"])
dataset = dataset.map(tokenize_dataset,batched=true)
- 用DataCollatorWithPadding来从你的dataset创建一个batch的样本。
from transformers import DataCollatorWithPadding
data_collator = DataCollatorWithPadding(tokenizer=tokenizer)
最后通过一个Trainer把所有的类集合起来，然后就可以训练了。
from transformers import Trainer
trainer = Trainer(
model=model,
args=training_args,
train_dataset=dataset["train"],
eval_dataset=dataset["test"],
tokenizer=tokenizer,
data_collator=data_collator,
)
trainer.train()
像翻译或者摘要的任务，用一个sequence-to-sequence模型，用Seq2SeqTrainer和Seq2SeqTrainingArguments类来替代。
你可以自定义训练训话的行为，通过实现Trainer类的子类，重载里边方法实现。这可以让你自定义一个功能，比如损失函数，优化器，和scheduler。
另一个可以自定义训练循环的是利用Callbacks，你可以用回调来监视训练循环，报告进度，或者提早结束训练，Callbacks不会改变训练训练的任何东西。要自定义任何东西，比如loss function。你必须通过实现Trainer的子类来实现。
