在本章中,你了解了如何使用 🤗 Transformers
中的高级 pipeline()
函数来处理不同的 NLP 任务。你还了解了如何在 Hub 中搜索和使用模型,以及如何使用推理 API 直接在浏览器中测试模型。
我们讨论了 Transformer
模型在高层次上的工作方式,并讨论了迁移学习和微调的重要性。一个关键方面是,你可以使用完整的架构或仅使用编码器或解码器,具体取决于你要解决的任务类型。下边总结了这一点:
Model | Examples | Tasks |
---|---|---|
Encoder | ALBERT, BERT, DistilBERT, ELECTRA, RoBERTa | Sentence classification, named entity recognition, extractive question answering |
Decoder | CTRL, GPT, GPT-2, Transformer XL | Text generation |
Encoder-decoder | BART, T5, Marian, mBART | Summarization, translation, generative question answering |