大型语言模型的分类

image.png

1. 仅编码器 (Encoder only):

   • 这类模型通常适合那些需要理解语言的任务，例如分类和情感分析。
   • 仅编码器模型的例子包括 BERT（Bidirectional Encoder Representations from Transformers，双向编码器表示转换器）。

2. 仅解码器 (Decoder only):

   • 这类模型极其擅长生成语言和内容。
   • 一些用例包括故事写作和博客生成。
   • 仅解码器架构的例子包括 GPT-3（Generative Pretrained Transformer 3，生成式预训练转换器3）。

3. 编码器-解码器 (Encoder-decoder):

   • 这些模型结合了转换器架构中的编码器和解码器组件，既能理解也能生成内容。
   • 这类架构表现出色的用例包括翻译和摘要。
   • 编码器-解码器架构的例子包括 T5（Text-to-Text Transformer，文本到文本转换器）。

参考资料：
https://www.nvidia.com/en-us/glossary/large-language-models/