本书由东北大学NLP实验室肖桐教授和朱靖波教授编著,是一本大语言模型领域的入门书,适合想了解大语言模型领域基础知识的小伙伴,全书共分四章:
第一章 Pre-training,LLM的基础,讨论预训练常用方法和模型结构。
第二章 生成式模型 本章将首先介绍构建生成式模型的基本流程,然后介绍如何扩大训练规模,以及如何处理长文本。
第三章 提示词。本章聚焦提示词工程,首先介绍通用提示词设计,然后给出多种高级提示策略,如Chain of Thought, Problem Decomposition, Self-refinement等。由于提示词工程涉及大量人工工作,本章最后将讨论自动化提示词设计的技术。
第四章 Alignment。在大模型领域Alignment一词实际指的是将模型输出与人类期望进行对齐。本章将首先介绍通用对齐任务,然后,分别介绍两种广泛使用的方法、途径:instruction alignment和human preference alignment。
按照作者说法,即使没有机器学习和神经网络背景知识,阅读本书应该也不会遇到太大困难,因为每章的内容都尽量包含了所需的背景知识。
本书按照Creative Commons Attribution-NonCommercial 4.0 Unported License发布。