RAG有两个核心部分：
- 检索部分：保证系统能根据用户的Prompt找到对应的chunk
- 生成部分：充分发挥大模型能力，生成一个满足用户要求的正确回答
评估和优化生成部分
优化一个大模型应用，我们往往需要从这两部分同时入手，分别评估检索部分和优化部分的性能，找出 Bad Case 并针对性进行性能的优化。而具体到生成部分，在已限定使用的大模型基座的情况下，我们往往会通过优化 Prompt Engineering 来优化生成的回答。
第一步：加载向量库
# 内容是南瓜书
embedding = ZhipuAIEmbeddings()
persist_directory = '../data_base/vector_db/chroma'
vectordb = Chroma(
persist_directory=persist_directory,
embedding_function=embedding
)
llm = ZhipuAI()
先直接进行提问
1. 提升直观回答质量
修改prompt模板
template_v2 = """使用以下上下文来回答最后的问题。如果你不知道答案，就说你不知道，不要试图编造答
案。你应该使答案尽可能详细具体，但不要偏题。如果答案比较长，请酌情进行分段，以提高答案的阅读体验。
{context}
问题: {question}
有用的回答:"""
模型进行了比较详细的回答：
2. 表明知识来源
避免模型杜撰并不存在于给定资料的知识，同时，也可以提高我们对模型生成答案的可信度
在一开始的答案中，模型给出了详细的回答，但我们并不能确定这是不是来自于书中的内容（也可能是来自大模型的通用知识）
改进prompt：
"""使用以下上下文来回答最后的问题。如果你不知道答案，就说你不知道，不要试图编造答
案。你应该使答案尽可能详细具体，但不要偏题。如果答案比较长，请酌情进行分段，以提高答案的阅读体验。
如果答案有几点，你应该分点标号回答，让答案清晰具体。
请你附上回答的来源原文，以保证回答的正确性。
{context}
问题: {question}
有用的回答:"""
模型给出了预想中可信度高的回答。
3. 构造思维链（CoT）
大模型往往可以很好地理解并执行指令，但模型本身还存在一些能力的限制，例如大模型的幻觉、无法理解较为复杂的指令、无法执行复杂步骤等。我们可以通过构造思维链，将 Prompt 构造成一系列步骤来尽量减少其能力限制，例如，我们可以构造一个两步的思维链，要求模型在第二步做出反思，以尽可能消除大模型的幻觉问题。
提问：如何构造一个CART决策树？
模型的回答：
构造一个CART（Classification And Regression Tree）决策树的过程可以分为以下步骤：
-
选择最优划分属性和划分点：
- 对给定的数据集D，遍历所有属性，使用启发式方法找到最优划分属性a∗。对于分类树，通常使用基尼指数（Gini index）或信息增益（Information Gain）作为启发式方法；对于回归树，通常采用最小二乘回归（Least Squares Regression）或最小二乘回归的改进版作为启发式方法。
- 根据最优划分属性a∗找到最优划分点v∗，将特征空间划分为两个子空间。
-
生成子节点：
- 以最优划分点生成两个子节点，分别为D1(属性=划分点)和D2(属性≠划分点)。对于分类树，这表示根据属性是否等于划分点将数据集分为两个子集；对于回归树，表示根据属性值是否小于等于划分点进行划分。
-
递归构建子树：
- 对每个子节点重复上述步骤，即继续寻找最优划分属性和划分点，生成新的子节点，直至满足停止条件。
-
停止条件：
- 当满足以下条件之一时停止递归：
- 当前节点包含的样本都属于同一类别（分类树）或达到最小样本数量（回归树）。
- 当前节点的样本数量小于预定的阈值。
- 当前节点的基尼指数小于预定阈值或增益小于预定阈值。
- 达到树的最大深度。
- 当满足以下条件之一时停止递归：
-
生成CART模型：
- 最终将特征空间划分为M个子空间R1, R2, ..., RM。对于分类树，每个子空间对应一个类别标签；对于回归树，每个子空间对应一个输出值cm，即该子空间内样本输出值的均值。
-
剪枝处理：
- 构建完树后，可能需要进行剪枝处理以避免过拟合。剪枝可以通过设定树的最大深度、最小样本数量等参数来实现。
来源原文：
- “划分属性并生成根节点，接着以‘纹理=清晰’为最优划分点生成D1(纹理=清晰)、D2(纹理̸=清晰)两个子节点...直至满足停止条件。”
- “CART除了决策树能处理分类问题以外，回归树还可以处理回归问题...如何划分出若干个子空间呢？这里采用一种启发式的方法。”
以上步骤和解释均来源于您提供的上下文。
由于之前的prompt，模型的回答已经比较好。
我们继续改进prompt
template_v4 = """
请你依次执行以下步骤：
① 使用以下上下文来回答最后的问题。如果你不知道答案，就说你不知道，不要试图编造答案。
你应该使答案尽可能详细具体，但不要偏题。如果答案比较长，请酌情进行分段，以提高答案的阅读体验。
如果答案有几点，你应该分点标号回答，让答案清晰具体。
上下文：
{context}
问题:
{question}
有用的回答:
② 基于提供的上下文，反思回答中有没有不正确或不是基于上下文得到的内容，如果有，回答你不知道
确保你执行了每一个步骤，不要跳过任意一个步骤。
"""
让模型再输出一个新的回答
① 根据提供的上下文，以下是构造CART决策树的步骤：
确定最优划分属性和划分点：首先，遍历所有属性，找到最优划分属性a∗。这通常是通过计算某种准则（如基尼指数或信息增益）来确定的。接着，找到该属性的最优划分点v∗。
划分特征空间：根据找到的最优划分属性和划分点，将特征空间划分为两个子空间。一个子空间包含属性a的值小于或等于v∗的样本，另一个子空间包含属性a的值大于v∗的样本。
递归构建子节点：对每个新形成的子空间重复上述步骤，即寻找每个子空间的最优划分属性和划分点，并继续划分，直至满足停止条件。
-
停止条件：递归过程通常有以下停止条件：
- 当前节点下的样本属于同一类别（分类问题）或足够相似（回归问题）。
- 当前节点包含的样本数量小于预定的阈值。
- 当前节点的增益小于预定的阈值。
生成CART模型：假设最终将特征空间划分为M个子空间R1, R2, ..., RM，CART决策树的模型可以表示为：
[ f(x) = \sum_{m=1}^{M} c_m I(x \in R_m) ]
其中，cm表示集合Rm中样本的输出值的均值（回归树）或最频繁的类别（分类树）。
② 反思回答中的内容：
- 回答中提到的步骤和概念都是基于上下文提供的。没有包含不正确或不是基于上下文得到的内容。
- 确保执行了每一个步骤，没有跳过任何步骤。
综上所述，回答的内容是正确的，并且与上下文保持一致。如果问题中包含了对具体算法或例子的进一步询问，那么可能需要更详细的计算或解释，但根据当前步骤，回答是准确的。
4. 增加指令解析
如何让模型以我们要求的格式进行输出？（除接下来的方法外，也可以用output_parser）
回答：
虽然我们要求模型给返回一个 Python List，但该输出要求被包裹在 Template 中被模型忽略掉了。
针对该问题，一个存在的解决方案是，在我们的检索 LLM 之前，增加一层 LLM 来实现指令的解析，将用户问题的格式要求和问题内容拆分开来。这样的思路其实就是目前大火的 Agent 机制的雏形，即针对用户指令，设置一个 LLM（即 Agent）来理解指令，判断指令需要执行什么工具，再针对性调用需要执行的工具，其中每一个工具可以是基于不同 Prompt Engineering 的 LLM，也可以是例如数据库、API 等。
通过上述 Prompt，LLM 可以很好地实现输出格式的解析
再定义一个输出的解析器
prompt_output = '''
请根据回答文本和输出格式要求，按照给定的格式要求对问题做出回答
需要回答的问题：
~~~
{}
~~~
回答文本：
~~~
{}
~~~
输出格式要求：
~~~
{}
~~~
'''
通过调用两次api，得到正确的结果
评估和优化检索部分
针对用户输入的一个 query，系统会将其转化为向量并在向量数据库中匹配最相关的文本段，然后根据我们的设定选择 3～5 个文本段落和用户的 query 一起交给大模型，再由大模型根据检索到的文本段落回答用户 query 中提出的问题。在这一整个系统中，我们将向量数据库检索相关文本段落的部分称为检索部分，将大模型根据检索到的文本段落进行答案生成的部分称为生成部分。
对于系统能成功检索到的 query，我们才能进一步优化 Prompt 来提高系统性能。对于系统检索失败的 query，我们就必须改进检索系统来优化检索效果。但是注意，当我们在计算如上定义的准确率时，一定要保证我们的每一个验证 query 的正确答案都确实存在于知识库中；如果正确答案本就不存在，那我们应该将 Bad Case 归因到知识库构建部分，说明知识库构建的广度和处理精度还有待提升。
不足：
- 有的 query 可能需要联合多个知识片段才能做出回答，对于这种 query，我们如何评估？
- 检索到的知识片段彼此之间的顺序其实会对大模型的生成带来影响，我们是否应该将检索片段的排序纳入考虑？
- 除去检索到正确的知识片段之外，我们的系统还应尽量避免检索到错误的、误导性知识片段，否则大模型的生成结果很可能被错误片段误导。我们是否应当将检索到的错误片段纳入指标计算？
对此方面的优化，包括对embedding向量生成的优化，对文本切割的优化（如何防止语义割裂？），对用户输入query的重新编写。。等等
