本文是《从零手搓大模型实战》学习的第二篇个人学习笔记，主要通过学习Tiny-RAG项目来熟悉和总结构建RAG(检索增强生成) 的相关知识，下面记录下学习内容以及相关心得。
注：Tiny-RAG相关学习内容来自datawhalechina/tiny-universe
1. 什么是RAG?
RAG， 即检索增强生成（Retrieval-Augmented Generation）。
RAG是一种结合了检索和生成两种机制的模型应用技术，在自然语言处理（NLP）领域，特别是在生成式任务（如文本生成、问答系统等）中，RAG技术可以显著提高模型的表现力和准确性。这种技术结合了信息检索和自然语言生成，旨在提高自然语言处理任务的效率和质量。具体来说，当模型需要生成文本或回答问题时，它会先从一个庞大的文档集合中检索出相关的信息，然后利用这些检索到的信息来指导文本的生成。
2. RAG 的主要流程
- 文档加载
- 文档切分
- 向量化和入库(向量数据库)
- 用户问题检索(向量检索)
- 将检索结果通过 Prompt 模版，调用LLM生成回复
注：上面的流程是简化的RAG流程，实际步骤可能增加和更复杂，需要考虑的内容也很多，如文档分割的粒度太大可能导致检索不精准，粒度太小可能导致信息不全；用户问题的检索除了向量检索，还需要考虑混合检索来提高检索的效果，检索后re-ranker等等
3. Tiny-RAG的主要架构和不足(可以改进方向)
datawhalechina/tiny-universe项目中的Tiny-RAG是一个RAG的简化版，它只包含了RAG的核心功能（Retrieval和Generation），主要目的是为了帮助我们大家更好的理解RAG模型的原理和实现，下面是它的架构：
下面是实际使用Tiny-RAG来运行测试的例子，这里为了本地运行简单，直接调用了zhipu API来进行文档向量化和LLM操作，默认使用了glm-4大模
加载向量数据库，进行提问测试，这里数据包含了"2024年青少年信息素质大赛的相关信息"
下面是将检索结果通过 Prompt 模版，调用LLM生成回复
回答上面的问题“参赛对象和时间？”
需要注意的是，Tiny-RAG本身是一个简化的架构，我们可以从中学习、了解相关RAG知识，但一些地方有改进的空间，例如：当前的vectorStore类 是一个简化的“数据库”，可以考虑引入调用其他主流向量数据库的功能；LLM当前支持的模型较少，同时模板定义及一些参数不够灵活。。
