RAG

什么是 RAG?

RAG(Retrieval-Augmented Generation,检索增强生成)是一种将信息检索与大语言模型生成相结合的 AI 技术架构。它解决了大语言模型(LLM)的核心痛点:知识截止日期、幻觉问题和私域数据无法访问。

核心路径

用户提问
   │
   ▼
向量化 ──────────────────────────────────────┐
   │                                         │
   ▼                                         ▼
向量检索(语义)                          关键词检索(BM25)
   │                                         │
   └──────────────┬──────────────────────────┘
                  │ 融合
                  ▼
              Reranking
                  │ 精排
                  ▼
            Top-K 文档块
                  │
                  ▼
         拼入 Prompt → LLM
                  │
                  ▼
              最终答案

RAG核心

1、Embedding(语义向量化)

Embedding 模型本质是一个编码器神经网络(通常基于 Transformer),将文本压缩成固定长度的向量
详解

2、 向量相似度检索

用什么度量衡量"相似"? → 相似度计算策略
几百万条数据怎么快速找到? → 近似最近邻(ANN)索引架构
详解

3、上下文注入

前面几步已经完成了检索,拿到了相关文档。但 LLM 并不会自动"知道"这些文档的内容。上下文注入就是把检索到的文档"喂"给 LLM 的过程。
详解

RAG 的核心需求就一句话:把一段文字,变成一串数字(向量),使得"意思相近的文字,数字也相近"

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • """1.个性化消息: 将用户的姓名存到一个变量中,并向该用户显示一条消息。显示的消息应非常简单,如“Hello ...
    她即我命阅读 5,469评论 0 6
  • 1、expected an indented block 冒号后面是要写上一定的内容的(新手容易遗忘这一点); 缩...
    庵下桃花仙阅读 1,116评论 1 2
  • 一、工具箱(多种工具共用一个快捷键的可同时按【Shift】加此快捷键选取)矩形、椭圆选框工具 【M】移动工具 【V...
    墨雅丫阅读 1,647评论 0 0
  • 跟随樊老师和伙伴们一起学习心理知识提升自已,已经有三个月有余了,这一段时间因为天气的原因休课,顺便整理一下之前学习...
    学习思考行动阅读 1,069评论 0 2
  • 一脸愤怒的她躺在了床上,好几次甩开了他抱过来的双手,到最后还坚决的翻了个身,只留给他一个冷漠的背影。 多次尝试抱她...
    海边的蓝兔子阅读 1,037评论 1 4

友情链接更多精彩内容