不要着急,部署前先理解些基础概念,会更容易成功。其中相对容易出问题是:
1:虚拟机的开启
2:docker的镜像源配置
1-RAG技术
RAG(Retrieval-Augmented Generation,检索增强生成)构建个人知识库。步骤:
本地部署RAG技术所需要的开源框架RAGFlow;
本地部署Embedding大模型(或者直接部署自带Embedding模型的RAGFlow版本);
RAG构建知识库
模型幻觉:没有数据参考时就胡乱回答。
微调:提供数据在模型上继续训练,优化模型
RAG:在回答过程中参考提供的数据信息
2-微调和RAG差别:
微调:结合已有数据加强训练;
RAG:检索知识库增加回答准确度。
共同点:都是为了赋予模型某个领域的特定知识,解决大模型的幻觉问题。
RAG原理:
● 检索(Retrieval):当用户提出问题时,系统会从外部的知识库中检索出与用户输入相关的内容。
● 增强(Augmentation):系统将检索到的信息与用户的输入结合,扩展模型的上文。然后再传给生成模型(也就是Deepseek);
● 生成(Generation):生成模型基于增强后的输入生成最终的回答。由于这一回答参考了外部知识库中的内容,因此更加准确可读。
检索过程:
准备外部知识库:外部知识库可能来自本地的文件、搜索引擎结果、API 等等。
1:通过 Embedding(嵌入)模型,对知识库文件进行解析:Embedding 的主要作用是将自然语言转化为机器可以理解的高维向量,并且通过这一过程捕获到文本背后的语义信息(比如不同文本之间的相似度关系);
2:通过 Embedding(嵌入)模型,对用户的提问进行处理:用户的输入同样会经过嵌入(Embedding)处理,生成一个高维向量。
3:拿用户的提问去匹配本地知识库:使用这个用户输入生成的这个高纬向量,去查询知识库中相关的文档片段。在这个过程中,系统会利用某些相似度量(如余弦相似度)去判断相似度。
模型的分类:Chat模型、Embedding模型;
简而言之:Embedding模型是用来对你上传的附件进行解析的;
总体流程:文本->EMbeddinig->高位向量
RAG部署方式选择:
1:RAG开源框架 RAGFlow + Embedding
2:Embedding的RAGFlow (文章用的这种)
!!!开始部署了哈!!!!!!!
1-下载ollama
lama 是一个开源的本地化大型语言模型(LLM)运行框架
1-官网:ollama.com 下载

2-开始配置新增两个环境变量
确保防火墙没有拦截11434端口
OLLAMA_HOST-0.0.0.0:11434 # 允许docker虚拟机访问本机ollama()
OLLAMA_MODELS #自定义模型下载位置 目录不存在就新建一个OllamaModels
3-新建环境变量步骤:
电脑属性->高级系统设置->系统属性选高级->点击环境变量->新建

4-通过ollama 下载模型到本地
进入ollama官网:https://ollama.com 搜索deepseek-r1


5-cmd进入命令行:运行复制的模型命令

6-下载成功的样子

Docker 安装
1-开启win Hyper-v 支持

2-控制面板->程序->程序和功能->启用和关闭windows功能

这里不能选择Hyper-V虚拟机监控程序,请按照图中红色文字操作。(Win10)
3-成功的效果
Ctrl+Shift+Esc 查看 性能cpu的虚拟化显示已启用

3-官网下载docker
下载地址: https://docs.docker.com/desktop/setup/install/windows-install/
一路默认安装,安装完成后,命令提示行检查 输入docker info 输出以下信息标志成功,
最后几行会显示镜像配置信息 Registry Mirrors:

4-继续操作:配置docker的国内镜像源,不配置就很慢很慢或失败
C:\Users\{用户名}\.docker 下面的daemon.json 配置国内镜像源,多配几个提高命中率。国内可用源可以自己百度网上查询,一般阿里源、华为源就够了

如果你是直接点击Docker desktop图标启动docker,在没有更改镜像源的情况出现一片空白启动失败,

正常的Docker Desktop操作界面

备注:安装docker重要的就是:1-win 已开启虚拟化支持,2-配置国内镜像源
下载RAGFlow源码
打开RAGFlow官网 https://github.com/infiniflow/ragflow,下载RAGFlow项目源码 git或下载压缩包

修改.env中环境变量
打开项目文件目录找到.env 文件
修改ragflow-main\docker 目录下.env环境变量文件 84行左右
不修改下载的RAGFlow不会包含embedding模型,需要单独下载embedding并部署
修改后RAGFlow下载的是包含embedding的版本,更简单容易



进入命令行开始下载


请注意命令执行路径,不要搞错了

开始使用
1-开浏览器输入:localhost:80, (平时在做开发占用了80端口的,请关闭相关应用)
成功的样子,没有账号 的请注册

2-建知识库
1-准本工作:查看本机ip:win+R 输入cmd 进入命令行:

2-查看已下载本地模型列表

3-添加ollama模型


4-系统模型设置

5-建知识库

6-上传文档资料到知识库

7-知识库设置:一般默认

8-新建聊天助理

9-开始体验

恭喜完成,接下来可以摸索其他的了,更换高级的deepseek模型,其他三方API模型调用。