Deepseek本地部署详细教程,末尾看效果、开头看概念!!

不要着急,部署前先理解些基础概念,会更容易成功。其中相对容易出问题是:

1:虚拟机的开启 

2:docker的镜像源配置


1-RAG技术

RAG(Retrieval-Augmented Generation,检索增强生成)构建个人知识库。步骤:

本地部署RAG技术所需要的开源框架RAGFlow;

本地部署Embedding大模型(或者直接部署自带Embedding模型的RAGFlow版本);

RAG构建知识库

模型幻觉:没有数据参考时就胡乱回答。

微调:提供数据在模型上继续训练,优化模型

RAG:在回答过程中参考提供的数据信息

2-微调和RAG差别:

微调:结合已有数据加强训练;

RAG:检索知识库增加回答准确度。

共同点:都是为了赋予模型某个领域的特定知识,解决大模型的幻觉问题。

RAG原理:

● 检索(Retrieval):当用户提出问题时,系统会从外部的知识库中检索出与用户输入相关的内容。

● 增强(Augmentation):系统将检索到的信息与用户的输入结合,扩展模型的上文。然后再传给生成模型(也就是Deepseek);

● 生成(Generation):生成模型基于增强后的输入生成最终的回答。由于这一回答参考了外部知识库中的内容,因此更加准确可读。

检索过程:

准备外部知识库:外部知识库可能来自本地的文件、搜索引擎结果、API 等等。

1:通过 Embedding(嵌入)模型,对知识库文件进行解析:Embedding 的主要作用是将自然语言转化为机器可以理解的高维向量,并且通过这一过程捕获到文本背后的语义信息(比如不同文本之间的相似度关系);

2:通过 Embedding(嵌入)模型,对用户的提问进行处理:用户的输入同样会经过嵌入(Embedding)处理,生成一个高维向量。

3:拿用户的提问去匹配本地知识库:使用这个用户输入生成的这个高纬向量,去查询知识库中相关的文档片段。在这个过程中,系统会利用某些相似度量(如余弦相似度)去判断相似度。

模型的分类:Chat模型、Embedding模型;

简而言之:Embedding模型是用来对你上传的附件进行解析的;

总体流程:文本->EMbeddinig->高位向量

RAG部署方式选择:

1:RAG开源框架 RAGFlow + Embedding

2:Embedding的RAGFlow (文章用的这种)


!!!开始部署了哈!!!!!!!

1-下载ollama


lama 是一个开源的本地化大型语言模型(LLM)运行框架

1-官网:ollama.com 下载

下载ollama

2-开始配置新增两个环境变量

确保防火墙没有拦截11434端口

OLLAMA_HOST-0.0.0.0:11434  # 允许docker虚拟机访问本机ollama()

OLLAMA_MODELS #自定义模型下载位置 目录不存在就新建一个OllamaModels

3-新建环境变量步骤:

电脑属性->高级系统设置->系统属性选高级->点击环境变量->新建

新增环境变量

4-通过ollama 下载模型到本地

进入ollama官网:https://ollama.com 搜索deepseek-r1

选择deepseek
选择合适版本

5-cmd进入命令行:运行复制的模型命令

运行命令

6-下载成功的样子

成功

Docker 安装


1-开启win Hyper-v 支持

开启Hyper-v支持-

2-控制面板->程序->程序和功能->启用和关闭windows功能

开启

这里不能选择Hyper-V虚拟机监控程序,请按照图中红色文字操作。(Win10)
3-成功的效果

Ctrl+Shift+Esc 查看 性能cpu的虚拟化显示已启用

虚拟化成功的样子

3-官网下载docker

下载地址: https://docs.docker.com/desktop/setup/install/windows-install/

一路默认安装,安装完成后,命令提示行检查 输入docker info 输出以下信息标志成功,

最后几行会显示镜像配置信息 Registry Mirrors:

docker安装成功的样子

4-继续操作:配置docker的国内镜像源,不配置就很慢很慢或失败

C:\Users\{用户名}\.docker 下面的daemon.json 配置国内镜像源,多配几个提高命中率。国内可用源可以自己百度网上查询,一般阿里源、华为源就够了

配置镜像源

如果你是直接点击Docker desktop图标启动docker,在没有更改镜像源的情况出现一片空白启动失败,

桌面配置

正常的Docker Desktop操作界面

卓面成功

备注:安装docker重要的就是:1-win 已开启虚拟化支持,2-配置国内镜像源

下载RAGFlow源码

打开RAGFlow官网 https://github.com/infiniflow/ragflow,下载RAGFlow项目源码 git或下载压缩包

下载RAGFlow源码

修改.env中环境变量

打开项目文件目录找到.env 文件

修改ragflow-main\docker 目录下.env环境变量文件 84行左右

不修改下载的RAGFlow不会包含embedding模型,需要单独下载embedding并部署

修改后RAGFlow下载的是包含embedding的版本,更简单容易

修改环境变量
添加与取消注释
官网运行命令

进入命令行开始下载

输入命令开始下载
成功的样子

请注意命令执行路径,不要搞错了

桌面显示

开始使用


1-开浏览器输入:localhost:80, (平时在做开发占用了80端口的,请关闭相关应用)

成功的样子,没有账号 的请注册

成功的样子

2-建知识库

1-准本工作:查看本机ip:win+R 输入cmd 进入命令行:

本机ip

2-查看已下载本地模型列表

deepseek模型

3-添加ollama模型

添加下载的ollama模型
输入配置

4-系统模型设置

系统模型设置

5-建知识库

输入知识库名称

6-上传文档资料到知识库

知识库资料上传

7-知识库设置:一般默认

知识库设置

8-新建聊天助理

别疑惑,这是一个对话框截了两次

9-开始体验

成功的样子

恭喜完成,接下来可以摸索其他的了,更换高级的deepseek模型,其他三方API模型调用。


最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容