DeepSeek私有化本地部署及搭建本地知识库

前言

当前人工智能发展势头迅猛,继OpenAI问世以来,国内外相继出现了许多的AI大数据模型,

随着DeepSeek(深度求索)正式发布DeepSeek-R1大模型,1月26日起,苹果App Store中国区免费榜显示DeepSeek站上了首位,同时在美区苹果App Store 免费榜从26日的第6位飙升至第一位。DeepSeek-R1在数学、代码、自然语言推理等任务上,其性能已堪比比肩

OpenAI o1正式版。人工智能的发展俨然已成大势之所趋。

集成DeepSeek到本地私有化环境,可以为企业或个人带来多方面的优势,尤其是在数据安全、定制化需求以及性能优化等方面。在此,对其以下的优点不做过多的赘述,当前文档围绕着DeepSeek的私有化本地部署及模型进行详细的阐述

1、安装ollama

1.1.首先我们需要在我们本地安装ollama,其官网链接为https://ollama.com/, 如果官网下载较慢可以访问我个人的百度网盘:安装文件

链接: https://pan.baidu.com/s/1L8IeyOuU6GyqXakmHk63PA?pwd=GSKJ 提取码: GSKJ

--来自百度网盘超级会员v5的分享

直接获取并下载OllamaSetup.exe的安装包。

image.png

此处下载以Windows版本为例:

image.png
image.png

下载完成后会得到OllamaSetup.exe的文件。

此处需要合理安排电脑硬盘的存储空间。

1.2.安装过程中,Ollama会默认安装在C盘的特定路径下,例如C:\Users%username%\AppData\Local\Programs\Ollama

image.png

安装完成后输入Win + R,输入cmd进入,输入ollama并回车,显示如下:

image.png

此时如果输入ollama list 则会显示空,原因是没有安装大模型,所以接下来第二步:安装大模型。

2、安装DeepSeek-R1 XXB的大模型

2.1.配置环境变量:我的电脑->高级系统设置(两处配置)

第一步配置好系统变量:

image.png

第二步配置用户变量新建用户变量,注意变量名以及模型的存放位置,设置好路径,路径由当前电脑的用户自行安排

image.png

设置好后需要点击确认保存环境变量,一定要重启ollama,不然依然会安装到C盘,占用较大的C盘的存储空间,会影响电脑的响应速度。

重启方法:在右下角找到羊驼图标,右键或者单击,在弹出的下拉框选择Quit Ollama,然后Win+R打开cmd,输入ollama回车即可

image.png

等后面下载了大模型后,直接ollama run 模型名字便可直接打开模型。

2.2. 模型下载

初学者建议以7b(7亿训练参数)或者8b(8亿训练参数)为基础

此处我们以7b为例,需要考虑到我们电脑的内存大小以及显卡内存等。

不想下载或者出现下载时出现Error: pull model manifest: Get “https://registry.ollama.ai/v2/library/xxxx” 的可以直接从我百度网盘中获取大模型版本:

通过网盘分享的文件:

链接: https://pan.baidu.com/s/1OArULcEtrISP-bk717qdLA?pwd=GSKJ 提取码: GSKJ

--来自百度网盘超级会员v5的分享

image.png

安装好之后运行ollama list则会出现列表Send a message

image.png

恭喜你,说明你的deepseek安装成功了!就可以跟它对话了,我提问了“你是谁”:

image.png

但是一直在命令行里沟通是不是不够友好和方便,接下来我们安装可视化工具chatBox。

2.3. 安装可视化工具: chatbox 官网:<u>https://chatboxai.app</u>

如果不想下载可以访问:

链接: https://pan.baidu.com/s/1L8IeyOuU6GyqXakmHk63PA?pwd=GSKJ 提取码: GSKJ

获取安装包;

安装成功后:

image.png

此时我们还需要配置设置,设置使用自己的API Key或者本地模型:

跳出页面选择模型,我们选择Ollama API, 最后我们选择我们已经安装好的deepseek

模型就OK了。

image.png

现在我们来使用大模型进行对话:

至此,基础版的Deepseek本地私有化已经部署好了。

3、基于MaxKB+DeepSeek搭建知识库问答系统

3.1. MaxKB部署 MaxKB是一款基于LLM大语言模型的知识库问答系统,其主要特点:支持多模型、开箱即用、支持零代码快速嵌入到第三方系统

MaxKB可以通过Docker进行部署

安装Docker Desktop:

下载方式 <u>https://www.docker.com/products/docker-desktop/</u> (官网下载)

如果不想下载可以访问:

链接: https://pan.baidu.com/s/1L8IeyOuU6GyqXakmHk63PA?pwd=GSKJ 提取码: GSKJ

获取安装包;

避坑配置:如果Docker Desktop本地安装好之后,打开后出现Docker Engine stopped,说明此时你的docker并没有正常启动。

image.png

此时解决办法有如下:

3.1.1. 检查Docker服务是否开启

image.png

3.1.2.检查Hyper-V是否安装并勾选

image.png

3.1.3.检查 bcdedit的hypervisorlaunchtype是否为Auto

cmd进入到终端后输入bcdedit 查看hypervisorlaunchtype属性

3.1.4.检查CPU是否开始虚拟化

image.png

3.1.5.检查wsl 是否开启,勾选适用于Linux的Windows子系统检查更新

cd C:\WINDOWS\system32下执行 wsl --update

image.png

wsl更新后重启电脑,可能需要配置几分钟,然后进入到桌面上再打开

docker Desktop 如下

image.png

3.2.在线安装:

image.png
image.png
image.png

3.3.部署完成后我们可以看到在docker Desktop界面出现了container和images里存在了MaxKB.

image.png

此时,打开本地ip (当然如果装在服务器上,这里就用的是服务器的ip或者映射ip),端口

可以用8080也可以用其他已开放的端口。

image.png

登录进入后:

image.png

3.4.MaxKB配置及使用

添加模型选择ollama:

image.png

再提供一种除了用自己私有的ollama外还可以引用外部的大模型 例如阿里的通义千问

image.png

通义千问模型的API是收费的

如果想要使用的话 自己可以网上去查阿里的通义千问的语言模型进行开通并设置其API Key等.

3.4.知识库的创建

未创建你之前空白的

image.png

根据自身的需要导入的信息库大类进行取名

image.png

上传文档时也会对导入的文档进行拆分,这里我们可以对拆分的数据进行管理。点击开始导入

image.png

创建问题(信息投喂):

image.png

命中测试:

image.png

3.5创建应用

image.png

进入概览,复制公开访问链接,并拷贝到浏览器中打开

image.png

至此,已完成DeepSeek私有化本地部署及搭建本地语言问答知识库体系,可根据所需要使用的信息情况按照企业的需求对知识库内的问答进行添加。添加完成后刷新知识库,并重新打开链接输入问题,即可按照问题给出响应的回答。

注:我们也可以通过python3+open-webui以及其他等方式私有化部署管理大模型实现Deepseek ri的AI对话。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容