DeepSeek的爆火,让在线使用的流畅度受到了很大的冲击,部署到本地使用吧。
部署流程
Step1. 安装ollama
ollama是一个开源的本地化大模型部署工具,旨在简化大型语言模型(LLM)的安装、运行和管理。
下载地址:https://ollama.com/download。我是windows就选择windows的版本下载。
ollama
下载完运行OllamaSetup.exe。全部按照默认配置即可完成安装(默认安装在C盘上)。
安装成功后,可以通过终端查看到安装的版本号:Ollama版本
Step2. 下载DeepSeek模型
目前最新的模型是DeepSeek-R1,在ollma网站左上角选models(排第一的就是deepseek-r1)。或是通过models
中的搜索查找DeepSeek模型。
DeepSeek模型下载
在deepseek-r1模型的下拉框根据你的电脑配置选择你想安装的模型。默认的是7b的模型,如果你的电脑是集成显卡就下载1.5b。如果你的电脑配置了Nvidia或AMD的显卡,并且显存在8G以上。可以直接按照默认下载7b或8b的模型。再往上就不是一般电脑可以部署的了。
image.png
模型选择完,后面有一段命令,就是下载模型的命令。点后面的复制按钮复制下来。粘贴到命令行终端中。或者直接在命令行终端中输入这段命令。
ollama run deepseek-r1:14b
回车后就会开始下载模型。下载模型
如果原本已经下载完模型,运行ollama run deepseek-r1
就会进入命令行对话模式:
run DeepSeek
Step3. 安装ChatboxAI
ChatboxAI 是一个基于先进自然语言处理技术的对话平台,旨在为用户提供智能、流畅且高效的对话体验。
在:https://chatboxai.app/zh 下载windows版本的ChatboxAI。
ChatboxAI
下载完成后,选择下要安装的目录,其余默认配置安装。
安装完成后会自动打开ChatboxAI设置,选择本地模式。ChatboxAI 设置
ChatboxAI 配置
ChatBox