一、部署deepseek
部署deepseek最简单的方式是通过ollama
1. 首先我们下载安装ollama
Ollama
直接点击download安装,一路next安装即可
2. 设置环境变量
2.1.安装路径无法选择只能安装在c盘,这个暂时没有好的方法解决
2.2.下载的模型默认路径也是在c盘,可以通过设置环境变量OLLAMA_MODELS解决
2.3.默认情况下ollama只能本机访问,如果需要局域网其他用户访问或者提供外网访问需要修改环境变量OLLAMA_HOST
环境变量设置如下:
右键我的电脑--->属性--->高级系统设置--->高级--->环境变量
然后点击环境变量--->找到系统变量--->新建
变量名填写OLLAMA_MODELS,变量值填入你要存放大模型文件的路径,然后保存。
再次新建一个
变量名填写OLLAMA_HOST,变量值填写0.0.0.0 保存
3.重启ollama
先关闭ollama,找到系统右下角的ollama图标,右键退出
然后ctrl+R, 输入cmd 打开系统命令行
输入 ollama serve或者ollama start 重启
4. 下载deepseek大模型
ctrl+R,输入cmd打开命令行
输入ollama run deepseek-r1:1.5b 开始下载
坑 :下载过程中可能会遇到越往后下载越慢的情况,此时可以ctrl + c 停止然后再次输入命令ollama run deepseek-r1:1.5b重复下载,然后会发现速度又上来了,多次重复过程可以快速下载完。
出现send a message说明已经部署成功并且可以跟deepseek对话了
不过这种方式是在命令行跟deepseek交互,不方便
二、部署ollama open web ui
1. 安装docker
下载 docker Docker: Accelerated Container Application Development
安装
2.部署ollama web ui
打开命令行
按照官方的指引输入docker run
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
坑: 遇到ghcr.io/open-webui/open-webui:main下载超级慢的问题可以替换成
ghcr.nju.edu.cn/open-webui/open-webui:main
即使用
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main
进行部署
等待部署完成
访问127.0.0.1:3000
即可进入open web ui界面, 此时只要可以访问这台机器的网络就可以通过3000端口进行访问了
首次访问需要填一个超管的账号和密码 这个随便填就行了 符合邮箱的格式就好
3. 知识库
知识库是非常有用的功能,可以让大模型根据你自己特定领域的知识进行检索回答
4.其他
还有其他很多功能如函数,工具,提示词等
open web ui 已经可以作为一个独立的应用使用了,但是还缺少一些高级的功能,接下来的dify将再给大模型添加一双翅膀直接起飞
三、dify:工作流
1. 通过git clone 或者直接下载dify项目
git clone https://github.com/langgenius/dify.git
2.进入 Dify 源代码的 Docker 目录
cd dify/docker
3.复制环境配置文件
将目录下的.env.example文件复制一份并改名为.env
4.部署
打开命令行 输入docker compose up -d
5.访问
浏览器输入localshot即可访问
首次访问需要填一个超管的邮箱和密码
6.配置
右上角设置--模型供应商
选择ollama
填写模型名称,模型名称必须填刚刚下载的模型的名称如 deepseek-r1:1.5b
url填写127.0.0.1:11434
保存
7.使用
然后我们回到工作室面板
创建空白应用
可以任意创建
这里我们先选第一个测试一下,名字随便填
然后右上角选择模型后
进行对话测试下
8.工作流
可以根据官网的指导Workflow | Dify