DeepSeek 本地化安装

deepseek太火了,咱也来试试

环境

我的环境 8c 32G 100G的 Linux centos 7.6 操作系统版本有些低但是还是能跑起来的

这里我会安装三部分内容,1.ollama 这个就不多介绍了;2.用ollama加载DeepSeek模型;3. 安装Open WebUI用于图形化访问DeepSeek

怎么说呢,在网上看了挺多文章,但是自己真正上手安装的时候还是有些问题,下面是我实操的详细步骤。

下载 ollama

1.官网(https://ollama.com/download/linux)提供的下载链接

curl -fsSL https://ollama.com/install.sh | sh

网络问题我没成功,进度一直是0.2%

2.靠谱的网盘地址:https://pan.baidu.com/s/1a4DVIqag8FJdUtLwfxmotg?pwd=deep

下载好的安装包叫“ollama-linux-amd64.tgz”

安装

解压:tar -zxvf ollama-linux-amd64.tgz -C /home/ollama

解压后有两个目录

bin 和 lib

进入bin 执行 ./ollama -v 查看版本验证是否安装完成

配置环境变量

1. 将/home/ollama/bin 配置到环境变量的PATH中,就可以直接使用ollama命令了

2. 将 ollama配置为系统服务

启动 ollama

我这里没有配置上面两项所以以后台方式启动ollama ,这里需要注意,启动的IP要是0.0.0.0

export OLLAMA_HOST=0.0.0.0

直接后台启动端口是启动在127.0.0.1上的外网无法访问。

./ollama serve &

可以通过查看进程和监听端口来确认是否启动成功

ps -ef |grep 28385

root    28385 26223  0 14:33 pts/1    00:00:00 ./ollama serve

lsof -i -P |grep ollama

ollama 加载 deepseek

主机配置所限我这里就配置8b,这一步很慢但是呢可以断点续传,咱们等着就行

./ollama run deepseek-r1:8b

./ollama list 查看一下安装完成的 deepseek

再次执行 ./ollama run deepseek-r1:8b,就可以,下面问了个问题,小试一下,还是很慢。

安装Open WebUI

使用Docker安装

安装Docker

安装必要的依赖包:sudo yum install -y yum-utils device-mapper-persistent-data lvm2

添加Docker的yum源:sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

安装Docker CE:sudo yum install docker-ce

启动Docker服务:sudo systemctl start docker

设置Docker开机自启:sudo systemctl enable docker

拉取Open WebUI镜像并运行

使用以下命令拉取Open WebUI镜像并运行容器:

启动的时候配置 OLLAMA_BASE_URL

docker run -itd -p 3000:8080 -e OLLAMA_BASE_URL=http://xxx.xx.xxx.xxx:11434 -v open-webui:/app/backend/data --name ollama-open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main

访问Open WebUI

在浏览器中访问 http://localhost:3000 或 http://服务器IP:3000 来访问Open WebUI界面。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容