本地部署 DeepSeek R1

步骤 1:安装 Ollama
Ollama 是一款本地 AI 运行工具,可运行 DeepSeek R1。下载地址:https://ollama.com/download

(1)在线安装Ollama

curl -fsSL https://ollama.com/install.sh | sh
image.png

安装成功后使用命令查看

systemctl status ollama
image.png

(2)手动安装Ollama

curl -L https://ollama.com/download/ollama-linux-amd64-rocm.tgz -o ollama-linux-amd64-rocm.tgz
sudo tar -C /usr -xzf ollama-linux-amd64-rocm.tgz
ollama serve  #启动   若要后台启动,ollama serve &
ollama -v
image.png

注:为了后续启动方便,通常把ollama 添加到系统启动服务

vim /etc/systemd/system/ollama.service
添加如下内容:
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games"

[Install]
WantedBy=default.target

systemctl daemon-reload
systemctl start ollama
systemctl enable ollama
systemctl status ollama

步骤 2:下载 DeepSeek R1 模型
在终端中运行以下命令,根据你的硬件选择合适的模型:

下载 1.5B 版本(适用于 CPU 及低配 GPU)

ollama run deepseek-r1:1.5b

下载 8B 版本

ollama run deepseek-r1:8b

下载 14B 版本

ollama run deepseek-r1:14b

下载 32B 版本

ollama run deepseek-r1:32b

下载 70B 版本(最高性能)

ollama run deepseek-r1:70b

本地安装下载了32B版本

运行图如下:


image.png

image.png

步骤 3:查看运行情况

ollama -v
ollama list
ollama run deepseek-r1:32b
image.png

步骤 4:安装交互界面
(1)安装Open-WebUI,该工具提供了一个用户友好的 Web 前端
https://github.com/open-webui/open-webui
先检查是否安装pip,然后运行命令。

pip install open-webui
open-webui serve

在次使用docker 安装:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
image.png

步骤 5: 查看资源

nvidia-smi
watch nvidia-smi
image.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容