步骤 1:安装 Ollama
Ollama 是一款本地 AI 运行工具,可运行 DeepSeek R1。下载地址:https://ollama.com/download
(1)在线安装Ollama
curl -fsSL https://ollama.com/install.sh | sh
image.png
安装成功后使用命令查看
systemctl status ollama
image.png
(2)手动安装Ollama
curl -L https://ollama.com/download/ollama-linux-amd64-rocm.tgz -o ollama-linux-amd64-rocm.tgz
sudo tar -C /usr -xzf ollama-linux-amd64-rocm.tgz
ollama serve #启动 若要后台启动,ollama serve &
ollama -v
image.png
注:为了后续启动方便,通常把ollama 添加到系统启动服务
vim /etc/systemd/system/ollama.service
添加如下内容:
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/local/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games"
[Install]
WantedBy=default.target
systemctl daemon-reload
systemctl start ollama
systemctl enable ollama
systemctl status ollama
步骤 2:下载 DeepSeek R1 模型
在终端中运行以下命令,根据你的硬件选择合适的模型:
下载 1.5B 版本(适用于 CPU 及低配 GPU)
ollama run deepseek-r1:1.5b
下载 8B 版本
ollama run deepseek-r1:8b
下载 14B 版本
ollama run deepseek-r1:14b
下载 32B 版本
ollama run deepseek-r1:32b
下载 70B 版本(最高性能)
ollama run deepseek-r1:70b
本地安装下载了32B版本
运行图如下:
image.png
image.png
步骤 3:查看运行情况
ollama -v
ollama list
ollama run deepseek-r1:32b
image.png
步骤 4:安装交互界面
(1)安装Open-WebUI,该工具提供了一个用户友好的 Web 前端
https://github.com/open-webui/open-webui
先检查是否安装pip,然后运行命令。
pip install open-webui
open-webui serve
在次使用docker 安装:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
image.png
步骤 5: 查看资源
nvidia-smi
watch nvidia-smi
image.png