1. Amazon EC2实例部署
a. AWS区域为Global
b. AMI选择Amazon Deep Learning AMI，具体为Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.5.1 (Amazon Linux 2023) 20250119
c. 实例类型选择g6.2xlarge
d. EC2实例安全组入站规则需要开放8080端口
2. 安装Ollama并配置为开机自启动服务
a. 安装Ollama
sudo yum install python3
sudo yum install pip
curl -fsSL https://ollama.com/install.sh | sh
查看ollama版本：
ollama -v
ollama version is 0.5.7
查看ollama运行状态：
sudo systemctl status ollama
b. 将ollama配置为开机自启动服务
添加用户权限
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)
创建服务配置文件
sudo vi /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
[Install]
WantedBy=default.target
设置为开机自启动服务
sudo systemctl daemon-reload
sudo systemctl start ollama
sudo systemctl enable ollama
使用iptables对ollama允许访问的网段进行限制
# 允许 192.168.1.0/24 访问 11434 端口
sudo iptables -A INPUT -p tcp -s 192.168.1.0/24 --dport 11434 -j ACCEPT
# 允许 192.168.2.0/24 访问 11434 端口
sudo iptables -A INPUT -p tcp -s 192.168.2.0/24 --dport 11434 -j ACCEPT
# 拒绝其他 IP
sudo iptables -A INPUT -p tcp --dport 11434 -j DROP
3. 使用Ollama运行DeepSeek R1蒸馏模型
ollama run deepseek-r1:7b
4. 部署Open WebUI并配置为开机自启动服务
a. pip安装open webui
pip install open-webui
b. 查看open webui安装路径
which open-webui
/opt/conda/bin/open-webui
c. 创建open webui启动脚本
mkdir ~/open-webui
sudo vi start-webui.sh
#!/bin/bash
/opt/conda/bin/open-webui serve
d. 创建服务配置文件
sudo vi /etc/systemd/system/open-webui.service
[Unit]
Description=Open WebUI
After=network.target
[Service]
ExecStart=/home/ec2-user/open-webui/start-webui.sh
WorkingDirectory=/home/ec2-user/open-webui
User=ec2-user
Group=ec2-user
Restart=always
Environment=PATH=/usr/bin:/usr/local/bin:/opt/conda/bin
[Install]
WantedBy=multi-user.target
e. 配置开机自启动
sudo systemctl daemon-reload
sudo systemctl start open-webui.service
sudo systemctl enable open-webui.service
查看服务运行状态
sudo systemctl status open-webui.service
f. 如果有报错，查看日志进行故障排查
sudo journalctl -u open-webui.service -f
5. Web页面使用
浏览器打开如下地址进行使用：
http://<ec2-公网IP>:8080
初次访问需要注册管理员账号后登录进入
