1. AWS China准备Amazon EC2实例
a. AWS区域为AWS中国宁夏区域
b. AMI选择Amazon Deep Learning AMI，具体为Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.6 (Amazon Linux 2023)
c. 实例类型选择g5.2xlarge
d. EC2实例安全组入站规则需要开放11434端口
2. 下载并安装Ollama
执行如下命令从Internet下载Ollama并安装到EC2实例
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
scp -i zhy.pem ollama-linux-amd64.tgz ec2-user@<ec2-public-ip>:~/
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
3. 将Ollama配置为开机自启动服务
执行如下命令，将Ollama配置为开机自启动服务
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)
sudo vi /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"
[Install]
WantedBy=default.target
执行如下命令配置开机自启动
sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama
使用iptables对ollama允许访问的网段进行限制
# 允许 192.168.1.0/24 访问 11434 端口
sudo iptables -A INPUT -p tcp -s 192.168.1.0/24 --dport 11434 -j ACCEPT
# 允许 192.168.2.0/24 访问 11434 端口
sudo iptables -A INPUT -p tcp -s 192.168.2.0/24 --dport 11434 -j ACCEPT
# 拒绝其他 IP
sudo iptables -A INPUT -p tcp --dport 11434 -j DROP
4. Ollama运行DeepSeek蒸馏模型
使用ollama run命令运行DeepSeek-R1:14B蒸馏模型
ollama run deepseek-r1:14b
5. 本地PC安装Chatbox并配置使用
a. 从如下页面下载Chatbox桌面客户端
https://chatboxai.app/zh#download
b. Chatbox中配置调用远程EC2实例的Ollama
c. 点击保存以后就可以正常使用了
