1、关闭ollama服务
sudo systemctl stop ollama
sudo systemctl disable ollama.service
2、更改service文件
sudo vim /etc/systemd/system/ollama.service
在原来的[Service] Environment后加一行新的Environment
Environment="OLLAMA_MODELS=/path/to/ollama/models" //更改模型存放路径
Environment="OLLAMA_KEEP_ALIVE=-1" // 更改模型生命周期
Environment="OLLAMA_MAX_LOADED_MODELS=4" //更改可以响应的LLM的最大数
Environment="OLLAMA_NUM_PARALLEL=4" //更改LLM最大并发数量
nvidia-smi -L
Environment="CUDA_VISIBLE_DEVICES=显卡的UUID" //更改使用的显卡
3、重载配置
sudo systemctl daemon-reload
4、重启ollama:
sudo systemctl restart ollama.service