ollama 离线安装文档

• 官方文档提供了多种安装方式，命令行一键安装、手动安装、docker安装，但是教程比较复杂，我最推荐手动安装，可以进行一些自定义配置，并且速度非常快。
• 本套教程实现了服务开机自启动、局域网访问、模型存储路径自定义
• 注意，下文中 /home/yons/torch/ 是我个人配置的模型存储路径，需要改成你自己的

本地安装

下载

参考文档https://github.com/ollama/ollama/blob/main/docs/linux.md

• 手动下载（手动下载和命令下载二选一，推荐手动下载）
  下载二进制程序https://ollama.com/download/ollama-linux-amd64
  会得到一个ollama-linux-amd64的文件，上传到服务器的一个临时目录中
  将该文件移动到/usr/bin/目录下，并重命名为ollama

sudo mv ollama-linux-amd64 /usr/bin/ollama

• 命令下载（手动下载和命令下载二选一，推荐手动下载）

sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama

• 增加执行权限

sudo chmod +x /usr/bin/ollama

临时启动(可选)

修改环境变量
模型的默认下载路径在/home/$USER/.ollama/models
修改模型默认下载路径（可选）

export OLLAMA_MODELS=/home/yons/torch/.ollama/models

设置局域网地址可访问（可选）

export OLLAMA_ORIGINS=*
export OLLAMA_HOST=0.0.0.0:11434

手动运行服务（可选）

ollama serve

启动后的测试（可选）

下载千问7b测试，需要4G存储空间

ollama run qwen2

设置开机启动（可选）

如果外网安装，为了安全，最好按照官方教程创建新用户，如果是内网，建议用当前用户，配置简单

如果是内网，为了配置方便User和Group都设置为本地用户路径，否则用户权限配置复杂
OLLAMA_MODELS所在路径需要大量存储，配置到一个大的硬盘位置

• 修改开机启动服务配置
  sudo vim /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=yons
Group=yons
Restart=always
RestartSec=3
Environment=OLLAMA_MODELS=/home/yons/torch/.ollama/models OLLAMA_ORIGINS=* OLLAMA_HOST=0.0.0.0:11434
[Install]
WantedBy=default.target

• 刷新系统服务

sudo systemctl daemon-reload

• 启动服务

sudo systemctl start ollama

• 查看服务日志

journalctl -e -u ollama

• 日志启动正常就设置为开机启动

sudo systemctl enable ollama

web api 文档

参考文档
https://github.com/ollama/ollama/blob/main/docs/api.md

卸载

• 删除模型文件
  参考/etc/systemd/system/ollama.service OLLAMA_MODELS
• 停止服务

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

• 删除二进制可执行文件

sudo rm $(which ollama)