一、背景
运行环境，mac mini，24GB运存共享显存，M4芯片。
二、步骤
(一)部署ollama
用来运行大模型的开源工具，原生安装，官网官话下载双击安装就行，暂时不用docker。
(二)部署模型： llama3.2:1b
可以搜索ollama支持的模型，注意模型参数量匹配的版本
默认模型存放目录
~/.ollama/models
ollama run llama3.2:1b
ollama_installed.png
(三)部署openWebUI
openWebUI 就是像chatGPT一样的聊天UI，适配各种LLM大模型。
如果ollama和openWebUI在同个服务器。
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
如果ollama和openWebUI不在同个服务器:
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
(四)使用
访问 http://localhost:3000
创建管理员账号:
linyawen
76423374@qq.com
123456
即可使用:
openWebui_installed.png
三、扩展
(一)多部署几个模型
ollama run qwen2.5:0.5b
ollama run deepseek-r1:1.5b
# 查看 已经部署的模型
ollama list
(二)openWebUI竞品chatboxai对比
选择 OpenWebUI：如果您主要关注 本地模型，追求轻量级和快速响应，尤其是与 Ollama 集成，那么 OpenWebUI 是理想选择。
选择 ChatboxAI：如果您希望拥有更强的 扩展性、多用户支持，或者需要与多种云端 API 交互，ChatboxAI 更适合您
