一、背景

运行环境，mac mini，24GB运存共享显存，M4芯片。

二、步骤

(一)部署ollama

用来运行大模型的开源工具，原生安装，官网官话下载双击安装就行，暂时不用docker。

(二)部署模型： llama3.2:1b

可以搜索ollama支持的模型，注意模型参数量匹配的版本

默认模型存放目录

~/.ollama/models

ollama run llama3.2:1b

ollama_installed.png

(三)部署openWebUI

openWebUI 就是像chatGPT一样的聊天UI，适配各种LLM大模型。
如果ollama和openWebUI在同个服务器。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

如果ollama和openWebUI不在同个服务器:

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

(四)使用

访问 http://localhost:3000
创建管理员账号:

linyawen
76423374@qq.com
123456

即可使用:

openWebui_installed.png

三、扩展

(一)多部署几个模型

ollama run qwen2.5:0.5b
ollama run deepseek-r1:1.5b
# 查看 已经部署的模型
ollama list

(二)openWebUI竞品chatboxai对比

选择 OpenWebUI：如果您主要关注 本地模型，追求轻量级和快速响应，尤其是与 Ollama 集成，那么 OpenWebUI 是理想选择。

选择 ChatboxAI：如果您希望拥有更强的 扩展性、多用户支持，或者需要与多种云端 API 交互，ChatboxAI 更适合您