ollama安装
1、https://github.com/ollama/ollama?tab=readme-ov-file,打开链接,根据自己的电脑进行下载并安装,我的是macOS,请各位根据自己的电脑进行选择
模型下载,ollama有很多模型,这边选择安装 llama2-chinese、llama2,一个是中文,一个英文
ollama pull llama2-chinese
ollama pull llama2
前端部署
Docker部署
ollama给了很多前端界面的测试demo,我这边选择的部署的是Open WebUI,部署方式docker
1、docker与OrbStack
OrbStack:与 Docker Desktop 相比,它在性能、资源效率、与 Docker CLI 和 Docker Compose 的集成、自动域名、文件系统集成以及 VPN 和 SSH 支持等方面,似乎都有更好的表现,特别是对于使用 Apple Silicon 芯片的 Mac 用户,OrbStack 提供了更快、更轻、更可靠的体验。
brew install docker
brew install orbstack
进入项目根目录:cd /www/open-webuI
构建:docker build -t openwebui .
运行:docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
非Docker部署
了解某些情况可能需要非 Docker 设置,尤其是出于开发目的。请注意,非 Docker 安装不受官方支持,您可能需要自行排除故障。
1、项目
Open WebUI 由两个主要组件组成:前端和后端(充当反向代理,处理静态前端文件和附加功能)。两者都需要在开发环境中同时运行。
2、要求
Node.js >= 20.10 或Bun >= 1.0.21
检查环境,环境太低,做了升级
Python >= 3.11
检查环境
3、构建并安装
git clone https://github.com/open-webui/open-webui.git
cd open-webui
/# Copying required .env file
cp -RPp .env.example .env
# Building Frontend Using Node
npm i
npm run build
# Serving Frontend with the Backend
cd ./backend
pip install -r requirements.txt -U
./start.sh
以上代码执行过程中可能会出现一些命令因为版本问题执行不成功,百度搜索一下进行解决即可。