1. Docker 容器部署
首先,我们使用 Docker 部署 MaxKB 和 Ollama。
1.1 部署 MaxKB
docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data \
cr2.fit2cloud.com/1panel/maxkb
2. 部署 Ollama
Ollama 可以通过 Docker 或本地方式进行安装,以下分别介绍两种部署方式及其适用场景。
2.1 基于 Docker 部署 Ollama
Docker 部署 Ollama 适用于希望快速搭建、易于迁移或测试的环境。
docker run -d --network host -v ~/.ollama:/root/.ollama -p 11434:11434 \
--name ollama open-registry.going-link.com/zhenyun/ollama:0.5.7
说明:
-d
:后台运行容器。
-p
:指定端口映射。
-v
:将本地目录挂载到容器,保证数据持久化。
--network host
:使用主机网络模式,便于容器间通信。
2.2 基于本地(Ubuntu 示例)部署 Ollama
本地安装适用于长期运行的生产环境,减少 Docker 额外的资源消耗。
2.2.1 安装 Ollama
执行以下命令安装 Ollama,或参考 官方文档 进行详细设置。
curl -fsSL https://ollama.ai/install.sh | sh
2.2.2 配置 Ollama 服务
sudo vim /etc/systemd/system/ollama.service
写入以下内容:
[Unit]
Description=Ollama Service
After=network.target
[Service]
ExecStart=/usr/bin/env OLLAMA_HOST=0.0.0.0 /usr/bin/ollama serve
Restart=always
User=root
Group=root
[Install]
WantedBy=multi-user.target
说明:
OLLAMA_HOST=0.0.0.0
允许其他机器访问 Ollama 服务,以便在 MaxKB 中配置本地模型。
保存后执行:
sudo systemctl daemon-reload
sudo systemctl enable --now ollama
3. Ollama 启动模型
Ollama 需要加载不同的大模型来提供智能客服服务,可使用以下命令下载所需模型:
ollama run llama3.2
或
ollama run deepseek-r1
注意:
llama3.2
是 LLaMA 3.2 版本的大模型,适用于 NLP 任务,如文本理解、对话(2gb)。
deepseek-r1
是 DeepSeek 大模型,擅长中文处理和代码生成(4gb)。
4. 配置 MaxKB 与 Ollama 交互
4.1 添加模型
进入 系统设置 -> 模型设置 -> Ollama
添加模型,填写自定义的模型名称
模型类型 选择“大语言模型”
基础模型 只能选择 Ollama 模型库中的已有模型(Ollama Library),根据你当前运行的模型紧张选择
API 域名 填写运行 Ollama 服务器的 IP 和端口(11434)
API Key 可随意填写
4.2 创建知识库
进入 知识库 -> 创建知识库
填入 知识库名称 / 描述 / 类型
点击 上传文档,进行训练
训练完成后,可在知识库页面查看解析状态
4.3 创建应用
AI 模型 和 知识库 创建成功后,即可创建应用
进入 应用 -> 创建应用
填入 应用名称 和 应用描述
选择前面创建的 AI 模型 和 关联知识库
设置 访问权限,决定谁可以使用该应用