基于MaxKB与Ollama搭建智能客服

1. Docker 容器部署

首先,我们使用 Docker 部署 MaxKB 和 Ollama。

1.1 部署 MaxKB

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data \
  cr2.fit2cloud.com/1panel/maxkb

2. 部署 Ollama

Ollama 可以通过 Docker 或本地方式进行安装,以下分别介绍两种部署方式及其适用场景。

2.1 基于 Docker 部署 Ollama

Docker 部署 Ollama 适用于希望快速搭建、易于迁移或测试的环境。

docker run -d --network host -v ~/.ollama:/root/.ollama -p 11434:11434 \
  --name ollama open-registry.going-link.com/zhenyun/ollama:0.5.7

说明

  • -d:后台运行容器。
  • -p:指定端口映射。
  • -v:将本地目录挂载到容器,保证数据持久化。
  • --network host:使用主机网络模式,便于容器间通信。

2.2 基于本地(Ubuntu 示例)部署 Ollama

本地安装适用于长期运行的生产环境,减少 Docker 额外的资源消耗。

2.2.1 安装 Ollama

执行以下命令安装 Ollama,或参考 官方文档 进行详细设置。

curl -fsSL https://ollama.ai/install.sh | sh

2.2.2 配置 Ollama 服务

sudo vim /etc/systemd/system/ollama.service

写入以下内容:

[Unit]
Description=Ollama Service
After=network.target

[Service]
ExecStart=/usr/bin/env OLLAMA_HOST=0.0.0.0 /usr/bin/ollama serve
Restart=always
User=root
Group=root

[Install]
WantedBy=multi-user.target

说明OLLAMA_HOST=0.0.0.0 允许其他机器访问 Ollama 服务,以便在 MaxKB 中配置本地模型。

保存后执行:

sudo systemctl daemon-reload
sudo systemctl enable --now ollama

3. Ollama 启动模型

Ollama 需要加载不同的大模型来提供智能客服服务,可使用以下命令下载所需模型:

ollama run llama3.2
或
ollama run deepseek-r1

注意

  • llama3.2 是 LLaMA 3.2 版本的大模型,适用于 NLP 任务,如文本理解、对话(2gb)。
  • deepseek-r1 是 DeepSeek 大模型,擅长中文处理和代码生成(4gb)。

4. 配置 MaxKB 与 Ollama 交互

4.1 添加模型

  1. 进入 系统设置 -> 模型设置 -> Ollama

  2. 添加模型,填写自定义的模型名称

  3. 模型类型 选择“大语言模型”

  4. 基础模型 只能选择 Ollama 模型库中的已有模型(Ollama Library),根据你当前运行的模型紧张选择

  5. API 域名 填写运行 Ollama 服务器的 IP 和端口(11434)

  6. API Key 可随意填写

4.2 创建知识库

  1. 进入 知识库 -> 创建知识库

  2. 填入 知识库名称 / 描述 / 类型

  3. 点击 上传文档,进行训练

  4. 训练完成后,可在知识库页面查看解析状态

4.3 创建应用

  1. AI 模型知识库 创建成功后,即可创建应用

  2. 进入 应用 -> 创建应用

  3. 填入 应用名称应用描述

  4. 选择前面创建的 AI 模型关联知识库

  5. 设置 访问权限,决定谁可以使用该应用

5. 参考资料

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容