部署过程

ollama安装

ollama 官网下载一键安装

https://ollama.com/

命令行输入 ollama 校验是否安装成功

成功会显示 Usage、 Available Commands 以及 Flags 信息

模型下载运行

打开 Ollama 官网，右上角搜索框输入需要的模型。

如搜索 “通义千问开源版” qwen

找到 pull 次数最多的，点击进入详情页面

选择对应版本，复制使用命令 ollama run qwen ，粘贴到命令行，按下回车，ollama 会自动下载并运行模型

命令行显示 success 并出现 “send a message” 表示运行成功

管理模型

命令行输入 ollama list, 显示已安装模型

ollama run 模型名字 运行模型

rm 模型名字 删除模型

MaxKB

安装Docker

Windows：开启 Hyper - V，点击安装包安装

macOS：点击安装包安装

Linux：使用包管理器或源码编译

运行Docker

Docker 安装完成后，命令行输入以下命令，数据持久化至D盘。实际部署根据情况修改位置。

docker run -d --name=maxkb -p 8080:8080 -v D:/maxkb/data:/var/lib/postgresql/data 1panel/maxkb

访问MaxKB

在浏览器访问 设备IP:8080, 可以看到 MaxKB 的服务界面

默认密码

admin
MaxKB@123.

添加模型

【系统设置】- 【模型设置】-【添加模型】

选择 Ollama ，输入模型名字、模型类型，选择基础模型。

若选项中没有需要的模型

在命令行内执行命令 ollama list ，复制模型名字

ollama 官网内查询模型，复制 run 命令后的模型名字

粘贴到输入框内

输入 Ollama 的 API 域名 http://设备IP:11434, 输入之前可以在浏览器输入“IP:11434” 试一下，如果能正常打开并看见“Ollama is running” 就说明没问题。

若 Ollama 和 MaxKB 安装在不同的设备，一定要保证 MaxKB 所在设备可以访问到 Ollma 的地址

( docker 部署则输入 http://host.docker.internal:11434)

API Key 默认是没有的，随便输入 123 即可。

添加应用

【应用】- 【创建应用】

填写名称，选择刚刚创建的模型类型，配置一下其他设置，点击创建即可。

演示

点击应用图标上的【演示】按钮

知识库

【知识库】- 【创建知识库】

填写名称和描述，选择对应的知识库类型，上传文档，点击【创建并导入】

然后对文档内容进行分段处理点击【开始导入】，知识库创建完成

【应用】- 【设置】-【关联知识库】

还可以根据需要设置提示词和开场白

选择【概览】

点击【演示】，可以直接访问并聊天

点击【嵌入第三方】，可以把它用不同的形式嵌入到需要的网站中

选择【命中测试】，测试问题是否能正确关联到知识库的内容。

如果文档中有相关内容但关联不到，可以通过【参数调整】来优化

参数调整完，到设置中的【关联知识库】-【参数设置】同步修改即可

Ollama + MaxKB 部署语言大模型