搭建基础环境
本试验所采用的操作系统为 centos7(x86_64),开发环境使用 python3.11。
安装python3.11
若采用源码安装,源码包下载地址为https://www.python.org/ftp/python/3.11.11/
如果系统openssl版本比较低,需要升级至openssl1.1.1。
configuer 时需要指定--with-openssl,然后 make,make install即可。
运行如下命令测试是否安装成功:
1 $ python3 --version
2 Python 3.11.11
安装ollama服务
首先,我们需要下载 ollama 的 pypi 包,以便后续通过python程序访问 ollama 服务:
1 [gbase@gbase8c-5-155 ~]$ pip3 install ollama
然后安装ommama服务(参考https://github.com/ollama/ollama/blob/main/docs/linux.md),可以通过一键安装命令:
1 curl -fsSL https://ollama.com/install.sh | sh
或者手动安装:
1 curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
2 sudo tar -C /usr -xzf ollama-linux-amd64.tgz
启动ollama服务:
1 ollama serve
在另一个终端查看是否启动成功:
获取文本嵌入模型
我们选取的是nomic-embed-text。
nomic-embed-text是一个开源的文本嵌入模型,在处理短文和长文本任务方面有很大的优势,使用该模型将我们输入的文本转换为768维的向量数据,然后通过psycopg2将向量数据存入GBase 8c数据库,为后续的检索和匹配提供了强有力的支持。使用如下命令获取:
1 $ ollama pull nomic-embed-text
获取文本生成模型:
我们选取的是DeepSeek-r1。
DeepSeek-r1 模型是基于先进的深度学习技术开发的,它具有独特的架构和训练方式,能够更好地捕捉文本中的语义信息,从而为文本生成带来更出色的效果。使用如下命令获取:
1 ollama pull deepseek-r1
安装GBase 8c数据库
通过GBase 8c分布式向量数据库将私域知识存储在本地,在快速检索的同时提供更加稳定、更加安全的数据防护。
获取GBase 8c安装包,参考《GBase 8c V6_1.0.0_安装部署手册》手册进行数据库搭建。
部署成功后查看集群运行情况:
安装psycopg2
1 pip3 install psycopg2
通过psycopg2连接GBase 8c查看版本信息:
输出如下:
下一章,我们将继续介绍“构建RAG实例”的操作方法。