前提
官方默认使用的是阿里的通义千问7B大模型,且官方推荐使用30系或者40系显卡(都是消费级显卡,专业级显卡还不知道行不行),在自己电脑显卡达不到7B大模型的运行门槛的时候,需要额外下载小一点的模型,或者配置在线的OpenAI的api(要花钱的)。参考以下链接修改使用的模型:
https://github.com/netease-youdao/QAnything/blob/master/docs/QAnything_Startup_Usage_README.md
当然大部分人可能都没有官方推荐的需要20多的显存的显卡,也就是3090或4080以上的显卡,那么也就只能选择小一点的模型来跑了。或者按照管方的说法,如果要使用在线的OpenAI的api,也需要1050ti以上的显卡。
此处附上我本地所运行的截图
一、环境搭建中的问题
1、安装wsl
虚拟环境开启
控制面板\程序\程序和功能➡启用或关闭Windows功能
wsl --install -d Ubuntu
其余的一些操作包括迁移wsl文件(wsl默认下载的东西都在C盘),以及将wsl安装的Ubuntu设置为默认等在网上均有教程
当遇到wsl相关的命令无法运行、或尝试运行Qanything中的run.sh脚本却报错时,就是子系统没安装的问题。
2、其余环境的搭建
包括显卡驱动等相关软件在github有提示,按提示进行安装
二、运行时的相关问题
1、网络问题
玩大模型最让人抓狂的就是网络问题
下载速度慢的建议是,尽量不要用WiFi或手机热点(别问我为什么知道),巨慢,电脑最好插着网线,且是100M宽带以上
偶尔会有网络连接不上的报错,这种情况下则需要科学上网,科学上网然后再重新跑一遍就好了
基本上只要是需要科学上网的,在你没有科学上网的情况下都会报错,慢的原因都是单纯的网速慢
2、mysql容器问题
运行过程中有遇到报错,按提示查看日志后,日志中说是mysql连接数过多,通常情况下就是去修改配置文件了,找到容器挂载的配置文件,进行修改增加连接数等等。但是在进入mysql容器中,查看实际的连接数的时候,却有一行提示,写着是mysql: [Warning] World-writable config file ‘/etc/mysql/conf.d/mysql.cnf‘ is ignored。所以实际上并不是这个问题,而是电脑中挂载的配置文件具有全局可写权限,因此忽略了该文件。MySQL 引擎非常注重安全性和数据完整性。如果配置文件具有全局可写权限,任何用户都可以修改该文件,包括恶意用户。这可能导致潜在的安全风险和数据损坏。为了提高安全性,当 MySQL 检测到挂载的配置文件具有全局可写权限时,它会发出警告并忽略该文件。这样做是为了确保只有授权的用户能够修改配置文件并对 MySQL 进行更改。
所以这个问题的解决方案是修改文件的权限,直接在电脑中修改即可