windows有道云Qanything部署问题

前提

官方默认使用的是阿里的通义千问7B大模型,且官方推荐使用30系或者40系显卡(都是消费级显卡,专业级显卡还不知道行不行),在自己电脑显卡达不到7B大模型的运行门槛的时候,需要额外下载小一点的模型,或者配置在线的OpenAI的api(要花钱的)。参考以下链接修改使用的模型:
https://github.com/netease-youdao/QAnything/blob/master/docs/QAnything_Startup_Usage_README.md

当然大部分人可能都没有官方推荐的需要20多的显存的显卡,也就是3090或4080以上的显卡,那么也就只能选择小一点的模型来跑了。或者按照管方的说法,如果要使用在线的OpenAI的api,也需要1050ti以上的显卡。

6f0b38fe592840d7bb4b073a420144f.png

此处附上我本地所运行的截图


85e44faf444f68f007c5bfb89597893.png

一、环境搭建中的问题

1、安装wsl

虚拟环境开启
控制面板\程序\程序和功能➡启用或关闭Windows功能


image.png

wsl --install -d Ubuntu

其余的一些操作包括迁移wsl文件(wsl默认下载的东西都在C盘),以及将wsl安装的Ubuntu设置为默认等在网上均有教程
当遇到wsl相关的命令无法运行、或尝试运行Qanything中的run.sh脚本却报错时,就是子系统没安装的问题。

2、其余环境的搭建

包括显卡驱动等相关软件在github有提示,按提示进行安装

image.png

二、运行时的相关问题

1、网络问题

玩大模型最让人抓狂的就是网络问题

下载速度慢的建议是,尽量不要用WiFi或手机热点(别问我为什么知道),巨慢,电脑最好插着网线,且是100M宽带以上

偶尔会有网络连接不上的报错,这种情况下则需要科学上网,科学上网然后再重新跑一遍就好了

基本上只要是需要科学上网的,在你没有科学上网的情况下都会报错,慢的原因都是单纯的网速慢

2、mysql容器问题

运行过程中有遇到报错,按提示查看日志后,日志中说是mysql连接数过多,通常情况下就是去修改配置文件了,找到容器挂载的配置文件,进行修改增加连接数等等。但是在进入mysql容器中,查看实际的连接数的时候,却有一行提示,写着是mysql: [Warning] World-writable config file ‘/etc/mysql/conf.d/mysql.cnf‘ is ignored。所以实际上并不是这个问题,而是电脑中挂载的配置文件具有全局可写权限,因此忽略了该文件。MySQL 引擎非常注重安全性和数据完整性。如果配置文件具有全局可写权限,任何用户都可以修改该文件,包括恶意用户。这可能导致潜在的安全风险和数据损坏。为了提高安全性,当 MySQL 检测到挂载的配置文件具有全局可写权限时,它会发出警告并忽略该文件。这样做是为了确保只有授权的用户能够修改配置文件并对 MySQL 进行更改。

所以这个问题的解决方案是修改文件的权限,直接在电脑中修改即可


image.png

以上大概就是全部的疑难杂症了,虽然最后还是没跑起来。(docker desktop里面显示占用的cpu已经达到接近400%,于是全部容器都宕机了,可能是配置问题吧,之后如果跑起来了会再更新)

image.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容