最近用官方项目搭建了ChatGLM3模型在本地。
做了下测试，感觉推理能力确实比不上GPT3.5，毕竟chatGLM3才6b.
3.5已经178b了，参数不是一个级别的。
提一嘴，前几天本地部署好ChatGLM3在本地之后，想尝试微调，结果遇到好几个问题都解决不了，原因是几个微调必须依赖的三方库都是只支持Linux系统，所以需要再Linux系统上重新部署之后再尝试微调。
这里我用了一个开源的github-Lanchain-chatchat部署过程比较顺利，遇到的问题比较少，也遇到了cuda版本的问题，初始化环境的时候只需要把requirements.txt里
torch>=2.0.1 # 推荐2.1
这行换成torch==2.0.1就行了。
然后在本地的configs/model_config.py.example文件里添加本地已经下载好的chatGLM3文件路径添加进去，然后添加一个chatGML3-6b
那么我们就能从webui界面里选择chatglm3-6b大模型了。
大模型部署
image.png
除了废话多点，其他还好。但是这个窗口不支持输入图片，没法看它的图片推理能力。实际chatGLM3还是有一定图片推理能力的。
