03-06继续部署大模型


本地cpu版本终于部署起来不报错了。
给web_streamlit.py里面改了一下


修改后的

能运行了，但是内存不足所以跑不起来。
还是继续找云部署方法。

gpu云部署网页版失败了。彻底放弃。
能跑起来，但是网页加载不出来。
看了一下，运行的时候占用显存12g，回复倒是很快，怪不得我的cpu版本加载不出来......
只好只有gpu的cmd交互版本！

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容