温馨提示：本文使用 New Bing 润色。
开源地址：https://github.com/THUDM/ChatGLM-6B
模型地址：https://huggingface.co/THUDM/chatglm-6b
安装教程：【ChatGLM】本地版 ChatGPT？6G 显存可用！ChatGLM-6B 清华开源模型一键包发布 可更新
前言
想必有不少人之前已经用过 ChatGPT 和 New Bing 了，但这两者都是闭源的，在使用上略有不便，接下来给各位读者介绍一个开源的类 ChatGPT 模型——ChatGLM-6B。
关于 ChatGLM-6B
ChatGLM-6B 是基于清华大学 KEG 实验室和智谱 AI 公司于 2023 年共同训练的语言模型开发的一个开源的类 ChatGPT 模型，可以在最低 6G 显存的电脑上运行，因此相比闭源的 ChatGPT 虽有很多不足，但却可以在本地运行，有了更多的可控性！
介绍一下自己
按照惯例，让 ChatGLM-6B 来介绍一下自己吧
可以看到，自我认知还是非常正确的，确实是清华大学开源的版本。
js 实现一个归并排序
那么写代码的功底如何呢？
简单格式化了下后发现这写的是什么玩意儿，看来本地版本还是算力不足，有点缺陷。
润色文字
算了，还是叫它润色下文字好了。
啊这……你搁这如蜜传如蜜呢？
可能是由于我给它的话本身就是被 New Bing 改过的话，所以也改的差不多。
续写文本
但有一说一，ChatGLM-6B 在续写方面居然惊人的牛逼，连带着结局都写完了，看来对中文的优化还是不错的。
炸显存了
本来按照惯例，后面要试下生成图片的 AI 关键词、实现一个 express 程序，端口为 4399等，但我测试到这一步的时候，直接炸显存了。
torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 56.00 MiB (GPU 0; 6.00 GiB total capacity; 5.22 GiB already allocated; 0 bytes free; 5.30 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF
可以看出是显存不够了，因为我的电脑也就 6GB 显存，刚好达到运行下限，没聊几句就炸显存属实意料之中。
ChatGLM-6B 模型毕竟刚发布，在性能优化方面还有待提高，当然了，如果有更高的配置，例如 12GB 显存，应该能更好的运行。
后面的内容我就不测试了，估摸着也大差不差，有兴趣的读者可以自己试试。
总结
笔者试用了清华大学开源的 ChatGLM-6B 模型，它是一个可以在本地部署的对话语言模型，支持中英双语问答。
笔者对它进行了一些测试，发现它的效果虽然不如 ChatGPT 和 New Bing ，但也很惊人，尤其是考虑到它只需要 6GB 显存就可以运行。
笔者也指出了它的一些不足，比如对电脑配置的要求还是太高，以及在使用过程中出现了炸显存的情况。【本段为 New Bing 生成】
本文作者：草梅友仁
本文地址： https://blog.cmyr.ltd/archives/eec20dd.html
版权声明：转载请注明出处！
