本地尝试大模型
新年第一文，笔者本地部署大模型看看效果怎么样。
1.首先下载个ollama，这是开源项目，运行本地大模型的框架。
这个支持mac、linux、windows，比较简单。下载安装过程比较简单，笔者windows版本未遇到兼容性问题。
2.其次我们下载一个本地模型，这个也在ollama官网下载。
官网有个Models，点击后有很多模型可供选择。这里笔者选择deepseek-r1
复制ollama官网给出的下载命令到CMD里直接执行，安装好ollama后，笔者这里环境变量自动添加上了。
ollama run deepseek-r1
模型参数笔者选择的7b，意思是70亿个模型的参数。下拉7b可以看到大致需要的显存是不到5GB。
然后笔者问了个问题，发现卡的不行。
CPU直接拉满了，GPU使用率不高。笔者想了想自己的计算机配置是GTX 1060 3GB，计算机56GB内存。想想看算了，就算使用GPU来跑估计也是够呛。
直接使用命令行感觉也不太方便。无论是切换模型，还是查看历史信息。可以安装一个webUI，这个也有python的开源项目。
pip install open-webui
直接pip下载open-webui就好了。注意，该项目提示python环境最好是3.11的版本。
下载完成直接运行启动命令
open-webui serve
服务启动成功，默认监听的是8080端口。
直接访问localhost的地址就行了，第一次使用需要注册个管理员账号。
在模型里面找到之前安装的deekseek-r1模型。
然后就能愉快的进行对话了。
当然，卡还是卡，这个没办法。
发现有个报错，有个接口异常了。我们可以在设置里干掉这个API接口。
在设置里的外部连接可以把这个API接口给删掉。
就笔者初步使用体验而言，有web界面确实方便。但是没有好的配置还是只能玩玩。实际使用体验还不如各家官网提供的服务来的好。
那什么配置可以流畅运行呢。上网查了下基本都是推荐大显存的英伟达顶配显卡，或者直接MAC工作站。相较而言MAC MINI可能是个性价比的选择。
综上，祝各位新年快乐。巳巳如意，生生不息。
