春节期间,DeepSeek-r1大火,被称之为国运级的软件。笔者春节假期一大半时间都在和DeepSeek聊天,确实很好用。但是“人”红是非多,太火造成访问量剧增,深度求索的服务器经常人满为患,响应不及时,相信大家经常看到以下画面:
偶尔了解到DeepSeek-r1可以本地化部署,连忙去找教程。作为新网红,网上教程多如牛毛。一圈看下来,笔者有些眼花缭乱,以为本地化部署DeepSeek-r1会是一个很复杂的工程,既要考虑计算机配置又要考虑python版本,还要顾及GPU、CUDA等方面。试过几次之后,不是CUDA版本不匹配,就是外网无法访问。
正值一筹莫展之际,偶然间遇到了“羊驼”,一番折腾之后,顺利完成本地化部署,从而实现与“网红”对话自由。 教程极为简单,几乎无门槛,只要会上网,windows系统,只要5分钟即可掌握。
一、根据计算机配置明确具体模型
可以参考配置表,选择合适的模型。不过也不用担心,也没有那么严格,笔者显卡为3070Ti,显存只有8Gb,大着胆子选择了deepseek-r1:14b,主要是想让本地化大模型更聪明一些,完成更复杂的任务。当然越级配置也是要付出代价的,部署成功之后,只要是简单的对话,GPU风扇就开始疯转,真担心会烧掉,还是要悠着点,不能给计算机压过重的担子。二、安装ollamahttps://ollama.com/打开官网,无需魔法,无需注册,直接下载即可。笔者理解来看,ollama相当于大模型版的docker,简单易用。
下载完成后,和正常安装软件没有任何区别。
安装完成后,计算机任务栏会出现一个萌萌的羊驼。
打开网页,输入本地11434端口,会出现ollama is running的提示。三、下载运行模型打开CMD命令行工具输入:ollama run deepseek-r1:14b注:冒号之后为具体模型版本,根据计算机配置选择。
小贴士:建议在下载模型之前,设置OLLAMA_MODELS系统变量,指定下载目录,从而避免C盘爆满。设置之后,最好注销一下生效再下载。
教程极简,时间主要消耗在模型下载方面,体积比较大。14B为9Gb,需要等待一段时间,然后自动安装,像不像docker拉取、运行镜像操作。命令行出现success之后,就可以直接对话了。四、安装UI工具理论上经过第三步,本地大模型已经可以正常工作。不过在现在而今眼目下的信息时代,还面对着黑屏,总是有点显得太low。还好有chatbox,分分钟出现界面。关键是也很简单。登录官网:https://chatboxai.app/zh可以下载客户端,也可以直接启用网页版。
笔者下载了客户端,一路下一步,完成安装。
打开软件后,选择第二个。
进入详细设置后,最关键的三个设置参数,特别是第三个模型,一定要选择自己实际运行的模型才行。
一切准备就绪,开始畅聊。只需5分钟,拥有本地的DeepSeek-r1,您学会了吗?