如果不想部署本地,又想使用满血版DeepSeek-R1请关注我的上一遍文章《满血版DeepSeek-R1使用教程,不用部署本地》
在使用DeepSeek和 AI 对话时选择深度思考时,经常会出现类似下面这样「服务器繁忙」的情况
目前网络上有很多教程都是关于deepseek的使用,总结起来就三点
1、使用DeepSeek官方链接
2、本地部署
3、使用第三方(注册硅基流动)
官方链接上面说到了,目前DeepSeek正处于流量的巅峰时期,经常出现服务器繁忙,这点让人很焦虑(其实也可以搞个浏览器插件,使用机器人在检测到服务器繁忙后自动点击重试);
这里我们介绍本地部署
Ollama,一款开源的大语言模型本地部署框架,主要用来在我们本地电脑上部署和运行大语言模型
首先我们需要下载ollama:https://ollama.com/download
Ollama安装成功后在控制台输入命令汗ollama -v,如果显示版本就说明安装成功了
接下来我们需要下载DeepSeek-R1模型
首选我们进入Ollama官网:https://ollama.com/search
进入Models中找到DeepSeek-R1
这里我们需要知道我们电脑适合安装多大【参数规模】和【模型文件大小】的模型
如果我们第一次接触还不知道可以像我一样问问DeepSeed(这里去deepseed官网直接问,选择联网搜索就可以了)
我的电脑是iMac,配置Intel Core i5 内存: 16GB RAM,我们可以问问它适合配置多大的模型参数
虽然DeepSeek告诉我电脑适合下载1.5b的,但是我觉得我的mac16G应该也可以使用7b,这里就做个尝试;选中7B后要复制右上角的命令
进入控制台
刚才复制的命令:ollama run deepseek-r1:7b
等待下载完成
其实进入Ollama查找DeepSeek-R1就是为了获取ollama run deepseek-r1:7b命令,我们也可以不同去Ollama查找DeepSeek-R1,直接去命令行输入ollama run deepseek-r1:XXXb,其中XXX就代表参数模型的规模1.5、7、8、、、
Chatbox的使用:
接下来我们需要一个客户端来承载我们本地部署的模型,实现对话交互;当然这里也可以直接在控制台进行对话,那样交互效果肯定不是很好
安装完成后打开app,安装步骤操作
这里模型提供方选择Ollama API
模型选择Deepseek-r1
这里就完成了设置,可以去对话框对话了
远程访问
下载并运行 llama3.2 模型
ollama run llama3.2
下载并运行 deepseek-r1:7b 模型
ollama run deepseek-r1:7b
你需要确保远程 Ollama 服务正确配置并暴露在当前网络中,以便 Chatbox 可以访问。默认情况下,需要对远程 Ollama 服务进行简单的配置。
如何配置远程 Ollama 服务?
默认情况下,Ollama 服务仅在本地运行,不对外提供服务。要使 Ollama 服务能够对外提供服务,你需要设置以下两个环境变量:
OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*
在 MacOS 上配置
打开命令行终端,输入以下命令:
launchctl setenv OLLAMA_HOST "0.0.0.0"
launchctl setenv OLLAMA_ORIGINS "*"
重启 Ollama 应用,使配置生效。
在 Windows 上配置
在 Windows 上,Ollama 会继承你的用户和系统环境变量。
通过任务栏退出 Ollama。
打开设置(Windows 11)或控制面板(Windows 10),并搜索“环境变量”。
点击编辑你账户的环境变量。
为你的用户账户编辑或创建新的变量 OLLAMA_HOST,值为 0.0.0.0; 为你的用户账户编辑或创建新的变量 OLLAMA_ORIGINS,值为 *。
点击确定/应用以保存设置。
从 Windows 开始菜单启动 Ollama 应用程序。
在 Linux 上配置
如果 Ollama 作为 systemd 服务运行,应使用 systemctl 设置环境变量:
调用 systemctl edit ollama.service 编辑 systemd 服务配置。这将打开一个编辑器。
在 [Service] 部分下为每个环境变量添加一行 Environment:
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"
保存并退出。
重新加载 systemd 并重启 Ollama:
systemctl daemon-reload
systemctl restart ollama
服务 IP 地址
配置后,Ollama 服务将能在当前网络(如家庭 Wifi)中提供服务。你可以使用其他设备上的 Chatbox 客户端连接到此服务。
Ollama 服务的 IP 地址是你电脑在当前网络中的地址,通常形式如下:
192.168.XX.XX
在 Chatbox 中,将 API Host 设置为:
http://192.168.XX.XX:11434
注意事项
可能需要在防火墙中允许 Ollama 服务的端口(默认为 11434),具体取决于你的操作系统和网络环境。
为避免安全风险,请不要将 Ollama 服务暴露在公共网络中。家庭 Wifi 网络是一个相对安全的环境。
我目前验证了同一局域网不同设备间的连接,不同网络间的设备连接需要小伙伴验证下,欢迎反馈结果