DeepSeek本地部署和远程访问

如果不想部署本地,又想使用满血版DeepSeek-R1请关注我的上一遍文章《满血版DeepSeek-R1使用教程,不用部署本地

在使用DeepSeek和 AI 对话时选择深度思考时,经常会出现类似下面这样「服务器繁忙」的情况

目前网络上有很多教程都是关于deepseek的使用,总结起来就三点

1、使用DeepSeek官方链接

2、本地部署

3、使用第三方(注册硅基流动

官方链接上面说到了,目前DeepSeek正处于流量的巅峰时期,经常出现服务器繁忙,这点让人很焦虑(其实也可以搞个浏览器插件,使用机器人在检测到服务器繁忙后自动点击重试);

这里我们介绍本地部署

Ollama,一款开源的大语言模型本地部署框架,主要用来在我们本地电脑上部署和运行大语言模型

首先我们需要下载ollama:https://ollama.com/download



Ollama安装成功后在控制台输入命令汗ollama -v,如果显示版本就说明安装成功了

接下来我们需要下载DeepSeek-R1模型

首选我们进入Ollama官网:https://ollama.com/search

进入Models中找到DeepSeek-R1

这里我们需要知道我们电脑适合安装多大【参数规模】和【模型文件大小】的模型

如果我们第一次接触还不知道可以像我一样问问DeepSeed(这里去deepseed官网直接问,选择联网搜索就可以了)


我的电脑是iMac,配置Intel Core i5 内存: 16GB RAM,我们可以问问它适合配置多大的模型参数

虽然DeepSeek告诉我电脑适合下载1.5b的,但是我觉得我的mac16G应该也可以使用7b,这里就做个尝试;选中7B后要复制右上角的命令

进入控制台

刚才复制的命令:ollama run deepseek-r1:7b

等待下载完成


其实进入Ollama查找DeepSeek-R1就是为了获取ollama run deepseek-r1:7b命令,我们也可以不同去Ollama查找DeepSeek-R1,直接去命令行输入ollama run deepseek-r1:XXXb,其中XXX就代表参数模型的规模1.5、7、8、、、


Chatbox的使用:

接下来我们需要一个客户端来承载我们本地部署的模型,实现对话交互;当然这里也可以直接在控制台进行对话,那样交互效果肯定不是很好


下载:https://chatboxai.app/zh

安装完成后打开app,安装步骤操作



这里模型提供方选择Ollama API


模型选择Deepseek-r1


这里就完成了设置,可以去对话框对话了


远程访问

下载并运行 llama3.2 模型

ollama run llama3.2

下载并运行 deepseek-r1:7b 模型

ollama run deepseek-r1:7b

你需要确保远程 Ollama 服务正确配置并暴露在当前网络中,以便 Chatbox 可以访问。默认情况下,需要对远程 Ollama 服务进行简单的配置

如何配置远程 Ollama 服务?

默认情况下,Ollama 服务仅在本地运行,不对外提供服务。要使 Ollama 服务能够对外提供服务,你需要设置以下两个环境变量:

OLLAMA_HOST=0.0.0.0

OLLAMA_ORIGINS=*

在 MacOS 上配置

打开命令行终端,输入以下命令:

launchctl setenv OLLAMA_HOST "0.0.0.0"

launchctl setenv OLLAMA_ORIGINS "*"

重启 Ollama 应用,使配置生效。

在 Windows 上配置

在 Windows 上,Ollama 会继承你的用户和系统环境变量。

通过任务栏退出 Ollama。

打开设置(Windows 11)或控制面板(Windows 10),并搜索“环境变量”。

点击编辑你账户的环境变量。

为你的用户账户编辑或创建新的变量 OLLAMA_HOST,值为 0.0.0.0; 为你的用户账户编辑或创建新的变量 OLLAMA_ORIGINS,值为 *

点击确定/应用以保存设置。

从 Windows 开始菜单启动 Ollama 应用程序。

在 Linux 上配置

如果 Ollama 作为 systemd 服务运行,应使用 systemctl 设置环境变量:

调用 systemctl edit ollama.service 编辑 systemd 服务配置。这将打开一个编辑器。

在 [Service] 部分下为每个环境变量添加一行 Environment:

[Service]

Environment="OLLAMA_HOST=0.0.0.0"

Environment="OLLAMA_ORIGINS=*"

保存并退出。

重新加载 systemd 并重启 Ollama:

systemctl daemon-reload

systemctl restart ollama

服务 IP 地址

配置后,Ollama 服务将能在当前网络(如家庭 Wifi)中提供服务。你可以使用其他设备上的 Chatbox 客户端连接到此服务。

Ollama 服务的 IP 地址是你电脑在当前网络中的地址,通常形式如下:

192.168.XX.XX

在 Chatbox 中,将 API Host 设置为:

http://192.168.XX.XX:11434

注意事项

可能需要在防火墙中允许 Ollama 服务的端口(默认为 11434),具体取决于你的操作系统和网络环境。

为避免安全风险,请不要将 Ollama 服务暴露在公共网络中。家庭 Wifi 网络是一个相对安全的环境。

我目前验证了同一局域网不同设备间的连接,不同网络间的设备连接需要小伙伴验证下,欢迎反馈结果

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 220,458评论 6 513
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 94,030评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 166,879评论 0 358
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,278评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,296评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,019评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,633评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,541评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,068评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,181评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,318评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,991评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,670评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,183评论 0 23
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,302评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,655评论 3 375
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,327评论 2 358

推荐阅读更多精彩内容