本地DeepSeek部署实战:局域网访问与API对外开放技巧

本地DeepSeek部署实战:局域网访问与API对外开放技巧

|  原创作者/编辑:凯哥Java                            |  分类:人工智能学习系列教程


GitHub上deepseek-r1截图

PS:本文是本地化部署DeepSeek系列教程第四篇。本系列共计5篇文章,最终,我们讲实操在Windows操作系统和Mac操作系统实现本地部署DeepSeek-R1大模型。

首页_凯哥Java - java基础;spring boot学习;微服务;Java教程;Java web;kaigejava;凯哥Java - 凯哥Java

本地部署

本系列教程其他文章,还在文章末尾添加。欢迎系统学习

在前面文章中,咱们已经在自己本地部署了deepseek了,那么在同一个局域网中的其他电脑怎么访问?模型提供的API怎么对外访问呢?

通过前面文章介绍,我们已经在本地部署了deepseek,并且通过localhost或者是127.0.0.1可以正常访问到。但是,如果我们想要把这个本地部署的服务给别人使用,就会发现访问不了。同时,如果我们想要把本地的大模型通过API方式对外提供服务,通过IP访问不了。怎么办呢?本文,咱们就来解决这些问题。

在解决这个问题前,咱们先要知道Ollama的环境变了及作用。

Ollama环境变量介绍

Ollama环境变量全解析

环境变量功能说明默认值/示例

OLLAMA_HOST设置API服务监听地址与端口,0.0.0.0表示允许所有IP访问0.0.0.0:11434

OLLAMA_ORIGINS允许跨域请求的域名列表,*为通配符*

OLLAMA_MODELS自定义模型存储路径,避免占用系统盘空间D:\ollama_models

OLLAMA_KEEP_ALIVE控制模型在内存中的保留时间,减少重复加载开销24h(24小时)

OLLAMA_NUM_PARALLEL并行处理请求数,提升高并发场景下的吞吐量2

OLLAMA_DEBUG启用调试日志,排查服务异常1(开启)

OLLAMA_GPU_OVERHEAD扩展显存不足时,利用RAM/VRAM混合加载大模型(需手动计算显存值)81920000000(80GB)

为什么需要配置OLLAMA_HOST及OLLAMA_ORIGINS?

1. 突破本地限制:局域网访问

默认情况下,Ollama仅监听127.0.0.1:11434,仅允许本机访问。通过设置OLLAMA_HOST=0.0.0.0:端口号,可将服务绑定到所有网络接口,实现局域网内多设备共享模型资源。

2. 解决跨域问题:Web UI集成

浏览器安全策略会阻止跨域请求,例如使用Open WebUI或LobeChat等前端工具时。配置OLLAMA_ORIGINS=*(允许所有来源)或指定域名列表(如"http://localhost:3000,http://yourdomain.com"),可解除跨域限制。

3. 安全与性能平衡

开放访问需权衡风险,建议结合防火墙规则限制IP范围,或通过反向代理(如Nginx)添加HTTPS加密层。

三、跨系统环境变量配置指南

1. Windows系统

步骤1:右键“此电脑” → 属性 → 高级系统设置 → 环境变量 → 用户变量 → 新建变量。

步骤2:添加关键变量(如OLLAMA_HOST和OLLAMA_ORIGINS),保存后需彻底重启Ollama服务(通过任务管理器终止进程后重新启动)。

实战技巧:若模型路径含空格,需使用双引号包裹路径值(如"E:\AI Models\Ollama")。

2. Linux系统(Systemd管理)

步骤1:编辑服务文件:

sudo vim /etc/systemd/system/ollama.service

复制

步骤2:在[Service]段添加环境变量:

Environment="OLLAMA_HOST=0.0.0.0:11434"Environment="OLLAMA_ORIGINS=*"

复制

步骤3:重载配置并重启服务:

sudo systemctl daemon-reload

sudo systemctl restart ollama

复制

3. macOS系统

永久配置:编辑.bash_profile或.zshrc:

export OLLAMA_HOST=0.0.0.0:11434export OLLAMA_ORIGINS="*"

复制

临时生效:使用launchctl命令(重启后失效):

launchctl setenv OLLAMA_HOST 0.0.0.0:11434launchctl setenv OLLAMA_ORIGINS "*"

复制

四、实战:DeepSeek模型部署与API开放

场景需求

在局域网内共享DeepSeek-R1模型

允许前端应用通过http://192.168.1.100:8080调用API

配置步骤

设置环境变量(Windows示例):

需要修改如下三个环境变量

OLLAMA_HOST=0.0.0.0:8080OLLAMA_ORIGINS=*OLLAMA_MODELS=G:\DeepSeek_Models

复制

编辑环境变量,然后添加如下:


重启服务并加载模型:

ollama run deepseek-r1:671b


验证API可用性:

curl http://192.168.1.100:8080/api/generate -d '{"model":"deepseek-r1:671b", "prompt":"你好"}'

复制

性能优化建议

使用OLLAMA_KEEP_ALIVE=48h减少频繁模型加载

结合OLLAMA_NUM_PARALLEL=4提升并发处理能力913

五、常见问题与解决方案

环境变量未生效

Windows:检查进程是否完全重启,避免残留旧配置15。

macOS:使用env | grep OLLAMA确认变量已加载,或尝试launchctl临时方案8。

跨域配置错误

若前端仍报CORS错误,检查OLLAMA_ORIGINS是否包含协议和端口(如http://localhost:3000)8。

端口冲突

通过netstat -ano | findstr :8080(Windows)或lsof -i :8080(Linux/macOS)排查占用端口。

通过合理配置环境变量,Ollama可轻松实现从单机工具到团队协作平台的转型。掌握这些技巧后,开发者不仅能高效管理本地大模型,还能将其无缝集成至更复杂的AI应用生态中。

填坑操作

在之前本地部署后,想要通过ip访问ollama-web-ui,发现不能正常访问。其实这里有个小小的坑。那就是ollama-web-ui中把访问Ollama的ip写死了。具体修改地方: 使用编辑器或者是文本编辑找到constants.ts文件,然后如下图修改就可以了。

修改完成之后,重启ollama-webui就可以了。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 220,295评论 6 512
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,928评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 166,682评论 0 357
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,209评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,237评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,965评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,586评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,487评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,016评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,136评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,271评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,948评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,619评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,139评论 0 23
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,252评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,598评论 3 375
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,267评论 2 358

推荐阅读更多精彩内容