本地部署大模型

目标

• 利用LM Studio本地部署DS
• 利用Ollama本地部署DS

LM Studio

要解决的问题

• 下载LM Studio

  • LM Studio设置：界面右下角设置，改为简体中文

• 下载DS

  • 网站首页 · 魔搭社区或者HF-Mirror，格式GGUF

  • 模型推荐

    • DeepSeek-R1

    • 下载小于显存的模型

      • 查看显存：任务管理器=>性能=>GPU

  • 载入模型

Ollama

• • 视频链接0:01
  • 参考链接DeepSeek-R1 实测 + 本地部署教程！最强开源AI大模型，完全免费，实力媲美OpenAI-O1 | 零度解说-零度博客

• Ollama下载链接

• ollama.exe文件地址中通过cmd更改安装路径：ollamasetup.exe /DIR=+文件夹路径

  ollamasetup.exe /DIR=E:\AI\Ollama

• ollama安装模型路径更改

  变量OLLAMA_MODELS

  值E:\Program Files (x86)\Ollamamodels

  环境变量https://cloud.tencent.com/developer/news/2149855

• <span data-type="text" style="background-color: var(--b3-font-background12);">实在不行直接在地址栏cmd运行ollama</span>

• 下载链接=>模型=>run

• 不喜欢可以用ollama rm 模型 删除的

• UI

  • ChatBox客户端【点击安装】

    • 在设置中选择Ollama
    • 选择本地的模型

  • Web UI 控制端【****点击安装 】