DeepSeek-R1 基于ollama+vscode本地搭建(含下载连接)

背景介绍

      DeepSeek-R1 是深度求索公司推出的高性能开源推理模型,专注于数学推导、代码生成和自然语言推理任务。其独特之处在于采用知识蒸馏技术,能够将大型模型的能力浓缩至更小参数量级(如1.5B/7B/32B),在保持高准确性的同时显著降低硬件门槛,支持2G显存设备运行。该模型通过分步展示推理过程增强可解释性,并遵循MIT开源协议,适用于教育辅助、编程开发等场景。

    Ollama 是一款基于Go语言开发的轻量化本地大模型部署框架,其设计理念类似于Docker,通过命令行实现模型管理(pull/run/list等),支持Windows、Linux、macOS多平台部署。该框架内置模型仓库提供DeepSeek-R1、Llama2等主流模型,结合CPU/GPU混合计算优化,使开发者无需云端依赖即可构建RAG系统或对话应用。通过OpenWebUI等扩展组件,用户可获得类ChatGPT的交互体验,实现私有化AI服务快速搭建。

       基于以上两个背景,本人也做了deepseek-r1 1.5B本地化部署,结合vscode进行使用。

Ollama下载

      ollama可以通过官网(https://ollama.com)下载,也可以共同以下百度网盘(https://pan.baidu.com/s/1hUO4-ZKsAoOITVPTHTMqLg?pwd=tcj1)进行下载。ollama模型库(https://ollama.com/search)里面有很多流行大语言模型,可根据自己的需要下载。

deepseek模型下载

      下载Ollama 模型库上的deepseek模型链接deepseek-r1(https://ollama.com/library/deepseek-r1)。DeepSeek 的第一代推理模型具有与 OpenAI-o1 相当的性能,包括从基于 Llama 和 Qwen 的 DeepSeek-R1 中提炼出的六个密集模型(1.5B,7B,8B,14B,32B,70B,671B)。

        DeepSeek 团队已经证明,较大模型的推理模式可以提炼成较小的模型,与通过 RL 在小模型上发现的推理模式相比,性能更好。 以下是使用 DeepSeek-R1 生成的推理数据,通过针对研究界广泛使用的几个稠密模型进行微调创建的模型。评估结果表明,提炼后的较小稠密模型在基准测试中表现异常出色。对于日常办公1.5B-7B的小模型基本够用,1.5B模型还可以部署在CPU上,非常方便,本文介绍deepseek1.5B模型的本地部署。

以上蒸馏模型的下载方法:

DeepSeek-R1-Distill-Qwen-1.5B

ollama run deepseek-r1:1.5b

DeepSeek-R1-Distill-Qwen-7B

ollama run deepseek-r1:7b

DeepSeek-R1-Distill-Llama-8B

ollama run deepseek-r1:8b

DeepSeek-R1-Distill-Qwen-14B

ollama run deepseek-r1:14b

DeepSeek-R1-Distill-Qwen-32B

ollama run deepseek-r1:32b

DeepSeek-R1-Distill-Llama-70B

ollama run deepseek-r1:70b

另外也可以用ollama pull指令将模型镜像下载到本地,之后在通过ollama run指令启动本地模型,另外通过ollama list可以查看当前系统下有多少个模型镜像。

VS Code插件本地部署

首先打开vscode的应用扩展界面,输入“continue”,找到Continue插件,点击改插件右下角的蓝色“install”按钮进行安装。

本文搭建的硬件平台是纯CPU版本。可以搭建gpu版本,ollama做了相关兼容。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容