本地部署DeepSeek R1模型(蒸馏版)

一边学习,一边总结,一边分享!

本期教程

前言

Deepseek这久很火,在年后就说要本地部署Deepseek。但一直苦于没有时间,昨晚太累了,早早就下班,在下班前,将R1的模块在电脑中下载,我安装的R1-7B,差不多也就是4G+。

因此,大家若是要部署自己本地,小杜也建议你在晚上下载R1模型。

本地部署

1. 下载Ollama

官网:
https://ollama.com/download/windows

选择对应的系统,我们本次部署使用Windows系统。

2. 安装Ollama
正常安装软件。

请注意,Ollama本地安装,直接安装在C盘。因此,你需要考虑自己的C盘是否有足够的空间。(PS:我们在安装时,没有更改路径的操作)。

3. 下载R1模型

网址:https://ollama.com/library/deepseek-r1

[图片上传失败...(image-6e4c3b-1740377038577)]

我们个人的话,基本就是使用蒸馏版本的。完整版本671b,自己电脑配置很难运行。

个版本模型,需要的配置,大家可以参考下面这张图片。

[图片上传失败...(image-ed2fb2-1740377038577)]
(PS:图片来源:https://mp.weixin.qq.com/s/dnzqoXDMaIR8L_JCL2asDg

安装好Ollama后,会跳出一个cmd窗口,若是没有,自己点击Ollama即可。

在cmd窗口输入自己下载R模型的命令。

ollama run deepseek-r1:7b
## 本次安装的事7b

经过一段时间(此时间,基于你的网速),即可安装完成。

在下载完成后,出现success,表明你的Deepseek已经可以运行。

此时,你也可以在此窗口进行使用,如下所示。

[图片上传失败...(image-31c843-1740377038577)]

使用Cherry Studio调用模型,进行对话

在cmd界面操作,可能不美观及不方便,因此,我们需要使用第三方平台进行调用。

软件网址:
https://cherry-ai.com/download

[图片上传失败...(image-c300f6-1740377038577)]

1. 安装
基本操作步骤,不再赘述。

2. 下载自己需要系统版本。

3. 接入Deepseek

软件自身是可以接入很多AI工具。

4. 接入操作

(1)点击设置

(2)选择Ollama

(3)选择管理


(4)选择Deepseek-r1

(5)点击检查,显示连接成功

(6)将Ollama拖移到顶部

(7)嵌入模型

我们操作完,上面的步骤后,可能运行Deepseek可能会出现以下的提示。此时,表明你的Deepseek依旧是在Cherry Studio中无法使用。

出现这样的问题时,我们需要在对话界面中点击顶部,将其选择为Deepseek(PS:这是我在使用时的操作)。

OK!设置成功后,本地Deepseek就已经配置成功。


问题:

在配置本地Deepseek后,我并不知道,此模型是否调用了我的显卡(PS:我的显卡是外置)。

但是,回答问题的速度也还可以。但是,使用蒸馏版的,那就只是有蒸馏版的表现。

若我们的教程对你有所帮助,请点赞+收藏+转发,大家的支持是我们更新的动力!!


2024已离你我而去,2025加油!!

2024年推文汇总 (点击后访问)

2023年推文汇总 (点击后访问)

2022年推文汇总 (点击后访问)

往期部分文章

1. 最全WGCNA教程(替换数据即可出全部结果与图形)

推荐大家购买最新的教程,若是已经购买以前WGNCA教程的同学,可以在对应教程留言,即可获得最新的教程。(注:此教程也仅基于自己理解,不仅局限于此,难免有不恰当地方,请结合自己需求,进行改动。)


2. 精美图形绘制教程

3. 转录组分析教程

4. 转录组下游分析

小杜的生信筆記 ,主要发表或收录生物信息学教程,以及基于R分析和可视化(包括数据分析,图形绘制等);分享感兴趣的文献和学习资料!!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容