前言
最近DeepSeek很火,官网版本的时不时会出现服务器忙的状态,很多人就想部署本地版本。本地版本部署起来没什么技术含量,别人大模型已经封装好了几步就可以搞定了,这里拼的是硬件实力。对于DeepSeek除了671B满血版本外,其他的版本都只阉割的,不论是深度还是精度都不是你想要的那个DeepSeek。所以,除671B版本外,其他的只是用来个人试验玩玩而已。重要的事说三遍,不要被网上的忽悠了,除了671满血版本外,其他版本只适合个人试验玩玩。
DeepSeek 不同版本模型硬件要求
模型版本 | 参数量 | 显存需求(FP16) | 推荐 GPU(单卡) | 多卡支持 | 量化支持 | 适用场景 |
---|---|---|---|---|---|---|
DeepSeek-R1-1.5B | 15亿 | 3GB | GTX 1650(4GB显存) | 无需 | 支持 | 低资源设备部署(树莓派、旧款笔记本)、实时文本生成、嵌入式系统 |
DeepSeek-R1-7B | 70亿 | 14GB | RTX 3070/4060(8GB显存) | 可选 | 支持 | 中等复杂度任务(文本摘要、翻译)、轻量级多轮对话系统 |
DeepSeek-R1-8B | 80亿 | 16GB | RTX 4070(12GB显存) | 可选 | 支持 | 需更高精度的轻量级任务(代码生成、逻辑推理) |
DeepSeek-R1-14B | 140亿 | 32GB | RTX 4090/A5000(16GB显存) | 推荐 | 支持 | 企业级复杂任务(合同分析、报告生成)、长文本理解与生成 |
DeepSeek-R1-32B | 320亿 | 64GB | A100 40GB(24GB显存) | 推荐 | 支持 | 高精度专业领域任务(医疗/法律咨询)、多模态任务预处理 |
DeepSeek-R1-70B | 700亿 | 140GB | 2x A100 80GB/4x RTX 4090(多卡并行) | 必需 | 支持 | 科研机构/大型企业(金融预测、大规模数据分析)、高复杂度生成任务 |
DeepSeek-671B | 6710亿 | 512GB+(单卡显存需求极高,通常需要多节点分布式训练) | 8x A100/H100(服务器集群) | 必需 | 支持 | 国家级/超大规模 AI 研究(气候建模、基因组分析)、通用人工智能(AGI)探索 |
部署
1. 安装Ollama
2. 安装DeepSeek
DeepSeek版本可以在这里查看:https://ollama.com/library/deepseek-r1 。
根据自己的硬件配置,安装对应的版本。这里以7B版本为例
在命令行中输入
ollama run deepseek-r1:7b
漫长的等待,等看到success
字样时说明已经安装完成,可以直接进行对话了。