DeepSeek-R1 本地部署全攻略

DeepSeek - R1 作为一款备受瞩目的模型,其强大的性能和广泛的应用潜力令人心动。但如何在本地顺利部署它,以及怎样让它以 “满血” 状态运行,是大家迫切想要了解的。

DeepSeek-R1每个版本的配置要求及适合场景。


根据 Ollama 平台提供的 DeepSeek-R1 模型信息,以下是不同参数量模型的本地部署硬件要求和适用场景分析。

注:部分数据基于模型通用需求推测,具体以实际部署测试为准。

选择合适的DeepSeek版本不仅要考虑硬件配置,还要根据实际应用场景来决定。建议先从较小的模型开始尝试,逐步升级到更大的模型。这样可以在确保性能的同时,避免资源浪费。

如果只是运行蒸馏版本的 R1,操作并不复杂,只要显存足够,一般不会有太大问题。

但如果要运行全参数版本的 R1,所需的硬件配置可就不容小觑了。

接下来就来告诉你,如何在本地跑起来 DeepSeek-R1 所需的最小硬件配置


如果你想在本地运行 DeepSeek-R1,全参数版本的最低 GPU 配置如下:

从上图可以看出,想要本地跑 “满血版” DeepSeek-R1,最便捷的方案是 8×H200,而更大规模的分布式部署则需要 16×H800 甚至更多 GPU 资源。

目前有哪些框架可以运行 DeepSeek-R1?

DeepSeek-R1 的模型架构与 DeepSeek-V3 一致,因此官方 GitHub 将本地部署的相关信息链接到了 DeepSeek-V3 仓库[1]

目前,DeepSeek-V3(即 DeepSeek-R1)支持以下 7 种本地运行方式:

1. DeepSeek-Infer Demo:官方提供的 FP8 和 BF16 轻量级推理 Demo。

2. SGLang:支持 FP8 和 BF16 推理(多 Token 预测功能即将上线)。

3. LMDeploy:支持 FP8 和 BF16 的高效推理,可用于本地和云端部署。

4. TensorRT-LLM:支持 BF16 推理及 INT4/8 量化,FP8 支持即将推出。

5. vLLM:支持 FP8、BF16,并兼容张量并行和流水线并行。

6. AMD GPU:通过 SGLang 在 AMD 显卡上运行 FP8 和 BF16 模型。

7. Huawei Ascend NPU:支持在华为 Ascend 设备上运行 DeepSeek-V3。


©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容