首先需要安装一个GO语言运行模型框架Ollama,支持 list,pull,push,run 等命令(相当于软件管家,上面有很多模型)。
下载地址:https://ollama.com,点击DownLoad下载
选择需要安装的环境系统,如我本地windows运行环境
下载完成之后是一个可爱的小猪,双击OllamaSetup.exe
点击install,默认只能下载C盘,预计需要4G大小存储空间
安装完成后在下面搜索框,搜索Ollama,双击运行
浏览器访问,localhost:11434 测试Ollama是否运行成功
ollama 运行之后,本地系统可以使用以下命令,比如,下面我们会使用ollama run进行Deepseek模型的部署。
ollama show:显示模型的信息
ollama list:显示模型列表。
ollama pull:拉取模型
ollama push:推送模型
ollama run:运行一个模型
ollama cp:拷贝一个模型
ollama rm:删除一个模型
首先访问 https://ollama.com/library 模型版本网站,我们选择最新的DeepseekR1模型
DeepseekR1模型共有7个版本其中
1.5B - 14B:轻量级模型,适合基础任务(文本生成、简单问答,简要的代码生成)。
32B - 70B:中等规模,平衡性能与资源消耗,适合复杂任务(逻辑推理、代码生成)。
671B:超大规模,专为高性能场景设计,如云端推理等。
参数版本 内存 GPU显存要求
1.5B 8GB 4GB 显存
7B-8B 16GB+ 4GB 到 8GB 显存
32B 32GB+ 24GB 显存
70B 64GB+ 48GB+ 显存
671B 256GB+ 640GB 显存
根据配置我这里选择7B版本,复制 ollama run deepseek-r1:7b
电脑Win+R,运行cmd,回车
执行ollama run deepseek-r1:7b命令
显示SUCCESS安装完成,下面我们开始对话吧:
退出后,我们可以使用ollama list命令查看安装的模型,使用ollama run deepseek-r1:7b命令运行模型,使用ollama rm deepseek-r1:7b命令来卸载删除模型