1、原因：

  非ollama平台直接下载的大模型有各种各样的格式，无法用ollama直接运行

2、基本步骤：

1）转换格式
2）量化
3）生成ollama执行文件

3、下载转换文件github.com上的llama.cpp文件

1）下载文件
github.com/ggerganov/llama.cpp
2）安装该文件相关依赖,进入\llama.cpp-master执行
  pip install -r requirements.txt
3）在\llama.cpp-master下打开命令行，执行python的转化命令（“convert_hf_to_gguf.py”是cpp的文件名称；“D:\models\deepseek-ai\DeepSeek-R1-Distill-Qwen-7B”是在其他平台下载的模型文件夹保持地址，执行完成后生成“DeepSeek-R1-Distill-Qwen-7B-F16.gguf”）
  python convert_hf_to_gguf.py D:\models\deepseek-ai\DeepSeek-R1-Distill-Qwen-7B

4、量化

1）下载量化文件（根据电脑系统下载）
  github.com/ggerganov/llama.cpp/releases

image.png

     2）进入量化文件内执行命令(参数：第一个是输入文件，第二个输出文件，第三个是量化算法)
      ./llama-quantize.exe D:\models\deepseek-ai\DeepSeek-R1-Distill-Qwen-7B\DeepSeek-R1-Distill-Qwen-7B-F16.gguf D:\models\deepseek-ai\DeepSeek-R1-Distill-Qwen-7B\DeepSeek-R1-Distill-Qwen-7B-F16-Q4_K_M.gguf Q4_K_M

5、生成Ollama可执行文件

1）创建Modelfile文件
FROM ./DeepSeek-R1-Distill-Qwen-7B-F16.gguf
TEMPLATE """{{ if .System }}<|im_end|>system
{{ .System }}<|im_end|>{{ end }}<|im_end|>user
{{ .Prompt }}<|im_end|>
<|im_end|>assistant
"""
PARAMETER stop "<|im_end|>"
PARAMETER stop "<|im_end|>"

image.png

  2）命令行执行ollama加载模型文件（"DeepSeek-R1-Distill:7B"自定义的模型名称）
    ollama create DeepSeek-R1-Distill:7B -f Modelfile
  3）查看ollama已加载的模型列表
    ollama list
  4）运行模型
    ollama run DeepSeek-R1-Distill:7B