ollama运行非官方大模型

1、原因:

  非ollama平台直接下载的大模型有各种各样的格式,无法用ollama直接运行

2、基本步骤:

1)转换格式
2)量化
3)生成ollama执行文件

3、下载转换文件github.com上的llama.cpp文件

1)下载文件
github.com/ggerganov/llama.cpp
2)安装该文件相关依赖,进入\llama.cpp-master执行
  pip install -r requirements.txt
3)在\llama.cpp-master下打开命令行,执行python的转化命令(“convert_hf_to_gguf.py”是cpp的文件名称;“D:\models\deepseek-ai\DeepSeek-R1-Distill-Qwen-7B”是在其他平台下载的模型文件夹保持地址,执行完成后生成“DeepSeek-R1-Distill-Qwen-7B-F16.gguf”)
  python convert_hf_to_gguf.py D:\models\deepseek-ai\DeepSeek-R1-Distill-Qwen-7B

4、量化

1)下载量化文件(根据电脑系统下载)
  github.com/ggerganov/llama.cpp/releases
image.png
     2)进入量化文件内执行命令(参数:第一个是输入文件,第二个输出文件,第三个是量化算法)
      ./llama-quantize.exe D:\models\deepseek-ai\DeepSeek-R1-Distill-Qwen-7B\DeepSeek-R1-Distill-Qwen-7B-F16.gguf D:\models\deepseek-ai\DeepSeek-R1-Distill-Qwen-7B\DeepSeek-R1-Distill-Qwen-7B-F16-Q4_K_M.gguf Q4_K_M

5、生成Ollama可执行文件

1)创建Modelfile文件
FROM ./DeepSeek-R1-Distill-Qwen-7B-F16.gguf
TEMPLATE """{{ if .System }}<|im_end|>system
{{ .System }}<|im_end|>{{ end }}<|im_end|>user
{{ .Prompt }}<|im_end|>
<|im_end|>assistant
"""
PARAMETER stop "<|im_end|>"
PARAMETER stop "<|im_end|>"
image.png
  2)命令行执行ollama加载模型文件("DeepSeek-R1-Distill:7B"自定义的模型名称)
    ollama create DeepSeek-R1-Distill:7B -f Modelfile
  3)查看ollama已加载的模型列表
    ollama list
  4)运行模型
    ollama run DeepSeek-R1-Distill:7B
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容