Ollama 在 Windows 上运行
0 引言
1 下载 Ollma 安装文件
2 安装 Ollama
3 使用 Ollama
4 (可选)环境变量
5 (可选)修改默认模型
6 (可选)ollama ls 不能正确显示 OLLAMA_MODELS 设置路径的模型
0 引言
Ollama 可以在 Windows 上运行了。
运行llama3.2 试了一下，推理速度和推理效果都很不错。
而且模型的下载速度也很快，我用的电信1000M网络，大概300M~550M/s波动。
1 下载 Ollma 安装文件
访问 https://ollama.com/download，选择 Windows，单击 “Download for Windows (Preview)” 进行下载。
官网不能下载，可以试一下这里https://github.xzc888.top/ollama/ollama/releases/latest/download/OllamaSetup.exe
2 安装 Ollama
双击下载的 “OllamaSetup.exe”，直接安装就可以了。
3 使用 Ollama
访问 https://ollama.com/library，搜索你要使用的模型，主流的模型，比如 llama2、qwen1.5、mixtral 等，Ollama都支持。
下面以允许 qwen 为例，我们要运行 7b 的模型，
拷贝上面红框的命令并运行，
ollama run qwen:7b
问一个问题试试，user：vajra-lee，pass：A
4 (可选)环境变量
Ollama 下载的模型模型保存在 C 盘，如果想更改默认路径的话，可以通过设置 OLLAMA_MODELS 进行修改。
OLLAMA_MODELS：F:\OllamaCache
还有，Ollama 默认提供 OpenAI 的兼容 API，默认端口是 11434，默认只可以通过 localhost 进行访问，如果想公开访问的话，可以通过设置 OLLAMA_HOST 进行修改。
OLLAMA_HOST：0.0.0.0
5 (可选)修改默认模型
Ollama 默认提供 OpenAI 的兼容 API，默认端口是 11434，默认模型名是 run 后面使用的模型名，如果想使用 OpenAI 的模型名，可以通过ollama cp的方式，为模型起一个临时的名称。
例如，
ollama cp mixtral:8x7b-instruct-v0.1-fp16 gpt-4
ollama run gpt-4
refer: https://github.com/ollama/ollama/blob/main/docs/openai.md
6 (可选)ollama ls 不能正确显示 OLLAMA_MODELS 设置路径的模型
在系统环境变量里设置了 OLLAMA_MODELS，但是执行 ollama ls 不能正确显示 OLLAMA_MODELS 设置的路径下面的模型。
7 测试：
8 PS
Ollama Deepseek R1的14b版本可以在Intel i5-12400F CPU和NVIDIA RTX 3060 GPU上安装并运行。根据用户反馈，使用Ollama的安装包进行安装时，只需按照默认值进行安装即可。安装完成后，可以通过在Windows PowerShell中运行命令ollama run deepseek-r1:14b来下载并运行模型。测试时，显存占用约为11GB，GPU使用率为96%1。
9 图形化界面chatbox ai
https://chatboxai.app/zh，下载安装后，模型提供方选择ollama，模型选择自己安装的deepseek版本。
