AMD显卡支持Ollama安装

# AMD显卡Ollama安装

## 下载HIP SDK

请访问AMD官方网站下载最新的HIP SDK：

[AMD HIP SDK](https://www.amd.com/en/developer/resources/rocm-hub/hip-sdk.html)

若您的显卡型号未在官网列出，请参考相关教程，使用`roclibs`替换相应文件以确保兼容性。

## 获取Ollama代码库

通过GitHub获取Ollama的源代码。执行以下命令克隆仓库：

```bash
git clone https://github.com/ollama/ollama.git

这将下载整个代码库到您的本地机器上。

修改Ollama源代码以支持更多AMD显卡

添加显卡型号支持

编辑文件[Ollama根目录]/llm/generate/gen_windows.ps1，在AMD显卡列表中添加您的显卡型号（如gfx1103.gfx1031...）。

对于部分集成显卡（核显），由于Ollama默认屏蔽了它们，您还需要修改文件ollama/gpu/amd_windows.go，大约第20行，将iGPUName = "AMD Radeon(TM) Graphics"更改为一个不存在的名字，例如iGPUName = "AMD 2024 Graphics"，以避免被识别为核显。

环境搭建

选择安装Visual Studio或MinGW作为开发环境。具体步骤请参阅Ollama官方文档：

Windows Development Setup

编译与构建

完成上述设置后，在vs中打开Ollama项目，并在项目根目录下右键点击选择“在此处打开PowerShell窗口”。输入以下命令来配置编译环境：

$env:CGO_ENABLED="1"
go generate ./...

这些命令会自动下载所需的依赖项。下一步，全局搜索gfx1102（当前支持的显卡型号之一），并根据自己的显卡型号（例如gfx1103）在相应的文件中添加支持。主要修改位于llm/generate文件夹下的gen_windows.ps1文件。

修改完成后，在Ollama根目录下运行以下命令进行构建：

go build .

成功构建后，将在当前目录生成ollama.exe文件。

运行Ollama服务

现在可以通过命令行启动Ollama服务：

./ollama serve

在同一文件夹中，通过以下命令运行模型（例如llama3）：

./ollama run llama3

官方编译安装

如果觉得上述过程过于复杂，可以选择直接编译官方提供的安装包。按照app/README.md中的说明操作。首先下载并安装Inno Setup，然后在Ollama根目录运行以下PowerShell命令：

powershell -ExecutionPolicy Bypass -File .\scripts\build_windows.ps1

完成后，您可以在dist文件夹中找到生成的安装包。安装该包即可轻松使用Ollama。

注意事项

  • 如果使用zluda遇到兼容性问题，尝试移除zluda文件夹内的nvml.dll文件。
  • 考虑使用lobe chat改善终端界面体验：lobe chat
  • 对于特定显卡型号（如gfx90c:xnack-, gfx1010:xnack-, gfx1012:xnack-），如果无法正常运行，需要在环境变量中设置HSA_OVERRIDE_GFX_VERSION。

资源

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。