前言

在Windows本地部署大模型服务，最大的好处是数据不出本机、低延迟、不依赖外网。提示词、文档、业务数据都保存在本地硬盘，不会上传到第三方云端；推理时不用走网络请求，响应更稳定，不受带宽波动影响。部署也很灵活，单机就能快速搭建调试，方便开发、测试和私有化原型验证，断网环境也能继续使用，还能自行控制模型版本、参数和硬件资源，省去云API的调用成本和速率限制。

测试验证环境

• Windows 10（11也可以）
• Nvidia RTX 5060ti 16g。（显存越大越好。AMD显卡，Intel核显需要折腾环境）
• 32G RAM（最小要求）

模型下载

模型我们选择Qwen3.8-27B-IQ4-XS-MTP-16GB-VRAM-GGUF模型。

Qwen3.8-27B原始精度的权重有几十GB，量化成IQ4_XS后缩到约13.9GB，可以完全加载到16G显存，还能给上下文留一点KV缓存的空间。IQ4_XS是4bit量化里精度损失较小的一种，日常问答、长文本基本看不出和原版的差别。

该模型在16G显存环境约束下具有较小的量化损失。剩余显存空间还能放下约100k上下文。同时支持MTP（Multi-Token Prediction，多令牌预测），相比普通版本推理性能可以提高20%左右。

模型连接如下：

https://huggingface.co/Bucoid/Qwen3.8-27B-IQ4-XS-MTP-16GB-VRAM-GGUF

如因为网络问题无法访问，可使用其他镜像站，或者在ModelScope中查找同类模型。

工具选择

下面将作者本人使用过的工具。按照对使用者的技术要求从低到高排序，逐个介绍。这些工具均可免费使用。

LMStudio

LM Studio是一款在电脑上本地运行大模型的桌面软件，支持Windows、macOS和Linux。界面就是一个聊天窗口，也能搜索、下载模型，传文档进去对话（RAG），或者接MCP工具。跑起来后可以开一个本地API服务，暴露 OpenAI 兼容的接口，其他程序就能通过这个地址调用你本机的模型。整个过程都在本地，不需要联网。

对于非软件专业人员，强烈建议使用LMStudio。

https://lm-studio.cn/home

重点优化参数：

运行环境配置：采用优先CUDA（Nvidia 显卡）。如果是AMD显卡使用ROCm。

有些高级配置项需要打开开发者模式才能看到。
打开开发者模式的方法：打开设置面板，点击开发者标签，在右侧打开开发者模式。

加载模型的配置：

• gpu ratio = max。确保全部的模型层加载
• Context Length上下文长度。按照任务需求配置。建议首次使用的时候配置类似于10000等较小的值，先能稳定运行，再逐步调大。
• 启用Flash Attention。很大程度加快推理速度。
• KV 缓存量化：可不调整。建议使用q8_0，或者调整为q4_0，损失一点推理质量，换取支持较大的Context Length。
• MTP（MTP Speculative Decoding）开启。MTP Max Draft Tokens配置为2。

作者试用的感受如下。
优点：

• 是本文中3个工具中最易于使用，最傻瓜化的。
• 图形化界面非常好。操作容易。
• 功能较全。
• 安装部署简单全自动化。推理框架一键切换。

缺点：

• 显卡等推理设备驱动库版本较为滞后。
• 推理速度较慢，实测约10 tokens/s。

Unsloth Desktop

Unsloth Desktop是Unsloth AI推出的开源、免费、100%本地运行原生桌面应用，同样跨Windows/macOS/Linux。相比LM Studio新增大模型微调支持，Desktop把推理 + 微调 + 多模态 + Agent全部整合到图形界面应用中。底层推理框架为PyTorch + CUDA / Triton，也可选择llama.cpp。

官方网站：https://unsloth.ai/docs/zh/desktop。

Unsloth Desktop适合有一定专业知识，但有想依赖图形界面的人士使用。

作者试用的感受如下。
优点：

• 支持的配置项非常多。
• 同样具有图形化界面。易于操作。
• 模型库默认是自家的量化模型。减少显存占用的同时推理效果优于其他家同样的量化模型。
• 支持模型微调。
• 推理速度较快，约30+ tokens/s。

缺点：

• 首次使用需要安装大量依赖库，由于网络环境问题非常缓慢，且占用大量磁盘空间（Pytorch + CUDA等占用约6-8GB空间，远多于其他两个工具）。
• 安装时调试网络问题具有一定门槛。

Llama Server (Llama.cpp)

llama.cpp开源免费，是纯C/C++编写的本地大模型推理引擎，底层基于ggml张量库。支持全平台GPU、多模态、MTP多token预测、FlashAttention等。前面LM Studio的底层推理框架实际上均为llama.cpp。但版本不一定完全跟进了llama.cpp社区迭代速度。

如果决定直接使用Llama server，无图形界面，配置项最为丰富，可以灵活选择版本。使用具有较高的门槛，适合专业人员使用。

作者找到了Llama.cpp的Windows编译版本。解压后可直接运行，省去繁琐的编译步骤。

安装包下载地址：https://github.com/ggml-org/llama.cpp/releases

下载如下两个包（以b11672版本为例）：

• cudart-llama-bin-win-cuda-13.4-x64.zip
• llama-b11672-bin-win-cuda-13.4-x64.zip

解压llama-b11672-bin-win-cuda-13.4-x64.zip到任意目录。然后解压cudart-llama-bin-win-cuda-13.4-x64.zip到相同目录。

注意：不要忘了下载和解压cudart。否则llama-server加载模型的时候，会判断为系统不存在显卡设备，使用CPU推理。性能极差。

示例启动参数：

llama-server.exe ^ 
-m "D:\\models\\Qwen3.8-27B-IQ4-XS-MTP-16GB-VRAM-GGUF.gguf" ^ 
-ngl 999 ^ 
-c 32768 ^ 
-fa on ^ 
--cache-type-k q8\_0 ^ 
--cache-type-v q8\_0 ^ 
--spec-type draft-mtp ^ 
--spec-draft-n-max 2 ^ 
--spec-draft-p-min 0.7 ^ 
--threads 8 ^ 
--threads-batch 8 ^ 
--host 127.0.0.1 ^ 
--port 8080 ^ 
--jinja

参数解析如下：

1. -m "xxx.gguf" --model，指定模型文件路径，加载 Qwen3.8-27B IQ4-XS MTP GGUF。

MTP = Multi-Token Prediction，多 token 预测，用来做推测解码（speculative decoding），所以下面才有 draft-mtp。

2. -ngl 999 --n-gpu-layers：把模型的最多 999 层放到 GPU 显存。 999 是一个大于模型总层数的大数，含义：尽可能把全部模型层加载到 GPU，实现全 GPU 推理。

如果你的 VRAM 不够，llama.cpp 会自动回退一部分层到内存。

3. -c 32768--ctx-size，上下文窗口大小：32768 token。 控制最大输入 + 输出 token 总和，数值越大占用显存越高。
4. -fa on--flash-attn on，开启 Flash Attention。 降低 KV 缓存显存占用，提升长上下文推理速度，现代 N 卡强烈建议开启。
5. --cache-type-k q8_0 / --cache-type-v q8_0 KV 缓存量化：Key 缓存、Value 缓存都使用 q8_0 量化。

• KV 缓存量化：不对模型权重量化，只对推理过程产生的 KV 缓存压缩；
• q8_0：8bit 量化，精度损失很小，能显著减少 KV 缓存显存开销，适合 32k 长上下文。

6. --spec-type draft-mtp 推测解码类型：使用模型内置 MTP 头做自推测解码（speculative decoding）。

MTP 模型本身自带 draft 分支，不需要额外单独的小 draft 模型，主模型自己生成 draft token，再验证。这是 Qwen3.8 MTP 版本的核心特性。

7. --spec-draft-n-max 2 推测解码：最多一次性预生成 2 个 draft token，然后一次性验证。

每次解码迭代，MTP 一次性预测最多 2 个候选 token，校验通过就直接输出，减少 GPU 推理步数，提升生成速度。数值越大加速潜力越高，但显存 / 失败回退开销也上升。

8. --spec-draft-p-min 0.7 推测解码最小置信阈值：draft token 概率≥0.7 才会被接受。 当 MTP 预测出来的 draft token 置信度低于 0.7，就丢弃，回退到正常单 token 解码。 调高 = 更保守，准确率更高，加速效果变弱；调低更容易接受 draft token，速度更快，但有可能出现文本错乱。
9. --threads 8 CPU 线程数：用于模型加载、非 GPU 层推理、token 预处理的主线程数量。
10. --threads-batch 8 批处理线程数：用于batch 推理、并行 prompt 处理的 CPU 线程。

全 GPU 推理场景下，这两个线程参数影响会变小；如果部分层落在 CPU/RAM 上，这两个参数对速度影响明显。

11. --host 127.0.0.1 监听地址：只监听本机回环地址，仅本机可以访问 API，局域网其他机器无法连接。 如果需要局域网访问，改为 --host 0.0.0.0
12. --port 8080 HTTP 服务端口，API 地址：http://127.0.0.1:8080，兼容 OpenAI 接口格式。
13. --jinja 启用模型内置 Jinja chat 模板。 自动读取 GGUF 内保存的 chat template，自动处理 system/user/assistant 对话格式化，不用手动拼接 prompt 字符串。

Qwen 系列模型推荐开启，避免对话模板写错导致输出异常。

作者试用的感受如下。
优点：

• 版本选择及其灵活，不受图形界面程序的限制。
• 可以最先使用社区新发布的版本。
• 具有最丰富的配置项。方便调优。
• 没有图形界面等额外负担。
• 资源占用最小。
• 推理速度较快，测试可达40 tokens/s。

缺点：

• 命令行方式启动，具有一定门槛。
• 需要指定大量配置参数。