在十年前服务器上部署 Qwen3.5 4B
AI 总结
掘金 · 人工智能记录了作者使用 Windows 10、Intel Xeon E5-2670 v2、32 GB 内存和 8 GB AMD RX 580，通过 Ollama 0.40.14 部署 Qwen3.5 4B 的过程。作者以 OpenAI 兼容 API 将模型接入 WorkBuddy 和 Dify，并报告 Xeon 作为兜底算力时的预填充速度约为 54–74 tokens/s。由于 Vulkan 后端的 flash attention 在较长提示下会输出整串零，部署选择关闭该功能，以较低生成速度换取更稳定的结果。
深度见解
这份实测记录提供了在老旧、低资源硬件上部署 Qwen3.5 4B 的具体方法，涵盖 API 接入、上下文取舍、并发限制与排障方法。
先说结论：一台十年前的机器，能跑、能对外提供服务，但整个过程不是"装完就完事"——这代硬件（AMD Polaris 显卡 + 没有 AVX2 的 Ivy Bridge CPU）逼出了三个反直觉的决定：关掉 flash attention、接受 CPU 当主力、用固定别名把参数钉死。
环境：Intel Xeon E5-2670 v2 / 32 GB DDR3L / AMD RX 580 2048SP 8 GB / Windows 10 专业版 19045，跑 Ollama 0.40.14 + 千问 3.5 4B（Q4_K_M），给局域网内的 WorkBuddy、Dify 等平台提供 OpenAI 兼容 API。
一、硬件直接决定了方案边界
| 项目 | 实际配置 | 对方案的影响 |
|---|---|---|
| CPU | Xeon E5-2670 v2，10 核 20 线程，Ivy Bridge，仅 AVX 无 AVX2 | 只能当兜底算力，预填充约 54~74 tok/s |
| 内存 | 32 GB DDR3L-1600 | 撑得住 9.6 GB 的模型 + KV 占用 |
| 显卡 | RX 580 2048SP / 8 GB，Polaris gfx803 | ROCm 不支持（只支持 RX 7600 起的 RDNA3），只能走 Vulkan |
| 系统 | Windows 10 19045 | Ollama 0.40.x 默认启用 Vulkan 后端，Polaris 可用 |
#Qwen3.5 4B#Ollama#WorkBuddy#Dify#AMD RX 580#Intel Xeon E5-2670 v2#ROCm#Vulkan