Deploying Qwen3.5 4B on a Legacy RX 580 Server
A report from 掘金 · 人工智能 documents running Qwen3.5 4B with Ollama 0.40.14 on Windows 10 using an Intel Xeon E5-2670 v2, 32 GB of memory, and an 8 GB AMD RX 580. The author exposes the model to WorkBuddy and Dify through an OpenAI-compatible API, with the Xeon serving as fallback compute at a reported prefill speed of about 54–74 tokens per second. Because the Vulkan flash-attention path produced zero-filled output on longer prompts, the deployment disables flash attention and accepts slower generation for more predictable results.
The first-hand configuration documents a reproducible way to serve Qwen3.5 4B on aging, low-resource hardware, including its API setup, context trade-offs, concurrency limits, and troubleshooting steps.
先说结论：一台十年前的机器，能跑、能对外提供服务，但整个过程不是"装完就完事"——这代硬件（AMD Polaris 显卡 + 没有 AVX2 的 Ivy Bridge CPU）逼出了三个反直觉的决定：关掉 flash attention、接受 CPU 当主力、用固定别名把参数钉死。
环境：Intel Xeon E5-2670 v2 / 32 GB DDR3L / AMD RX 580 2048SP 8 GB / Windows 10 专业版 19045，跑 Ollama 0.40.14 + 千问 3.5 4B（Q4_K_M），给局域网内的 WorkBuddy、Dify 等平台提供 OpenAI 兼容 API。
一、硬件直接决定了方案边界
| 项目 | 实际配置 | 对方案的影响 |
|---|---|---|
| CPU | Xeon E5-2670 v2，10 核 20 线程，Ivy Bridge，仅 AVX 无 AVX2 | 只能当兜底算力，预填充约 54~74 tok/s |
| 内存 | 32 GB DDR3L-1600 | 撑得住 9.6 GB 的模型 + KV 占用 |
| 显卡 | RX 580 2048SP / 8 GB，Polaris gfx803 | ROCm 不支持（只支持 RX 7600 起的 RDNA3），只能走 Vulkan |
| 系统 | Windows 10 19045 | Ollama 0.40.x 默认启用 Vulkan 后端，Polaris 可用 |
#Qwen3.5 4B#Ollama#WorkBuddy#Dify#AMD RX 580#Intel Xeon E5-2670 v2#ROCm#Vulkan