开发者称未发布引擎ToRc在两台300英镑骁龙迷你主机上跑百GB级Qwen模型
AI 总结
在 r/LocalLLaMA 上，一位开发者称其正在编写、尚未发布的推理引擎（代号 ToRc）在两台通过一根 USB4 线连接的骁龙 X 迷你主机上，用 Qwen3.6 35B A3B 达到 315 tok/s 的提示读取速度和 43 tok/s 的生成速度，他表示这两台硬件合计约 600 英镑。同一帖子称，约 95GB 的 Qwen3.8 Flash Next IQ4_NL 量化版本在这两台机器上达到 46 tok/s 读取、20 tok/s 生成，而 llama.cpp 通过 RPC 为 10.9/5.8 tok/s；更大的 UD-Q4_K_XL 量化版本为 34.3/18.3 tok/s。作者此前曾向 Janas 引擎贡献 ARM 移植工作，他表示 ToRc 只使用 CPU 核心和 Hexagon NPU、不使用 GPU，所有数字均为其自测，未经过独立验证。
深度见解
若这些数据成立，约 100GB 级别的开放权重模型可以在两台单价低于 400 英镑、无 GPU 的 ARM 迷你主机上以对话速度运行——但该引擎尚未发布，结果也仅出自作者自测。
部分来源内容未展示，可前往原文继续阅读。
#ToRc#Qwen3.6 35B A3B#Qwen3.8 Flash Next#Janas#llama.cpp#Qualcomm Snapdragon X#Lenovo IdeaCentre Mini