Intel Arc Pro B70 32GB运行Qwen的成本优势
AI 总结
一名Reddit用户称,花费1,299美元购买的Intel Arc Pro B70 32GB,在调整Mesa、llama.cpp SYCL后端和KV缓存设置后,运行Qwen3.8-27B Q6约达到每秒960个提示处理令牌和每秒52个生成令牌。作者称整体速度约为RTX 5090的一半,而后者当时街价超过6,500美元;不过RTX 5090数据来自其他用户帖子,并非作者直接实测。配置优化显著提升了性能,但超长上下文的首令牌延迟仍是短板。
深度见解
该报告给出了一套可复现的本地配置,展示了经过恰当软件调校后,价格较低的32GB Intel显卡也能提供可用的本地大模型吞吐量。