破解版PS5变身本地AI服务器,可跑27B模型
AI 总结
一名 Reddit 用户把非官方 llama.cpp 移植版“PS5LM”做成 PS5 原生应用,借助 Mesa 的 RADV 驱动经 Vulkan 将推理负载从 CPU 转到 GPU,把可用内存从 6GB 提升到 11.4GB。受限于 16GB GDDR6 内存,主机只能运行约 2 比特量化的 Qwen 27B 模型(权重 6.8GB、64K 上下文、显存占用 91%),生成速度 20.9 tok/s;更小的 Gemma 4 E4B 达 61 tok/s,Llama 3.2 3B 达 124 tok/s,整机功耗 86W、温度 54°C。代价是重度量化会带来更多错误和更弱推理,且运行需越狱,将失去保修并可能被禁止联网游戏。
深度见解
它显示消费级游戏主机也能勉强承担本地大模型推理,但受内存与量化所限,实际可用性仍相当有限。