破解版PS5本地运行270亿参数大模型
AI 总结
GitHub 开发者 cobanov 此前把 llama.cpp 移植到 PS5，形成社区项目 PS5LM，但早期只能以载荷形式在 CPU 上运行，可用内存约 6.25 GiB，主要跑 0.8B、2B 规模的小模型。Reddit 用户 u/AdIllustrious7246 随后将其分叉为原生应用，借助 PS5_Vulkan（RADV 图形驱动的移植）调用主机 GPU，可用内存提升至约 11.4 GiB，并用低比特量化（如 IQ2_XXS）运行 Qwen 3.8 27B，达到约每秒 20 个 Token。该开发者还公布 Gemma 4 E4B 约每秒 61 个 Token、Llama 3.2 3B 约每秒 124 个 Token，并为应用加入显示生成速度、GPU/CPU 占用、功耗与温度的仪表盘；项目还支持以兼容 OpenAI API 的接口在局域网内提供本地推理服务。需要强调的是，这些均为开发者自行公布的测试数据，运行需破解主机与特定固件（文档列出 7.00 至 13.60），并非索尼官方功能。
深度见解
它说明消费级游戏主机的 GPU 与高速统一内存在软件适配后也能承担本地大模型推理，但仍是依赖破解的社区实验，与成熟 AI 电脑或专用服务器差距明显。