本地量化模型与 Claude 的九个真实缺陷修复对比
AI 总结
一名 Reddit 作者把自己 C++/CUDA 推理引擎（capy-flash）私有历史中的九个真实回归缺陷交给编程智能体处理，并用 Claude 系列模型作为固定参照点。本地量化模型运行在作者自研引擎上（2 张 RTX 5070 Ti 16GB、Ryzen 9900X、96GB DDR5），Claude 模型在 Claude Code 中运行，本地模型则在 OpenCode 中运行。补丁由隐藏答案自动评分，再由 Claude Opus 5 盲审，两种评分相关性为 r = 0.79；Claude Opus 5.5 以 0.74 领先，Sonnet 5.5 得 0.58，Qwen3.8-Flash-Next 3-bit 得 0.48，Gemma 4 26B-A4B 仅 0.07。作者称 3-bit 量化对分数影响在噪声内（Flash-Next -0.02、27B +0.05），但 27B 每题多生成约 40% 令牌。
深度见解
该评测提出量化带来的代价更多体现在推理变长而非分数下降，这是只看 tok/s 的对比容易忽略的差异；但作者同时指出，仅九个来自单一代码库的缺陷、两类模型使用不同测试框架、置信区间约 ±0.2，结论不能当作通用排名。
#Claude Opus 5.5#Claude Sonnet 5.5#Claude Haiku 5.5#Claude Sonnet 5#Claude Sonnet 4.5#Claude Haiku 4.5#Qwen3.8-Flash-Next#Qwen3.8-27B#Gemma 4 26B-A4B#capy-flash#OpenCode#Claude Code