2.3bpw Qwen 27B检查点面向12GB显卡
AI 总结
开发者 JakeATX 发布更新后的 2.3bpw Qwen 27B 检查点，并引入结合 2–3 位分数权重、trellis 编码和 RCO 类优化的 AmperInteger+ 量化格式。他称，该检查点三次 LiveCode Bench 严格评分平均为 84.3%，Qwen3.6 27B BF16 为 83.9%，Qwen3.8 BF16 为 90.3%。借助定制 SJKVaRN 和运行时改动，他表示显卡占用 7.4GiB 的检查点可在单张 12GB Ampere 显卡上支持 200K 上下文。
深度见解
该项目同时提供量化模型、新的量化格式和面向 12GB Ampere 显卡的 200K 上下文配置，为本地部署提供了具体方案。
#JakeATX#LlamAmpere#AmperInteger+#Qwen3.8-27B-Swift1.5-Uncensored-ATX-AI2#Qwen3.6#Qwen3.8#SJKVaRN#LiveCode Bench#Swift-1.5#Mirai