ThinkBit面向推理模型的两比特量化框架
AI 总结
Rhea Sanjay Sukthanker和Pashmina Cameron于2026年10月26日将ThinkBit论文提交至arXiv。该框架结合分层比特分配、基于Gumbel-softmax的标量量化、缩放值重校准和量化感知训练，以两比特存储权重并尽量保留推理能力。作者报告称，0.52 GB的Qwen3-1.7B检查点在重校准后和QAT后分别获得46.7与73.0的MATH-500成绩；扩展至14B后，3.74 GB模型取得94.8，而29.5 GB的bfloat16模型为97.5，这些仍是单篇论文中的作者主张。
深度见解
作者指出，推理模型的生成速度受内存带宽限制，因此以两比特而非bfloat16存储权重可能使推理成本降低至多8倍。所提出的框架与结果聚焦于在减少模型存储的同时保留推理性能这一挑战。
Computer Science > Artificial Intelligence
arXiv:2610.34886 (cs)
[Submitted on 26 Oct 2026]
Title:ThinkBit: Search Codewords, Recalibrate Scales, Select by Reasoning
Authors:Rhea Sanjay Sukthanker, Pashmina Cameron
View a PDF of the paper titled ThinkBit: Search Codewords, Recalibrate Scales, Select by Reasoning, by Rhea Sanjay Sukthanker and 1 other authors