比特还是重排?固定推理预算如何分配
一篇 arXiv 论文在固定推理预算下比较了降低权重位宽与平均答案选项顺序两种方法,实验对象为 Qwen3-0.6B 和 Qwen3-1.7B。作者采用模拟的最近舍入权重量化,并在 ARC-Easy、ARC-Challenge、MMLU 和 HellaSwag 各测试 300 个样本。报告称,6 位权重在两个模型上的得分分别比 fp16 高 1.8 和 0.9 个百分点,但作者未解释这一差异。在 4 位量化下,答案位置偏差加剧;平均四种循环顺序后,0.6B 模型恢复了 12.6 个百分点。成本匹配分析认为,权重达到至少 6 位时,可采用 6 位权重加最多四次单次推理排序。所有结果均来自模拟量化,仅限于两个小模型和最简单的量化器。
该研究为小型本地模型提供了明确的预算分配规则:使用 6 位权重,并将剩余预算用于最多四次答案顺序推理。作者明确指出,证据仅限于两个小模型上的模拟量化。
Computer Science > Artificial Intelligence
arXiv:2611.14413 (cs)
[Submitted on 10 Nov 2026]
Title:Bits or permutations? Spending a fixed inference budget on weight precision or on option-order averaging in small local language models
Authors:Mohammed Nayeem Khan, Logesh L, Aliyas Ahmad Misri
View a PDF of the paper titled Bits or permutations? Spending a fixed inference budget on weight precision or on option-order averaging in small local language models, by Mohammed Nayeem Khan and 2 other authors
#Qwen3-0.6B#Qwen3-1.7B#ARC-Easy#ARC-Challenge#MMLU#HellaSwag