免校准Top-k选择减少MoE专家权重读取
AI 总结
Geunhyoung Kim和Sung Ju Hwang的论文提出用于混合专家模型（MoE）解码的top-k通道选择方法，无需阈值选择器所使用的离线校准数据。作者称，在13%和18%读取预算下，top-k版本在43次对比中有40次匹配或超过阈值版本，其中包括生成任务的全部23次对比；top-k版本还避免了Gemma 4上校准阈值导致的重复循环崩溃。其另一读取器在三个后训练MoE模型上仅读取17.8%的路由专家权重，便保留了完整模型98.1%的准确率。作者还报告，其Triton内核运行MoE模块时，batch size为1时较优化版vLLM快1.60至1.90倍，更大batch下最高快2.69倍。
深度见解
在交互式推理的小批量场景中，加载路由专家权重是MoE解码的内存瓶颈。该论文的免校准选择方法和基于模型权重的读取器直接针对这一问题；作者报告称，这些方法减少了专家权重读取量，同时保留了大部分实测准确率。
Computer Science > Machine Learning
arXiv:2610.37386 (cs)
[Submitted on 27 Oct 2026]
Title:Channel Selection for Mixture-of-Experts Decoding Needs No Calibration Data
Authors:Geunhyoung Kim, Sung Ju Hwang
View a PDF of the paper titled Channel Selection for Mixture-of-Experts Decoding Needs No Calibration Data, by Geunhyoung Kim and 1 other authors
#Mixture-of-Experts#Triton#vLLM#Gemma 4#Geunhyoung Kim#Sung Ju Hwang