HOPE以二阶方法剪枝MoE专家
AI 总结
作者发布HOPE,一种面向MoE语言模型的专家剪枝方法,通过考虑专家间的成对交互来改进独立评分。作者在Qwen3.5-122B、Qwen3.5-35B和GLM-4.5-Air上评测,称其在50%剪枝率下取得最佳平均排名,并在智能体编程任务上较次优方法最高提升6.1%。HOPE沿用一次校准数据前向过程,新增的二次规划步骤据称每层耗时1至2秒。
深度见解
作者的结果显示,在高剪枝率下保留专家协作关系可能比逐个评估专家更有效。
#HOPE#Qwen3.5-122B#Qwen3.5-35B#GLM-4.5-Air#REAP#SWE-Bench Verified#SWE-Bench Pro#Evol-CodeAlpaca#Tulu3