创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

HOPE以二阶方法剪枝MoE专家

AI 总结

作者发布HOPE,一种面向MoE语言模型的专家剪枝方法,通过考虑专家间的成对交互来改进独立评分。作者在Qwen3.5-122B、Qwen3.5-35B和GLM-4.5-Air上评测,称其在50%剪枝率下取得最佳平均排名,并在智能体编程任务上较次优方法最高提升6.1%。HOPE沿用一次校准数据前向过程,新增的二次规划步骤据称每层耗时1至2秒。

深度见解

作者的结果显示,在高剪枝率下保留专家协作关系可能比逐个评估专家更有效。

Back to Articles

Your Experts Have Partners. There's HOPE for Keeping Them Together

Enterprise Article

Published November 9, 2026

Upvote -

Alex M Tseng alexmtseng

#HOPE#Qwen3.5-122B#Qwen3.5-35B#GLM-4.5-Air#REAP#SWE-Bench Verified#SWE-Bench Pro#Evol-CodeAlpaca#Tulu3

原文约 10 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。