创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

JetBrains 为 Mellum2.1 Thinking 加入 MTP 头

AI 总结

JetBrains 的模型卡在 Reddit 转发后展示了带多词元预测(MTP)头的 Mellum2.1 Thinking;该组件是一个随模型共同训练的额外 Transformer 块,用于预测采样词元之后的下一个词元。模型卡称,推理引擎可用它生成推测草稿并逐个验证词元,实现 1.4 至 1.8 倍解码加速且草稿接受率约为 90%;目前列出了对 vLLM 0.33+、Transformers 5.20+ 和 llama.cpp 的支持。

深度见解

此次更新为具体模型加入了推测解码机制,但所报性能提升尚无独立验证。

Mellum2.1 Thinking with the MTP head Multi-token prediction head The multi-token prediction (MTP) head is one extra transformer block, trained together with the model, that predicts the token after the one just sampled. Inference engines use it as a speculative draft: the model verifies every drafted token, so the output is unchanged while decoding runs 1.4–1.8x faster, with about 90% of the drafted tokens accepted. The head lives in model-mtp.safetensors under the mtp. prefix, announced by num_nextn_predict_layers: 1 in config.json; everything else is identical to Mellum2.1 Thinking. submitted by /u/pmttyji [link] [comments]

#JetBrains#Mellum2.1 Thinking#MTP head#vLLM#Transformers#llama.cpp

原文约 1 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。