创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Flint 模型支持已合并进 llama.cpp

AI 总结

r/LocalLLaMA 一篇帖文称,为 llama.cpp 添加 Flint(FlintForCausalLM)支持的拉取请求(ggml-org 仓库 PR #30928)在约 6 小时后被合并。帖文将 Flint 描述为开发者 Recursive 的解码器-only 混合专家(MoE)Transformer,总参数 39.8B,每 token 激活参数约 2.5B(含输出头),共 49 层,其中 2 层为稠密层、47 层为 MoE 层。帖文还列出每层 256 个路由专家、每 token 选择 6 个并外加一个常驻共享专家,35 层滑动窗口注意力与 14 层全注意力,文档记录的上下文配置为 262,144 token,声称知识截止日期为 2026 年 6 月;上述规格均仅出自该帖文,尚未获得独立核实。

深度见解

据该帖文,此次合并使 Flint 可在 llama.cpp 中使用,为本地推理生态新增一个总参数 39.8B、激活参数约 2.5B 的 MoE 模型。

now you can use Flint in llama.cpp (merged after 6h) Model specifications submitted by /u/jacek2023 [link] [comments]

#Flint#llama.cpp#Recursive#ggml-org

原文约 1 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。