Flint 模型支持已合并进 llama.cpp
AI 总结
r/LocalLLaMA 一篇帖文称,为 llama.cpp 添加 Flint(FlintForCausalLM)支持的拉取请求(ggml-org 仓库 PR #30928)在约 6 小时后被合并。帖文将 Flint 描述为开发者 Recursive 的解码器-only 混合专家(MoE)Transformer,总参数 39.8B,每 token 激活参数约 2.5B(含输出头),共 49 层,其中 2 层为稠密层、47 层为 MoE 层。帖文还列出每层 256 个路由专家、每 token 选择 6 个并外加一个常驻共享专家,35 层滑动窗口注意力与 14 层全注意力,文档记录的上下文配置为 262,144 token,声称知识截止日期为 2026 年 6 月;上述规格均仅出自该帖文,尚未获得独立核实。
深度见解
据该帖文,此次合并使 Flint 可在 llama.cpp 中使用,为本地推理生态新增一个总参数 39.8B、激活参数约 2.5B 的 MoE 模型。
| now you can use Flint in llama.cpp (merged after 6h) Model specifications submitted by /u/jacek2023 [link] [comments] |