tinybrain开源中文模型代码与600亿token数据集
AI 总结
tinybrain项目作者开源了代码和一份从26个公开来源整理、清洗而成的中文预训练数据集,full档包含602.6亿token。项目涵盖mHC多流残差、Engram查表记忆、滑动窗口注意力、MoE,以及从SFT、蒸馏到强化学习的完整后训练流程。作者表示可用权重尚未训练完成,文中loss和吞吐量数据均为自行测得的阶段性结果。
深度见解
该项目公开了可由单张16GB显卡跟随运行的中文模型训练流程,为复现数据处理、架构设计和后训练流程提供了工程参考,但性能结论仍待独立验证。
先把丑话说在前面:这篇文章不是来宣布「我训出了一个吊打某某的强力小模型」的。实际上,我现在连能拿出来直接用的权重都还没训完。
发这篇出来,主要是想聊聊我把一个中文小模型从洗数据、搭架构一直到强化学习(RL)完整手搓一遍的过程。中间每一步是怎么设计的、为什么要这么选,以及目前在显卡上跑出来的一些阶段性数据。代码和洗好的数据我都开源了,家里有一张 16GB 显存的显卡就能直接跟着跑。
为什么要自己重造轮子?
之前看 MiniMind 和 nanochat,它们其实已经证明了「一个人从零手搓小模型」这条路完全走得通,代码写得也很清爽。我在做 tinybrain 的时候,就想在这个基础上再往前折腾几步:
- 数据自己从头洗,不直接拿别人现成洗好的数据集;
- 模型结构跟进 2025–2026 年的新架构,不再局限于标准的 GPT-2 或 LLaMA 结构;
- 后训练(Post-training)把全套流程走通:SFT、领域专家、在线蒸馏、强化学习全塞进去;
- 以中文为核心,而且我按个人喜好,专门塞了不少古文和诗词进去。
#tinybrain#mHC#Engram#DeepSeek#DeepSeek-V3#Qwen3.8-27B#ModelScope