单名研究员借助智能体训练Mirendil-Base
AI 总结
Mirendil称,一名研究员借助AI智能体从零预训练了参数规模为1000亿至5000亿的代码专用模型Mirendil-Base,耗时三个半月、成本不到1000万美元,包括智能体token消耗、数据处理和全部研究实验。公司称,超过99%的代码由智能体编写,人类研究员负责确定方向、核验结果并在关键节点介入;训练仅使用公开数据,未购买数据集、蒸馏或生成合成数据。Mirendil的测试显示,该模型在七个未参与训练代码仓库上的交叉熵平均指标仅次于Kimi K3,并领先于Nemotron-550B-Base、GLM-5.3和DeepSeek-V4-Pro-Base。
深度见解
该项目展示了AI智能体承担大部分大模型预训练实施工作的具体案例,但相关说法主要来自公司披露,尚无独立复现。
训练一个5000亿参数的大模型,需要多少人?
AI行业的经验是,至少几十人,大厂动辄投入数百人。
但硅谷一家叫Mirendil的初创公司,把这个数字压缩到了极致——只要一个人。
就在刚刚,Mirendil在官网发了一篇文章,标题非常耸人听闻:《无需预训练团队的大规模预训练》。
文章标题下面列着三个数字:
1名研究员、三个半月、成本不到1000万美元。
#Mirendil#Mirendil-Base#Mirendil-Base-Large#Mirendil-Base-XL#Kimi K3#Nemotron-550B-Base#GLM-5.3#DeepSeek-V4-Pro-Base#PyTorch#JAX