清华开源Puro-2B：消费级显卡低成本预训练方案
AI 总结
清华大学陈文光、吕凯风团队联合推出全流程开源的Puro-2B（普罗-2B），公开了训练数据、训练框架、训练配置和模型权重。该方案在RTX 5090消费级显卡集群上从头训练约20亿参数模型，最多使用1.4万亿token；在覆盖15项任务的综合评测中，约4400美元的预训练计算成本版本平均指标超过Qwen2-1.5B，6900美元的最佳版本平均性能接近Qwen2.5-1.5B。团队还拟合了Puro Cost Scaling Law经验曲线，用于在训练前估算不同预算可达到的能力水平，方案由硬件选择、FP8低精度训练、MuonH优化器、课程模型平均（CMA）与数据评测五部分协同设计。
深度见解
它把十亿级模型的完整预训练配方与成本曲线一并开源，让算力有限的实验室也能复现并研究预训练方法本身。