于超披露百台机器人群经验学习结果
在DeepTech访谈中,清华大学研究者于超介绍了其团队的群体经验学习(Collective Experience Learning,CEL)方法,让机器人从其他机器人的成功经验中学习。在手机打包任务中,参与训练的机器人从16台增加到96台后,成功率从86.7%升至98.3%。据于超介绍,最终测试使用未参与训练的机器人,共进行120次测试,仅失败两次。该团队还介绍了大规模强化学习框架RLinf,以及结合Coding Agent高层规划、不同机器人控制策略和外部记忆的Harness VLA。于超表示,未来机器人的能力提升可能越来越依赖云端大模型和经验检索,而不再只依靠训练改变模型参数。
实验结果量化显示,在测试的手机打包任务中,CEL表现随训练机器人数量增加而提升。研究团队还采用了未参与训练的机器人进行测试,并介绍了受控评测流程,同时强调结论未必适用于测试任务、机器人规模及同构机器人之外的条件。
2022 年,一篇看似没有提出复杂新算法的论文,成为多智能体强化学习领域最有影响力的工作之一。
这篇论文叫 MAPPO。研究者发现,只要把已有的强化学习算法 PPO 用好,调整训练和实现中的一些细节,就能在多智能体协作任务中取得相当出色的效果。这个结论如今看起来并不难理解,但在当时,学术界更看重新算法和理论创新,MAPPO 因为方法过于简单,经历了多次投稿受挫。
论文的主要作者于超,当时还是清华大学电子工程系的一名博士生。如今,这项工作的引用量已接近 5,000 次,成为该领域广泛使用的基准方法之一。于超目前是清华大学深圳国际研究生院助理教授、博士生导师,同时也是物理智能公司正行创新(Striding AI)的联合发起人。
#Collective Experience Learning (CEL)#MAPPO#PPO#RLinf#Harness VLA#Coding Agent#VLA#Tsinghua University#Striding AI#Yu Chao