VPP2与Dyna-2:人类视频如何训练机器人
AI 总结
钛媒体旗下“具身志”的行业梳理文章提到,10月10日星动纪元开放了VPP2的两套视频模型权重;VPP2把机器人学习一项操作分成预测任务走向、压缩为视觉规划、学习机器人动作三段,此次开放前两段。文章称Dyna Robotics的Dyna-2用转钥匙实验做了规模对照:分别以1000小时、1万小时、10万小时和100万小时人类第一视角视频预训练的四组模型接受相同机器人任务训练,前三组失败,100万小时组测试10次成功9次。英伟达DreamZero为9项此前未见的任务补充12分钟无动作标签人类视频后,平均任务进度从38.3%升至54.3%;北京大学等机构的RoboWM-Bench把生成视频转成机器人动作放入仿真运行,称Wan 2.6在关闭抽屉、拾取物体、放入抽屉任务上的成功率分别为50%、20%和0%。
深度见解
如果人类视频能替代部分真机示范,机器人学习新动作的规模就不必完全取决于为每副身体、每项任务重新采集数据。