H3-World如何对齐11.3小时动作监督
AI 总结
对H3-World论文及官方处理代码的审读显示,按每段124帧、24 FPS计算,7,872个训练窗口约合11.30小时,不能以ABot数据集名称中的“500h”推定实际训练时长。管线从COLMAP姿态恢复相机运动,按源帧索引对齐视频与键态,将其汇入37个latent时间区间,最终以八个键和一个相机速度位表示为文本。文章指出,这种压缩可能丢失时序、幅度和先后关系,而文中的算术样例并不等于对真实数据或训练的完整审计。
深度见解
这项分析厘清了H3-World可重算的训练窗口规模,并表明复现者需要追踪原始视频、姿态和键态如何变成经过压缩的动作文本。
H3 -World 的 11.3 小时训练数据,是怎样对齐成动作监督的?
作者解释或未执行记录;人造演算不代表真实数据质量或训练运行结果。
H3-World 从名字带有“500h”的 ABot 数据集取数据,论文实验却只用了 7,872 个训练片段。按每段 124 帧、24 FPS 计算,论文声明的训练窗口按帧预算折算约为 11.30 小时。这个落差首先改变的是我们要核查的问题:复现时不能拿来源库的名称回答“训练了多少”,也不能把一段视频旁边放上按键文件,就认为已经获得可用的动作监督。
更值得看的是数据经过了什么变化。官方处理程序没有直接使用动作 JSON 中现成的连续变化数组。它从 COLMAP 相机姿态恢复运动,把视频与键态裁到共同的源帧索引,再把这些记录压到视频 latent 的时间区间里。最后给模型的并非原始姿态数值,而是由八个键与一个相机速度位生成的文本。这条链每一步都可能丢信息,检验目标也各不相同。