JuiceFS支持Lance数据集精细化预热
AI 总结
据JuiceFS #7398和#7399两个拉取请求（PR），JuiceFS已开始支持面向Lance数据集的精细化数据预热。报告介绍，Lance负责组织和筛选数据，JuiceFS则根据训练列表，通过本地NVMe缓存将所需文件提前预热到GPU节点附近；未预热的数据仍可从对象存储回源。报告还描述了一家未披露名称的头部智驾公司采用Lance、JuiceFS和对象存储的架构，同时指出该组合的公开生产实践和案例仍然有限。
深度见解
这项集成针对报告所述的两类数据访问问题：Lance通过选择所需字段减少不必要的数据读取，JuiceFS则通过将所需文件放在计算节点附近，减少等待数据的时间。报告认为，当读放大和数据访问延迟同时构成主要I/O瓶颈时，这一组合更值得关注。
随着多模态 AI 和模型训练规模扩大，AI 数据链路需要处理的数据越来越多，类型也越来越复杂。训练任务可能只需要一部分字段，却要从大规模数据集中筛选和读取；数据分布在不同云和数据中心时，计算节点还可能因为访问延迟而等待。这带来了两个问题：怎样减少不必要的数据读取，以及怎样让需要的数据及时到达计算节点。
01 Lance 和 JuiceFS：分别解决什么问题？
Lance 是一个面向多模态 AI 的开源列式湖仓格式（lance.org），提供列式存储、多模态 Schema、向量索引和版本管理等能力，帮助用户组织图片、视频、文本和 Embedding 等数据。它关注的是：任务需要哪些数据，怎样避免读取无关内容。
以自动驾驶数据为例，一条样本可能包含大量标注属性，但一次训练只会用到其中一部分。采用列式存储后，任务可以只读取需要的字段，减少无效数据读取，也让标注属性的更新和迭代更加灵活。