创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

MicroAGI推出PB级机器人数据分发平台

AI 总结

德国具身AI初创公司MicroAGI公开了一套两跳式平台,用于将大规模多模态机器人训练数据集交付至兼容S3协议的对象存储。第一跳将源数据暂存至Hugging Face存储,第二跳通过Cloudflare Workers和Queues传输至客户存储。MicroAGI称,该流程不共享客户凭据,并可交付PB级数据集。公司还披露了吞吐、成本、完整性校验和数据集浏览等能力,但相关数字尚未在所给报道中得到独立验证。

深度见解

该平台旨在将大型机器人训练数据集传入客户自有云环境,同时避免共享客户凭据,应对机器人学习中存储分散和数据交付的难题。

10月28日消息,近日,德国具身 AI 初创公司 MicroAGI 对外公开自研海量机器人训练数据交付平台,采用两跳中转架构,可实现每日拍字节(Petabyte)级多模态机器人数据分发,能够将百万小时级视频、深度、姿态数据集投递至任意兼容 S3 协议的对象存储,解决机器人学习场景下数据集体量庞大、客户训练云环境分散的现实痛点。

机器人训练数据集动辄数百万文件、数 PB 规模,不同团队分别使用 AWS、GCP、Azure、Cloudflare R2、Hugging Face 等不同存储服务。平台确立三条核心设计原则:兼容几乎所有 S3 类对象存储后端;多租户任务之间互不抢占带宽资源;全程不共享客户密钥,访问权限严格绑定单次交付任务。

整套链路分为第一跳:源存储到 Hugging Face 中转存储、第二跳:中转存储推送到客户目标业务存储。

第一跳将原始数据统一暂存至 Hugging Face Bucket 作为中立中转层。相同数据集可被多次复用,源数据仅读取一次即可反复分发给不同客户、不同地域。底层依托 Xet 内容寻址分块存储,内容重复的文件直接复用已有分块,大幅降低网络传输量。

#MicroAGI#Hugging Face#Hugging Face Xet#Cloudflare Workers#Cloudflare Queues#AWS#Google Cloud Platform#Microsoft Azure#Cloudflare R2#Viewer

原文约 3 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。