车企用 Spark AI Function 处理数亿张道路图片
AI 总结
据报道,某未具名头部车企在阿里云 EMR Serverless Spark 上处理了数亿张道路图片,通过 AI Function 进行多模态场景提取和图片向量化。该流程覆盖分合流、红绿灯等场景,并将向量写入下游数据库,用于场景检索、样本筛选和训练数据集构建。
深度见解
该案例展示了将多模态信息提取与向量化直接接入现有 Spark 数据作业的大规模生产实践。
一张道路图片,如何变成可分析的场景信息?海量图片,又如何转化为可检索、可筛选的数据资产?
在汽车行业,图片中包含的道路和交通信息,需要经过提取、整理,才能用于后续分析和样本筛选。多模态模型提供了新的处理方式,而批量调用、异常处理和结果写入,则需要与现有数据处理作业一起完成。
某汽车头部客户基于阿里云 EMR Serverless Spark AI Function,在分合流、红绿灯等场景中开展多模态数据处理,并将向量化结果衔接至下游数据库,为后续场景检索、样本筛选及训练数据集构建提供支撑。
大规模模型调用的工程挑战
当处理对象从少量图片扩展到持续积累的业务数据时,模型调用就需要与数据读取、并行执行、结果解析和数据写入共同协作。
#Alibaba Cloud#EMR Serverless Spark#EMR Serverless Spark AI Function#DLF Paimon#Apache Spark#Ray#PySpark#Spark SQL