谷歌开源端侧推理引擎 ML Drift
谷歌以 Apache 2.0 许可开源跨平台 GPU 计算引擎 ML Drift,面向端侧 AI 和机器学习推理。该项目抽离不同 GPU 硬件及底层 API 的差异,支持 OpenGL ES、OpenCL、Metal 和 WebGPU,并作为 LiteRT 的核心 GPU 加速引擎,加入统一着色器、可扩展自定义算子和原生五维张量支持。谷歌称其已用于 Chrome、YouTube Shorts、Photos、Meet、Adobe 应用和 Snapchat,并报告了内存开销及推理或图像处理性能方面的提升。
ML Drift 为开发者提供了一条基于 Apache 2.0 许可、跨越多种 GPU 后端的端侧推理运行时路径;谷歌同时建议现有应用从旧版 TensorFlow Lite GPU 委托迁移至 LiteRT ML Drift 加速器。

谷歌发布 ML Drift,一个开源、跨平台的 GPU 计算引擎,专为端侧 AI 和机器学习推理而设计"。它采用 Apache 2.0 许可,抽离了不同 GPU 硬件和底层 API 的复杂性,支持 OpenGL ES、OpenCL、Metal 和 WebGPU。
ML Drift 是为 LiteRT 提供动力的核心 GPU 加速引擎。谷歌将其开源后,开发者可以为各类应用构建自定义图形渲染与推理运行时,应用范围涵盖传统计算机视觉、音频和深度处理,以及生成式 AI 等场景。
ML Drift 的主要目标之一是简化开发者在创建设备端应用时面临的多样化 GPU 硬件的访问问题。
开发者面对着各种各样的 GPU 架构、驱动版本和底层 API,并且事先无法确定应用最终会在哪一种硬件上运行。
#Google#ML Drift#LiteRT#Dawn#OpenGL ES#OpenCL#Metal#WebGPU#Arm#Intel#Qualcomm#Gemma