Google 开源边缘 GPU 推理引擎 ML Drift
AI 总结
Google AI Edge 团队以 Apache 2.0 许可开源 ML Drift，一个面向端侧 AI/ML 推理的高性能跨平台 GPU 计算引擎，统一抽象 OpenGL ES、OpenCL、Metal 与 WebGPU 后端，并作为 LiteRT 的核心 GPU 加速引擎，也可独立使用。据 Google 介绍，ML Drift 新增 5D 张量支持、可扩展自定义算子框架，并为端侧 LLM 的 prefill/decode 阶段提供差异化优化，还通过 Dawn 把 WebGPU 后端带到 Windows 和 Linux（桌面端仍为预览）。Google 称其已在数百万台设备上支撑 Chrome、YouTube Shorts、Photos、Meet 等功能，YouTube Shorts 平均帧延迟最多下降 40%，Adobe 与 Snap 等合作方报告最高 30% 的端侧提速，这些均为厂商自报数据。
深度见解
端侧 GPU 架构、驱动与底层 API 高度碎片化，是本地生成式 AI 落地的主要障碍；一个跨平台开源引擎有望降低开发者的适配与优化成本。