谷歌把端侧推理的「发动机」开源了：ML Drift 想让每块手机 GPU 都跑得动大模型

你手机里其实一直藏着一台小型 AI 计算机：拍照时的背景虚化、相册里的人脸分类、视频通话时的画质增强，都靠 GPU 在本地完成。可一旦要在手机上跑生成式模型，开发者立刻会撞上同一堵墙——GPU 型号太多，驱动和底层接口各不相同。

11 月 5 日，谷歌把解决这堵墙的工具开源了。这个名为 ML Drift 的跨平台 GPU 计算引擎，采用 Apache 2.0 许可，试图让同一套推理代码在 OpenGL ES、OpenCL、Metal 和 WebGPU 上都能跑起来。

一分钟速览

• ML Drift 是谷歌开源的端侧 GPU 推理引擎，采用 Apache 2.0 许可。
• 统一抽象 OpenGL ES、OpenCL、Metal 与 WebGPU 四类图形接口。
• 它是 LiteRT 运行时的核心 GPU 加速引擎，支持五维张量与自定义算子。
• 针对 Arm、Intel、高通 GPU 做了专门优化。
• 谷歌称其内存占用比部分同类框架低 12%。

为什么端侧推理需要一层「翻译」

桌面和服务器上的 GPU 生态相对统一，开发者大多围绕 CUDA 写代码。但手机、平板、笔记本的 GPU 是另一番景象：苹果用 Metal，安卓阵营长期依赖 OpenGL ES 和 OpenCL，浏览器里又冒出 WebGPU。同一个模型，往往要为不同平台准备不同的后端，测试矩阵成倍膨胀。

ML Drift 的思路是做一层薄薄的抽象层：上层是统一的张量运算接口，下层自动落到具体硬件的图形 API 上。它最早是 LiteRT 的 GPU 加速组件，如今独立开源，意味着开发者不仅能调用，还能基于它构建自己的推理运行时，甚至做图形渲染。

相比旧的 TensorFlow Lite GPU 委托，ML Drift 引入了三项关键改进：用张量虚拟化实现统一着色器、支持可扩展的自定义算子、原生支持五维张量。对跑视频、点云、空间模型和 Transformer 的开发者来说，五维张量是实打实的便利，过去常见的「布局 hack」可以少写很多。

性能数字：从短视频特效到修图软件

谷歌公布了一组来自自家产品的数据：在 YouTube Shorts 上，基于分割算法的特效在 Android 和 iOS 上的平均帧延迟最高降低 40%；Google Photos 的计算摄影与图像分割流水线最多快了 2 秒；Adobe Lightroom 和 Photoshop 的「选择主体」「选择天空」「自适应人像」等功能最高提升 30%；Snapchat 在 Android 上的人脸与风格生成特效延迟降低 30%，从而可以用上更大的扩散模型。

这些数字有一个共同点：它们都不是实验室跑分，而是已经在数百万台设备上运行的功能。谷歌强调，ML Drift 已经支撑 Chrome、YouTube Shorts、Photos 和 Meet 等应用。换句话说，这不是一个刚出炉的实验项目，而是被真实流量打磨过的底层组件。

在基准测试中，谷歌用 Gemma 模型在开发者级工作站上对比，称 ML Drift 的内存开销比包括 MLX LM 在内的其他框架低 12%。不过，也有开发者在社交平台上提出疑问：它在最新 iPhone 上的延迟和内存表现，与苹果 Core ML 相比如何？谷歌目前没有给出直接对比数据。

对开发者意味着什么

最直接的影响是迁移路径变清晰了。谷歌已经宣布停止更新旧版 TensorFlow Lite GPU 委托，建议开发者迁移到 LiteRT 的 ML Drift GPU 加速器。对于维护端侧模型的老项目，这是一次不得不做的升级；对于新项目，它提供了一个跨平台的默认选项。

其次，WebGPU 的支持值得关注。借助 Chromium 的 Dawn 实现，ML Drift 把桌面端推理扩展到 Windows 和 Linux，同时保留 macOS 上的原生 Metal 后端。开发者不必直接面对 DirectX 或 Vulkan，就能复用浏览器的硬件抽象层。这为「一次编写、多端推理」提供了新的可能。

趋势洞察：端侧 AI 的竞争，正在下沉到运行时

过去一年，行业讨论最多的是模型参数和榜单分数。但当模型开始装进手机、PC 和汽车，真正的体验差距往往来自运行时：首字延迟、内存峰值、发热、耗电。谁能把同样的模型跑得更快、更稳，谁就更容易被设备厂商选中。

谷歌把 ML Drift 开源，表面上是做公益，实际上是在争夺端侧推理的事实标准。一旦开发者的模型和工具链围绕它构建，谷歌在 Android、Chrome 和自家硬件上的协同优势会被进一步放大。对苹果、高通和一批第三方推理框架来说，这是一个需要认真对待的对手。

对普通用户而言，这些底层变化最终会体现在很具体的地方：相册搜索更快、视频特效更跟手、离线翻译和摘要更可用。端侧 AI 的进步，往往没有发布会上的掌声，却会悄悄改变每天用手机的手感。

相关链接

• Google AI Edge 开源项目
• LiteRT 官方文档