Google开源ML Drift引擎,端侧GPU推理接棒TFLite
摘要
Google AI Edge团队以Apache 2.0许可开源ML Drift,一个跨平台端侧GPU推理计算引擎,将作为LiteRT的核心GPU加速层,接替此前的TFLite GPU delegate方案。
Google AI Edge团队近日宣布,以Apache 2.0许可开源ML Drift。这是一个面向端侧场景的跨平台GPU推理计算引擎,定位为LiteRT的核心GPU加速层,将承接此前由TFLite GPU delegate承担的角色。
从命名和定位看,ML Drift并非独立框架,而是嵌入LiteRT运行时中的底层加速组件。其跨平台属性意味着可在不同操作系统与GPU硬件上提供统一的推理执行路径,降低开发者在端侧部署模型时的适配成本。
此次开源采用Apache 2.0许可,属于宽松型协议,允许商用与二次修改。选择这一许可,与Google近年来在端侧AI工具链上推动开放生态的策略一致,也便于硬件厂商和社区开发者参与共建。
TFLite GPU delegate曾是TensorFlow Lite生态中端侧GPU加速的主要方案。ML Drift作为接替者,预计将随LiteRT的演进一步完善。对已基于TFLite构建端侧推理管线的团队而言,迁移路径和兼容性将是后续关注重点。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗