谷歌Android Bench新增两国产模型跑分:Kimi K3.1 Pro通过率24%,DeepSeek V4.1 Flash成本仅9.9美元
谷歌Android Developers首次公开Android Bench上OpenAI GPT-6.1 Terra、Kimi K3.1 Pro与DeepSeek V4.1 Flash的跑分。Kimi K3.1 Pro长程任务通过率24.0%,单次成本317.4美元;DeepSeek V4.1 Flash通过率17.3%,单次成本仅9.9美元,成本差距显著。
谷歌Android Developers官方账号于11月10日在X平台发布推文,首次对外披露三款模型在Android Bench基准上的评测成绩,涉及OpenAI GPT-6.1 Terra、Kimi K3.1 Pro以及DeepSeek V4.1 Flash。该基准由谷歌面向Android开发场景设计,重点衡量模型在应用创建、功能开发、代码迁移与应用转换等真实工程任务中的表现,而非通用能力测试。
在新增的Kimi K3.1 Pro方面,该模型通过kimi-code智能体参与评测,在30项长程任务中取得24.0%的通过率,平均完成度达82.3%,平均耗时27.4小时,单次基准运行成本为317.4美元(约合2123元人民币)。横向来看,这一成绩超过GPT 6 Astra、Claude Fable 5.1与Gemini 4 Argon,但低于GPT 6.1 Terra的28.7%。
DeepSeek V4.1 Flash 1017则借助opencode智能体完成评测,通过率为17.3%,平均完成度71.2%,平均耗时12.0小时,单次基准运行成本仅9.9美元(约合66.2元人民币)。
从数据对比可见,两款国产模型在通过率上均未超过GPT-6.1 Terra,但DeepSeek V4.1 Flash以不足Kimi K3.1 Pro三十分之一的单次成本完成评测,耗时也缩短逾一半,成本与效率的权衡成为此次榜单披露中最值得关注的维度之一。